流萤中文对话式大语言模型

Firefly(流萤) 是一个开源的中文大语言模型项目(全量微调+QLoRA)，支持微调Llma2、Llama、Baichuan、InternLM、Ziya、Bloom等大模型.

流萤（萤火虫的别称）是中华传统文化的一个符号，虽说腐草为萤，带有悲悯意味，但萤火虽小，也能凭借其淡淡荧光，照亮夜空。本项目的名称取自杜牧的《秋夕》：银烛秋光冷画屏，轻罗小扇扑流萤。

《咏萤火》 
 唐.李白
雨打灯难灭，
风吹色更明。
若飞天上去，
定作月边星。

本项目主要内容如下：

• 支持全量参数指令微调、QLoRA低成本高效指令微调、LoRA指令微调(后续将会提供支持)。
• 支持绝大部分主流的开源大模型，如百川baichuan、Ziya、Bloom、LLaMA等。
• 支持lora与base model进行权重合并，推理更便捷。
• 模型裁剪：通过LLMPruner：大语言模型裁剪工具 ，开源裁剪后的Bloom模型权重 。在保留预训练中文知识的前提下，有效减少模型参数量，降低训练成本，提高训练效率。
• 整理并开源指令微调数据集：firefly-train-1.1M 、moss-003-sft-data、ultrachat、 WizardLM_evol_instruct_V2_143k、school_math_0.25M。
• 开源Firefly系列指令微调模型权重 。

下图是firefly-bloom-7b1的多轮对话的生成效果。