CodeFuse-MFTCoder多任务微调代码大模型

Codefuse-MFTCoder是一个开源的多任务代码大语言模型项目，包含代码大模型的模型、数据、训练等。

项目框架

项目优势

• 多任务：一个模型同时支持多个任务，会保证多个任务之间的平衡，甚至可以泛化到新的没有见过的任务上去；
• 多模型：支持最新的多个开源模型，包括gpt-neox，llama，llama-2，baichuan，Qwen，chatglm2等；
• 多框架：同时支持HuggingFace 和ATorch 框架；
• 高效微调：支持LoRA和QLoRA，可以用很少的资源去微调很大的模型，且训练速度能满足几乎所有微调场景；

本项目主要内容如下：

• 同时支持单任务SFT(Supervised FineTuning)和MFT(Multi-task FineTuning), 当前开源支持数据均衡，未来将持续开源难易均衡， 收敛均衡等
• 支持QLoRA低成本高效指令微调、LoRA高效指令微调。
• 支持绝大部分主流的开源大模型，重点关注代码能力优秀的开源大模型，如Qwen, GPT-Neox, Starcoder, Codegeex2, Code-LLaMA等。
• 支持lora与base model进行权重合并，推理更便捷。
• 整理并开源2个指令微调数据集：Evol-instruction-66k和CodeExercise-Python-27k。
• 开源2个[Codefuse系列指令微调模型权重]：CodeFuse-13B和CodeFuse-CodeLlama-34B。