WizardLM基于 LLaMA 的微调大语言模型
WizardLM 是一个经过微调的 7B LLaMA 模型。它通过大量具有不同难度的指令跟随对话进行微调。这个模型的新颖之处在于使用了 LLM 来自动生成训练数据。
WizardLM 模型使用一种名为 Evol-Instruct(是一种使用 LLM 代人类自主批生成各种难度等级和技术范围的开放指令,以提高 LLM 能力的新方法)的新方法,通过 70k 个计算机生成的指令进行训练,该方法生成具有不同难度级别的指令。
Evol-Instruct 使用以下五个操作来扩展提示:
-
添加约束
-
深化
-
具体化
-
增加推理步骤
-
复杂输入
这些操作按顺序应用于初始指令以使其更加复杂,回复由 LLM 生成。
评论
LLaMA大语言模型
LLaMA语言模型全称为"LargeLanguageModelMetaAI",是Meta的全新大型语言模型(LLM),这是一个模型系列,根据参数规模进行了划分(分为70亿、130亿、330亿和650亿
LLaMA大语言模型
0
Chinese-Vicuna基于 LLaMA 的中文大语言模型
Chinese-Vicuna 是一个中文低资源的 LLaMA+Lora 方案。项目包括finetun
Chinese-Vicuna基于 LLaMA 的中文大语言模型
0
Chinese-Vicuna基于 LLaMA 的中文大语言模型
Chinese-Vicuna是一个中文低资源的LLaMA+Lora方案。项目包括finetune模型的代码推理的代码仅使用CPU推理的代码(使用C++)下载/转换/量化Facebookllama.ck
Chinese-Vicuna基于 LLaMA 的中文大语言模型
0
本草基于中文医学知识的 LLaMA 微调模型
本草【原名:华驼(HuaTuo)】是基于中文医学知识的LLaMA微调模型。此项目开源了经过中文医学指令精调/指令微调(Instruct-tuning)的LLaMA-7B模型。通过医学知识图谱和GPT3
本草基于中文医学知识的 LLaMA 微调模型
0
YuLan-Chat基于中英文混合指令微调的大语言对话模型
YuLan-Chat 是基于高质量中英文混合指令微调的大语言对话模型。YuLan-Chat 采用 L
YuLan-Chat基于中英文混合指令微调的大语言对话模型
0