Chinese-LLaMA-Alpaca-2中文 LLaMA & Alpaca 大模型二期项目

联合创作 · 2023-09-26 00:09

本项目基于Meta发布的可商用大模型Llama-2开发,是中文LLaMA&Alpaca大模型的第二期项目,开源了中文LLaMA-2基座模型和Alpaca-2指令精调大模型。这些模型在原版Llama-2的基础上扩充并优化了中文词表,使用了大规模中文数据进行增量预训练,进一步提升了中文基础语义和指令理解能力,相比一代相关模型获得了显著性能提升。相关模型支持FlashAttention-2训练。标准版模型支持4K上下文长度,长上下文版模型支持16K上下文长度,并可通过NTK方法最高扩展至24K+上下文长度。

本项目主要内容

  • 针对Llama-2模型扩充了新版中文词表,开源了中文LLaMA-2和Alpaca-2大模型
  • 开源了预训练脚本、指令精调脚本,用户可根据需要进一步训练模型
  • 使用个人电脑的CPU/GPU快速在本地进行大模型量化和部署体验
  • 支持transformers, llama.cpp, text-generation-webui, LangChain, privateGPT, vLLM等LLaMA生态

已开源的模型

  • 基座模型:Chinese-LLaMA-2-7B, Chinese-LLaMA-2-13B
  • 聊天模型:Chinese-Alpaca-2-7B, Chinese-Alpaca-2-13B
  • 长上下文模型:Chinese-LLaMA-2-7B-16K, Chinese-LLaMA-2-13B-16K, Chinese-Alpaca-2-7B-16K, Chinese-Alpaca-2-13B-16K

浏览 14
点赞
评论
收藏
分享

手机扫一扫分享

编辑 分享
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

编辑 分享
举报