Lit-LLaMA ️基于 nanoGPT 的语言模型

联合创作 · 2023-09-25

Lit-LLaMA 是一个基于 nanoGPT 的 LLaMA 语言模型的实现,支持量化、LoRA 微调、预训练。

设计原则

  • 简单:单一文件实现,没有样板代码
  • 正确:在数值上等同于原始模型
  • 优化:在消费者硬件上或大规模运行
  • 开源:无附加条件

设置

克隆仓库

git clone https://github.com/Lightning-AI/lit-llama
cd lit-llama

安装依赖项

pip install -r requirements.txt
浏览 3
点赞
评论
收藏
分享

手机扫一扫分享

编辑
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

编辑
举报