Lit-LLaMA ️基于 nanoGPT 的语言模型

Lit-LLaMA 是一个基于 nanoGPT 的 LLaMA 语言模型的实现，支持量化、LoRA 微调、预训练。

设计原则

• 简单：单一文件实现，没有样板代码
• 正确：在数值上等同于原始模型
• 优化：在消费者硬件上或大规模运行
• 开源：无附加条件

设置

克隆仓库

git clone https://github.com/Lightning-AI/lit-llama
cd lit-llama

安装依赖项

pip install -r requirements.txt