Lit-Parrot大型语言模型的可破解实现

Lit-Parrot 是基于 nanoGPT 的 StableLM/Pythia/INCITE 语言模型的实现。支持 flash attention、LLaMA-Adapter 微调、预训练。

最先进的开源大型语言模型的可破解实现：

• StabilityAI StableLM
• EleutherAI Pythia
• Together RedPajama-INCITE
• TII UAE Falcon

此实现基于Lit-LLaMA和nanoGPT ，由Lightning Fabric提供支持。

可以按照以下说明下载权重：

• StableLM
• Pythia
• Redpajama-INCITE
• Falcon

设计原则

这个存储库遵循 openness through clarity 的主要原则。

Lit-Parrot 是：

• 简单：没有样板的单文件实现。
• 正确：在数值上等同于原始模型。
• 优化：在消费类硬件上或大规模运行。
• 开源：没有附加条件。

避免代码重复不是目标。可读性和可破解性是。