nanoGPT快速轻量的中型 GPT 项目

nanoGPT 自称是训练/调整中型 GPT 最简单、最快的资料库，目前仍在积极开发中，但文件 train.py在 OpenWebText 上重现了 GPT-2（在一个 8XA100 40GB 节点上训练了大约 4 天）。

因为代码非常简单，所以很容易根据你的需要进行修改、从头开始训练新的模型，或者对预训练的进行微调。

安装

依赖项：

• pytorch <3


• numpy <3


• pip install transformers


• pip install datasets


• pip install tiktoken


• pip install wandb


• pip install tqdm