Dolly低成本生成式 AI

Dolly 是一个低成本的 LLM，Dolly 采用 EleutherAI 现有的 60 亿参数的开源模型，并对其进行细微的修改，以激发指令跟随能力。

开始训练

• 将 dollyrepo 添加到 Databricks（在 Repos 下单击 Add Repo，输入 https://github.com/databrickslabs/dolly.git，然后单击创建仓库）。
• 开始一个 12.2 LTS ML (includes Apache Spark 3.3.2, GPU, Scala 2.12)具有 8 个 A100 GPU 节点类型的单节点集群（例如 Standard_ND96asr_v4或者 p4d.24xlarge).
• 在 dolly仓库中打开 train_dollynotebook，附加到你的 GPU 集群，并运行所有单元。训练完成后，notebook 会将模型保存在 /dbfs/dolly_training.

在本地运行单元测试

pyenv local 3.8.13
python -m venv .venv
. .venv/bin/activate
pip install -r requirements_dev.txt
./run_pytest.sh