ChatGLM Efficient Tuning基于 PEFT 的高效 ChatGLM 微调

ChatGLM Efficient Tuning 是基于 PEFT 的高效 ChatGLM-6B 微调。

目前实现了针对以下数据集的支持：

• Stanford Alpaca


• Stanford Alpaca (Chinese)


• GPT-4 Generated Data


• BELLE 2M


• BELLE 1M


• BELLE 0.5M


• BELLE Dialogue 0.4M


• BELLE School Math 0.25M


• BELLE Multiturn Chat 0.8M


• Guanaco Dataset


• Firefly 1.1M


• CodeAlpaca 20k


• Alpaca CoT


• Web QA (Chinese)


• UltraChat


• WebNovel (Chinese)

使用方法参考 data/README.md 文件。

部分数据集的使用需要确认，推荐使用下述命令登录你的 HuggingFace 账户。

pip install --upgrade huggingface_hub

huggingface-cli login

微调方法

目前实现了针对以下高效微调方法的支持：

• LoRA
  
  
  
  • 仅微调低秩适应器。
  
  


• P-Tuning V2
  
  
  
  • 仅微调前缀编码器。
  
  


• Freeze Tuning
  
  
  
  • 仅微调后几层的全连接层。
  
  


• 全量微调
  
  
  
  • 微调模型所有参数。
  
  

软件依赖

• Python 3.8+, PyTorch 1.13.1


• Transformers, Datasets, Accelerate, PEFT, TRL


• protobuf, cpm-kernels, sentencepiece


• jieba, rouge-chinese, nltk（用于评估）


• gradio, matplotlib（用于网页端交互）


• uvicorn, fastapi, sse-starlette（用于 API）

以及 强而有力的 GPU！

微调 ChatGLM 的例子

训练结果

使用整个 alpaca_gpt4_zh 数据集微调 ChatGLM 模型，使用秩为 8 的 LoRA 方法，使用默认超参数进行单轮训练。下图为训练损失变化曲线。

评估结果

选择 alpaca_gpt4_zh 数据集中的前一百条数据来评估微调后的 ChatGLM 模型，并计算 BLEU 和中文 ROUGE 分数。下表为评估结果。

FZ：Freeze 微调，PT：P-Tuning V2 微调（为了与 LoRA 公平比较，我们使用了 pre_seq_len=16），训练参数：可训练参数占全部参数的百分比。