Baichuan 2 是百川智能推出的新一代开源大语言模型，采用 2.6 万亿 Tokens 的高质量语料训练。在多个权威的中文、英文和多语言的通用、领域 benchmark 上取得同尺寸最佳的效果。

本次发布包含有 7B、13B 的 Base 和 Chat 版本，并提供了 Chat 版本的 4bits 量化。所有版本对学术研究完全开放。同时，开发者通过邮件申请并获得官方商用许可后，即可免费商用，参考协议章节。

可阅读技术报告 Baichuan 2: Open Large-scale Language Models 获取更多信息。

本次发布版本和下载链接见下表：

Benchmark 结果

在通用、法律、医疗、数学、代码和多语言翻译六个领域的中英文和多语言权威数据集上对模型进行了广泛测试。

通用领域

在通用领域在以下数据集上进行了 5-shot 测试。

• C-Eval 是一个全面的中文基础模型评测数据集，涵盖了 52 个学科和四个难度的级别。使用该数据集的 dev 集作为 few-shot 的来源，在 test 集上进行测试。采用了 Baichuan-7B 的评测方案。
• MMLU 是包含 57 个任务的英文评测数据集，涵盖了初等数学、美国历史、计算机科学、法律等，难度覆盖高中水平到专家水平，是目前主流的 LLM 评测数据集。采用了开源的评测方案。
• CMMLU 是一个包含 67 个主题的综合性性中文评估基准，专门用于评估语言模型在中文语境下的知识和推理能力。采用了其官方的评测方案。
• Gaokao 是一个以中国高考题作为评测大语言模型能力的数据集，用以评估模型的语言能力和逻辑推理能力。 只保留了其中的单项选择题，并进行了随机划分。采用了与 C-Eval 类似的评测方案。
• AGIEval 旨在评估模型的认知和解决问题相关的任务中的一般能力。 只保留了其中的四选一单项选择题，并进行了随机划分。采用了与 C-Eval 类似的评测方案。
• BBH 是一个挑战性任务 Big-Bench 的子集。Big-Bench 目前包括 204 项任务。任务主题涉及语言学、儿童发展、数学、常识推理、生物学、物理学、社会偏见、软件开发等方面。BBH 是从 204 项 Big-Bench 评测基准任务中大模型表现不好的任务单独拿出来形成的评测基准。

7B 模型结果

13B 模型结果

法律、医疗

法律领域使用了 JEC-QA 数据集。JEC-QA 数据集来源于中国国家司法考试。只保留了其中的单选题。采用了与 C-Eval 类似的评测方案。

医疗领域则使用通用领域数据集（C-Eval、MMLU、CMMLU）中的医学相关学科、MedQA 和 MedMCQA。采用了与 C-Eval 类似的评测方案。

• 为了测试方便，使用了 C-Eval 的 val 集进行测试。
• MedQA 数据集来源于美国、中国的医学考试。测试了 MedQA数据集 中的 USMLE 和 MCMLE 两个子集，并采用了五个候选的版本。
• MedMCQA 数据集来源于印度医学院的入学考试。只保留了其中的单选题。由于 test 集没有答案，使用 dev 集进行测试。
• 通用领域数据集包含的医学相关学科如下：
  • C-Eval: clinical_medicine, basic_medicine
  • MMLU: clinical_knowledge, anatomy, college_medicine, college_biology, nutrition, virology, medical_genetics, professional_medicine
  • CMMLU: anatomy, clinical_knowledge, college_medicine, genetics, nutrition, traditional_chinese_medicine, virology

对以上数据集进行了 5-shot 测试。

7B 模型结果

13B 模型结果

数学、代码

数学领域使用 OpenCompass 评估框架，对 GSM8K 和 MATH 数据集进行了 4-shot 测试。

• GSM8K 是由 OpenAI 发布的一个由 8.5K 高质量的语言多样化的小学数学应用题组成的数据集，要求根据给定的场景和两个可能的解决方案，选择最合理的方案。
• MATH 数据集包含 12,500 个数学问题（其中 7500 个属于训练集，5000 个属于测试集），这些问题收集自 AMC 10、AMC 12、AIME 等数学竞赛。

代码领域则采用了 HumanEval 和 MBPP 数据集。使用 OpenCompass，对 HumanEval 进行了 0-shot 测试，MBPP 数据集进行了 3-shot 测试。

• HumanEval 中的编程任务包括模型语言理解、推理、算法和简单数学，以评估模型功能正确性，并衡量模型的问题解决能力。
• MBPP 包括 974 个 Python 短函数、程序的文字描述以及用于检查功能正确性的测试用例的数据集。

7B 模型结果

13B 模型结果

多语言翻译

采用了 Flores-101 数据集来评估模型的多语言能力。Flores-101 涵盖了世界各地的 101 种语言。它的数据来源于新闻、旅游指南和书籍等多个不同领域。选择了联合国官方语言（阿拉伯文、中文、英文、法文、俄文和西班牙文）以及德文和日文作为测试语种。使用 OpenCompass 对 Flores-101 中的中-英、中-法、中-西班牙、中-阿拉伯、中-俄、中-日、中-德等七个子任务分别进行了 8-shot 测试。

7B 模型结果

13B 模型结果