PanGu-Dialog对话生成大模型

鹏程·盘古对话生成大模型(PanGu-Dialog)。

PanGu-Dialog是以大数据和大模型为显著特征的大规模开放域对话生成模型，充分利用大规模预训练语言模型的知识和语言能力，构建可控、可靠可信、有智慧的自然人机对话模型。主要特性如下：

• 首次提出对话智慧度以探索对话模型的逻辑推理、数据计算、联想、创作等方面的能力。
• 构建了覆盖领域最广(据我们所知)的开放域交互式对话评估数据集PGCED，12个领域，并在知识性、安全性、智慧程度等方面制作了针对性的评测数据。
• 基于预训练+持续微调的学习策略融合大规模普通文本和多种对话数据训练而成，充分利用训练语言模型语言能力和知识，高效构建强大的对话模型。
• 在各项指标上达到了中文纯模型生成式对话SOTA水平，在知识性和信息量方面优势明显，但安全性、可靠、可信、可控、智慧等方面的提升并不明显。
• 目前生成式对话仍处于较低水平，与人类对话能力存在明显的差距，后续我们将在现有基础上针对不同的维度不断优化迭代，不断进步。