为什么复旦MOSS大模型的中文水平不如英文?水木人工智能学堂共 1938字,需浏览 4分钟 ·2023-02-25 07:562月20日晚间,复旦大学邱锡鹏教授团队发布国内首个类ChatGPT模型MOSS,引发各界人士参与内测的热情。一个显著的反馈是,MOSS的英文回答水平比中文高,这在公众与ChatGPT的互动中也有类似体现。为何如此?位于深圳的粤港澳大湾区数字经济研究院(IDEA)认知计算与自然语言中心文本生成算法团队负责人王昊对澎湃科技(www.thepaper.cn)表示,“数据质量的差别是主要瓶颈之一。相较于英文数据,中文数据的开源程度较低,导致中文数据集的规模相对较小。此外,英文作为科研主流语言,在学术界和工业界中得到广泛应用,积累了大量高质量的语料数据,这为英文自然语言处理的研究提供了极大的优势。”MOSS研究团队也坦承,“MOSS的英文回答水平比中文高,因为它的模型基座学习了3000多亿个英文单词,中文词语只学了约300亿个。”王昊认为,对于中文来说,高质量无监督语料和指令数据尤其严重不足。因此,中文自然语言处理领域需要更多的投入和努力来积累高质量的数据,并将其开源,以促进中文自然语言处理的发展。清华大学计算机科学与技术系长聘副教授、聆心智能创始人黄民烈曾制定了全球首个《AI对话系统分级定义》,他在接受澎湃科技(www.thepaper.cn)采访时表示,“从数据和应用的角度来说,中国的科技企业目前来看有比较大的优势。从数据角度来说,国内其实是产出了大量数据的,而数据的准确性和可靠性如果能够提上去,对于模型的学习和生成来说都会帮助很大。”“而国内的应用场景和市场其实是更加广阔的,在新闻、广告、教育等领域,而应用市场越广带来的优质数据也会越多,这样其实是能够实现双飞轮的运转,从而加速AIGC领域的成长。”黄民烈接着说道。2月20日晚,MOSS发布至公开平台(https://moss.fastnlp.top/),邀公众参与内测。当晚,社交媒体上出现截图,显示该平台“服务器流量过载,请明天上午重试”。随后,该平台官网发布一则公告,解释称“计算资源不足以支持如此大的访问量”,“给大家造成非常不好的体验和第一印象”,并致以真诚的歉意。复旦MOSS团队回应体验“非常不好”:距离ChatGPT还有很长的路。在公告中,MOSS研究团队称,“MOSS只是想在百亿规模参数上探索和验证ChatGPT的技术路线,并且实现各种对话能力。”那么AI对话技术发展到今天经过了哪些关键节点,当下的“技术路线”又是什么?黄民烈解答道,回顾早期聊天机器人的对话,大部分都是基于规则的,第二代在技术上混合了一些规则和机器学习的方法。到了第三代,就是以Transformer为基本架构的大模型作为技术底座,实际上还是在一个新的神经网络架构下,结合大量的数据和算力优化去做到的,所以技术上有了显著的一些进步。由于对话本身就是在语言处理中最重要也是最难的任务,也就是最近一两年,才因为大模型的发展使得聊天机器人在性能上有接近人类的表现。复旦大学计算机科学技术学院教授邱锡鹏此前在接受澎湃新闻采访时表示,“GPT-3的In-context learning是一个我觉得有变革性的范式。不再需要调参,给一些提示,就可以去做任务了。这个目前虽然说质量并没有调参的好,但也能达到一个不错的效果,这个会让大模型看起来更加智能。”什么是In-context learning(上下文学习)?“以前的方式是基于模型参数调整的,比如说要识别猫,然后看模型能不能检测到猫的位置。如果标的不对,再通过误差反过来去调整参数,使得预测和正确位置对应起来。上下文学习则是圈出来猫的位置,然后再给它一张另外的图片,问它猫在哪里?它就能够正确圈出来。这个任务它之前没有见过,但是通过这样的方式就学会了。”邱锡鹏讲解道。调参极耗费人力和时间成本,尤其是GPT-3这样的超大模型。碳同化系统Carbontracker估计,训练GPT-3一次所需的电量与丹麦126户家庭每年使用的电量相同。而In-context learning可以让一个未经进一步调参的预训练大模型,通过给其恰当的demonstration(示例)学会完成目标任务。黄民烈也提到上下文理解技术。“ChatGPT最大的特点是通用任务助理,也就是在一个模型之内可以完成如此之多的开放任务,同时它在生成任务、上下文理解、安全伦理方面也有相当好的表现。”总结而言,黄民烈认为,这里面的技术突破是一个技术、工程、数据的综合性工程创新,是一个长期积累从量变到质变的过程。比如从GPT-3到代码,到加instruct,到RL,以及数据和模型之间的飞轮,造成了这些质变。来源:澎湃科技版权声明:本号内容部分来自互联网,转载请注明原文链接和作者,如有侵权或出处有误请和我们联系。浏览 12点赞 评论 收藏 分享 手机扫一扫分享分享 举报 评论图片表情视频评价全部评论推荐 MOSS对话大语言模型MOSS是一个支持中英双语和多种插件的开源对话语言模型,moss-moon系列模型具有160亿参数,在FP16精度下可在单张A100/A800或两张3090显卡运行,在INT4/8精度下可在单张309MOSS对话大语言模型MOSS是一个支持中英双语和多种插件的开源对话语言模型,moss-moon系列模型具有160亿参数,Chinese-Vicuna基于 LLaMA 的中文大语言模型Chinese-Vicuna 是一个中文低资源的 LLaMA+Lora 方案。项目包括finetunChinese-Vicuna基于 LLaMA 的中文大语言模型Chinese-Vicuna是一个中文低资源的LLaMA+Lora方案。项目包括finetune模型的代码推理的代码仅使用CPU推理的代码(使用C++)下载/转换/量化Facebookllama.ckLaWGPT基于中文法律知识的大语言模型LaWGPT是一系列基于中文法律知识的开源大语言模型。该系列模型在通用中文基座模型(如Chinese-LLaMA、ChatGLM等)的基础上扩充法律领域专有词表、大规模中文法律语料预训练,增强了大模型LaWGPT基于中文法律知识的大语言模型LaWGPT 是一系列基于中文法律知识的开源大语言模型。该系列模型在通用中文基座模型(如 ChineChinese-LLaMA-Alpaca中文 LLaMA & Alpaca 大模型Chinese-LLaMA-Alpaca包含中文LLaMA模型和经过指令微调的Alpaca大型模型。这些模型在原始LLaMA的基础上,扩展了中文词汇表并使用中文数据进行二次预训练,从而进一步提高了对中Chinese-LLaMA-Alpaca中文 LLaMA & Alpaca 大模型Chinese-LLaMA-Alpaca 包含中文 LLaMA 模型和经过指令微调的 Alpaca BELLE开源中文对话大模型BELLE:BeEveryone'sLargeLanguagemodelEngine(开源中文对话大模型)本项目目标是促进中文对话大模型开源社区的发展,愿景做能帮到每一个人的LLMEngine。现阶段为什么通信就是不如IT?程序员书单0点赞 评论 收藏 分享 手机扫一扫分享分享 举报