开放代码又如何？成本昂贵、资源集中，大规模语言模型的民主化越来越难-技术圈

大数据文摘转载AI科技评论

作者：Ben Dickson

编译：李梅

编辑：陈彩娴

5月初，Meta发布了一个可以执行多个不同任务的大型语言模型：Open pretraining Transformer (OPT-175B)。在过去几年里，大型语言模型（large language model，LLM）已经成为人工智能研究的热点之一。

在OpenAI发布包含1750亿参数的深度神经网络GPT-3之后，就引发了一场LLM的「军备竞赛」，OPT-175B是这场竞赛的一个最新参与者。GPT-3已经表明，LLM可以无需额外训练就能执行许多任务。后来，微软将GPT-3集成到它的几个产品中，不仅展示了LLM在科学研究上的前景，也展示了LLM在商业上的应用潜力。

而OPT-175B的独一无二性在于Meta对「开放」的承诺，正如这个模型的名字（OpenXX）所暗示的那样。Meta已经向公众提供了这个模型，并且公布了训练和发展过程中的大量细节。在Meta AI博客上发表的一篇文章中，Meta将OPT-175B的发布描述为「大规模语言模型的民主化访问」（Democratizing access to large-scale language models）。

Meta这种朝着透明化方向的发展是值得称赞的。然而，在大型语言模型的激烈竞争下，民主化已经变得难以实现。

1750亿参数的OPT

Meta发布的OPT-175B有一些关键特征。它包括了预训练的模型以及需要训练和使用LLM的代码。训练神经网络比运行神经网络要消耗更多的计算资源，所以，对于没有计算资源来训练模型的组织来说，预训练模型特别有用。通过减少训练大型神经网络所需的计算资源，它还会有助于避免造成巨大的碳足迹。

与GPT-3一样，OPT也有不同的规模，参数从1.25亿到1750亿不等，参数越多的模型学习能力越强。目前，所有300亿参数及以下的版本都可以直接下载。完整的1750亿参数版本的模型将提供给部分研究人员和机构，只需要填写一张申请表。

Meta AI在博客上表示：

“为了保证学术诚信和防止滥用，我们将在非商业许可下发布我们的模型，以专注于研究用例。该模型将授权学术研究人员使用，与政府、民间社会和学术界有关的组织，以及世界各地的行业研究实验室。”

除了模型，Meta还发布了一个完整的日志，提供了大型语言模型开发和训练过程的详细技术时间表。通常来说，经发表论文只包含关于最终版本模型的信息。Meta表示，该日志提供了一些有价值的信息，包括「用于训练OPT-175B的计算量，以及当底层基础设施或训练过程本身在规模上变得不稳定时所需的人力开销」。

Meta：GPT-3不够透明

Meta在其博客文章中还表示，大型语言模型大多可以通过「付费API」来访问，对LLM的访问进行约束「限制了研究人员去理解这些大型语言模型如何工作以及为什么能工作，阻碍进一步提高模型的鲁棒性和减少模型的偏见和有害性等已知问题」。

这是对OpenAI的一种抨击，OpenAI发布GPT-3只是提供了一种黑箱API服务，而不是将其模型的权重和源代码公开。OpenAI宣称没有公开GPT-3的原因之一，是为了控制有害应用程序的滥用和开发。

而Meta认为，通过将模型提供给更广泛的受众，会有利于研究和预防它们可能造成的任何伤害。

Meta这样描述他们所做的工作：

我们希望OPT-175B将为大型语言模型创建的前沿领域带来更多的声音，帮助社区共同设计负责任的发布策略，并为该领域大型语言模型的开发增加前所未有的透明度和开放性。

大型语言模型的成本

然而，需要注意的是，大型语言模型的「透明和开放」并不等同于「民主化」。训练、配置和运行大型语言模型的成本仍然很高，而且未来可能还会继续增加。

根据Meta的博客文章，研究人员已经成功地大大降低了训练大型语言模型的成本。他们表示，该模型的碳足迹已减少到GPT-3的七分之一。之前也有专家估计，GPT-3的培训成本高达2760万美元。

这说明，OPT-175B的培训成本仍然高达数百万美元。幸运的是，预训练的模型将避免训练模型的需要，并且Meta表示，将提供「只用16块NVIDIA V100 gpu」来进行训练和部署完整模型的代码库。这相当于一台Nvidia DGX-2，成本约为40万美元，对于资金紧张的研究实验室或单个的研究人员来说，这仍不是一笔小数目。根据一篇提供了更多关于OPT-175B细节的论文显示，Meta使用了992块 80GB A100 gpu训练了自己的模型，比V100明显更快。

Meta AI的日志进一步证实，训练大型语言模型是一项非常复杂的任务。OPT-175B的开发时间表上，充斥了诸如服务器崩溃、硬件故障和其他需要高级技术人员来解决的并发症。研究人员还不得不多次重启训练过程，调整超参数，改变损失函数。所有这些产生的额外费用，都是小型实验室所无法承担的。

民主化的阻碍：权力集中在少数公司手中

语言模型如OPT和GPT都是基于transformer架构。transformer的关键特性之一，是它能够并行和大规模地处理大型顺序数据(如文本)。

近年来，研究人员已经证明，通过在transformer架构中添加更多的层和参数，可以提高语言任务的表现。一些研究人员认为，达到更高的智力水平只是一个规模问题。因此，资金充裕的研究实验室，如Meta AI、DeepMind （Alphabet旗下)和OpenAI（微软赞助)，都在致力于创建越来越大的神经网络，比如DeepMind最新推出了多模态AI系统Gato。

去年，微软和英伟达创建了一个价值5300亿参数的语言模型，名为Megatron-Turing (MT-NLG)。上个月，谷歌引入了语言模型 Pathways Language Model (PaLM)，这是一个包含了5400亿参数的大规模语言模型。更有传言称，OpenAI将在未来几个月发布GPT-4。

然而，更大的神经网络也需要更多的财政和技术资源。虽然更大的语言模型会有更多新花哨（和新的失败），但它们也会不可避免地把权力集中在少数富有的公司手中，这导致较小的研究实验室和独立的研究人员在大型语言模型的研究上更加艰难。

在商业方面，大型科技公司将拥有更大的优势。运行大型语言模型是非常昂贵和具有挑战性的。像谷歌和微软这样的公司都有专门的服务器和处理器，所以他们能大规模运行这些模型并盈利。对于较小的公司来说，搞出一个自家版本的LLM（如GPT-3）的开销太大了。正如大多数企业都使用云托管服务而不是建立自己的服务器和数据中心一样，随着大型语言模型变得越来越流行，像GPT-3 API这样的开箱即用系统将会更具有吸引力。

而这反过来又会进一步地将AI集中在大型科技公司手中。更多的人工智能研究实验室将不得不与大型科技公司合作，以获得研究资金。这将赋予大型科技公司更大的权力来决定AI未来的研究方向（与他们的经济利益相一致的方向）。那些没有短期投资回报的研究领域，可能就会成为这其中的代价。

一个底线是，当我们庆祝Meta为LLM带来透明度的时候不要忘记，大型语言模型的本质仍是不民主的，它们只是更多地对宣传它们的公司有利。

原文链接：

https://bdtechtalks.com/2022/05/16/opt-175b-large-language-models/

点「在看」的人都变好看了哦！