改变宇宙之前，GPT-3最先改变的可能是OpenAI

大数据文摘出品

来源：bdtechtalks

编译：Hippo

GPT-3是人工智能研究实验室OpenAI的最新成果。它是有史以来规模最大的语言模型，引发了一系列关于人工智能将如何快速改变众多行业的讨论。

但是，很少有人去讨论GPT-3是如何改变OpenAI本身的。在创建有史以来最成功的自然语言处理系统的过程中，OpenAI已逐渐从一个非盈利性人工智能实验室演化成一家出售人工智能服务的公司。

由于纠缠在两个相互矛盾的目标之间，该实验室处于一种不稳定的状态。一方面要开发有利可图的人工智能服务，另一方面又要探索人类级别的人工智能并造福所有人。在这之间寻求平衡是OpenAI成立的特殊使命。

2019年3月，OpenAI宣布它将从非营利实验室转变为“盈利设限”公司。这种模式为从投资者和大型科技公司筹集资金开辟了道路，投资方被告知他们的回报将以投资额的100倍为上限（这上限够诱人！）。

为什么会发生这样的架构变化？该公司在一篇网站告示中宣布，此举旨在“迅速增加我们在算力和人才方面的投资以平衡实现公司使命所需要的支出。”

“算力和人才”是这里的关键词。

人才和算力成本是人工智能研究的两个核心挑战。从事OpenAI这类研究的人才库非常有限。鉴于对人工智能商业化的兴趣日益浓厚，大型科技公司之间在为自己的项目招募人工智能研究人员时存在激烈的竞争。这引发了一场军备竞赛，每家科技巨头都给出更高的薪水和津贴以吸引人工智能研究人员。

Google和Facebook抢走了3位深度学习鼻祖中的2位，即Geoffrey Hinton和Yann LeCun。备受尊敬的人工智能专家Ian Goodfellow（同时也是对抗式生成网络GAN的发明者）就职于Apple，另一位人工智能天才Andrej Karpathy在Tesla工作。

OpenAI对科学研究仍然有浓厚的兴趣，但是随着大多数人工智能人才被吸引到可以提供丰厚薪水的公司，非营利性人工智能实验室发现要填补他们的职位空缺越来越难，除非他们能够提供类似水平的薪水。根据2018年《纽约时报》的报道，只有少数OpenAI的研究人员每年能获得超过100万美元的收入，而报告称另一家人工智能研究实验室DeepMind在2018年向700名员工支付了超过4.83亿美元的薪水。

深度学习算法是人工神经网络的主要组成部分，而其算力需求是导致人工智能成本进一步增加的主要原因。在能够胜任实际任务之前，神经网络必须对利用大量案例进行训练，这一过程需要昂贵的计算资源。近些年OpenAI参与了一些非常昂贵的人工智能项目，包括通过机械手臂玩转Rubik魔方，通过扮演游戏对手击败Dota2冠军，以及一组人工智能扮演不同角色玩500万次捉迷藏游戏。

据估计，训练GPT-3至少需要460万美元。需要明确的是，训练深度学习模型并不是一个纯粹的一次性的过程。反复的试验、意外的错误和超参数调整可能会使成本增加数倍。

OpenAI并不是第一个采用商业模式的人工智能研究实验室。面对类似的困境，DeepMind在2014年接受了Google提出的6.5亿美元的收购提议。

在联合创始人之一Sam Altman的领导下，OpenAI开始向投资者开放市场化营销，他辞去了备受推崇的创业加速器Y Combinator的总裁一职并成为OpenAI的首席执行官。

在Altman之前，Greg Brockman是该组织的代表。Brockman是OpenAI的联合创始人兼CTO，同时也是一位经验丰富的科学家和工程师。

在科技投资领域，声誉和产品管理能力比科学天才更受重视，而Altman正是那种受投资者信任，并能把资金交给他管理的人。在Y Combinator任职期间，他帮助创立了许多成功的公司，包括Airbnb和Dropbox。

2019年5月，在接受知名科技媒体TechCrunch采访时，Altman说：“我们从未取得任何收益，目前也没有赚钱的计划。也许某一天我们会赚到钱，但我们并不知道如何做。”

但这并没有妨碍投资者对OpenAI大笔投资。微软相信Altman会以某种方式找到使投资获利的方法，因此他们在7月向该公司提供了10亿美元的投资。

但是，技术投资公司和类似OpenAI这样的科学研究实验室是存在根本上的冲突的。

OpenAI的既定使命是确保能够“构建安全的通用人工智能（AGI）并向全世界分享这项技术来惠及全人类”。

但是根据专家估计，要想实现AGI这个崇高的目标至少需要几十年的时间，而科技投资者的耐心极少能有那么久。如果几年之内其投资无法得到回报，他们将会变得懈怠。对于这一点只需要看看著名的Boston Dynamics（波士顿动力公司），尽管在YouTube上发布的机器人视频像病毒似的疯狂传播，但筹资者已经几度易手。

那么，OpenAI如何能够在保持AGI研究的同时获得资助者青睐？

“OpenAI正在开发一系列功能越来越强大的人工智能技术，这需要大量资金以支撑算力。想要覆盖这些成本最显而易见的方法是制造出一个产品，但这将意味着我们工作重心的转移。我们选择了折中的方法，我们打算推出部分“准AGI”技术，而微软成为我们将这些“准AGI技术”商业化的首选合作伙伴，”OpenAI在宣布获得Microsoft投资的博客公告中写道。

相关链接：

但是有明显迹象表明，OpenAI至少部分地成为了一家产品公司。

2020年5月，Microsoft宣布与OpenAI合作并专门为OpenAI建设世界前五名级别的超级计算机，由此Microsoft可以充分挖掘OpenAI的才能来创建Altman所说的“我们的梦想系统”。超级计算机一方面将帮助OpenAI训练其深度学习模型，另一方面还将为Microsoft Azure云计算平台的其他客户提供服务。

此后不到两周，OpenAI在arXiv（论文预印本网站）上发表了第一版的GPT-3论文。与之前的GPT-2不同，GPT-3不会向公众发布。OpenAI选择了商业发布，开发人员可以通过应用程序编程接口（API）购买对GPT-3的访问权限。

OpenAI 的API公告于6月11日发布，一些开发人员可以获得相关技术的早期访问权限。

这使GPT-3与微软认知服务（Microsoft Cognitive Services）十分相似，后者是一个基于黑盒子的人工智能云平台，通过API接口向开发人员提供计算机视觉、自然语言处理和其他人工智能类功能，同时无需提供后台运行的模型的实际细节。

这至少将帮助OpenAI返还Microsoft投资的一部分，同时Microsoft也将从双方合作中受益并更深入地应用该项技术，能够将其与Bing，Office 365，Outlook.com和Teams等产品集成。

GPT-3的商业发布使OpenAI与成为人工智能产品公司更近了一步，而与非盈利性人工智能科学研究的初衷越发偏离。

在开发出GPT-2后，基于对“技术的恶意应用”（例如散布垃圾邮件和虚假新闻）的担忧，OpenAI团队决定不向公众发布。取而代之的是采用了分阶段的方法，先发布了一个较小版本的人工智能模型并进行了评估，之后才发布了较大的模型。

虽然当时的作者认为性能良好的语言模型不会造成假新闻的泛滥，但他也支持在发布技术之前先认真地思考一下这种技术可能带来的后果。

GPT-3比GPT-2大三个数量级。在深度学习的语言模型中，关键问题之一是记忆广度。随着神经网络生成的文本变长，人工智能开始失去连贯性。实验表明，较大的神经网络通常具有较长的记忆广度，这意味着GPT-3中被误用的可能性比GPT-2要大得多。

但是这次OpenAI并没有为GPT-3可能成为制造垃圾邮件机的和虚假新闻的武器而大声疾呼。相反，OpenAI高管们试图淡化有关GPT-3的警告。7月， Sam Altman在一条推文中删除了“ GPT-3宣传”。

Altman的评论大部分是正确的，因为人工智能在达到人类智力水平之前还有一段路要走。GPT-3的许多实验表明，尽管取得了令人着迷的进步，但语言模型仍然难以解决一些体现智能的基本任务。

尽管如此，Altman的言论依然可以表明公司高管向投资者保证一切都在控制之中。

GPT-3自发布以来受到了技术界的广泛好评。许多开发人员和企业家都发布了GPT-3自动生成内容的推文，例如诗歌、模因（文化的基本单位，与基因在生物进化过程中所起的作用相类似）、推文和网站模型。

一位开发人员甚至设法用GPT-3生成Python代码用来搭建深度学习模型。

GPT-3具有明显的优势，并有可能成为人工智能业务的转折点。深度学习的主要限制之一在于它是狭义的人工智能系统。它在特定的任务上可以表现很好，但推广到其他领域中就表现不佳了。想要创建一个新的深度学习应用程序，就必须从零开始训练模型或运用迁移学习对新任务的预训练模型进行参数微调。

这种限制阻碍了人工智能服务作为平台的发展。尽管GPT-3仍然属于狭义的人工智能领域，但事实证明，它在许多没有学习样本的训练中依然能够运行。这就意味着你无需重新调整参数，它也能适应新的应用程序。

这种功能已经催生了许多运用人工智能模型创造新服务的点子。Debuild.co就是这样一个通过GPT-3创建Web应用程序的公司。

帮助租户研究潜在房东的公司Augrented，正在探索通过GPT-3撰写法律告示或其他简单的英语声明，帮助租户捍卫自己的权利。

OthersideAI也在运用GPT-3向用户提供创意工具。

GPT-3最终可能会成为一个新平台，在此平台上将创建新的业务和生态系统。这对于Altman是成功的，但是它会使OpenAI成为一个产品/服务公司，这与发布开源人工智能模型并让开发人员用它来做自己的事情是完全不同的。

现阶段的OpenAI需满足客户需求，扩展其基础架构，处理合规性问题等。随着人工智能模式成为初创公司生死攸关的力量，OpenAI还必须能够应对开展深度学习业务所带来的特定挑战。OpenAI仍有许多问题需要处理，如消除有害偏差，解决模型衰减等等。这些都是成本极其高昂的任务，处理1750亿参数的深度学习模型尤为如此。

与此同时，OpenAI在需要弄清如何解决这些事情的同时，还需保持盈利。

尽管Altman是一位非常成功的企业家，他也无法单打独斗。随着OpenAI进一步涉足产品管理领域，它将需要Microsoft的更多帮助。

OpenAI已经在依靠Microsoft的云架构来训练和运行其模型，但不久的将来，它可能需要这家技术巨头来协助处理合法性、客户支持、安全隐私、产品扩展等其他问题。

旧金山OpenAI总部

OpenAI的故事描绘出了科学人工智能研究面临的挑战。目前，人们普遍认为更大的深度学习模型将发展出更先进的人工智能系统。这意味着人工智能研究实验室需要大量资金吸引人才来训练他们日益庞大的深度学习模型。

目前，唯一愿意提供资金的是那些大型高科技公司，但投资者同样希望获得投资回报，这就迫使研究实验室不得不利用部分资源来创造有利可图的产品。如此一来，大型公司可能会完全将实验室纳入自己的商业目标。

在Google收购DeepMind之后，我们已经看到了这种趋势：人工智能实验室必须将资源同时分配给AGI研究部门和致力于创造可盈利产品的“应用人工智能”部门，但是该公司尚未实现收支平衡。

至于OpenAI，它现在还发展的很好。越是困于将人工智能服务商业化，不忘初心就越难。它是会坚持维持研究人类智力水平的人工智能的透明性、坚持开放源代码性质，还是会倾向于通过生产商业实体，并将其研究作为公司的机密和知识产权予以严密保护？它是会坚持“以人为本”，还是以满足投资者（及未来所有者）作为其主要关注点？

时间会证明一切。

实习/全职编辑记者招聘ing

加入我们，亲身体验一家专业科技媒体采写的每个细节，在最有前景的行业，和一群遍布全球最优秀的人一起成长。坐标北京·清华东门，在大数据文摘主页对话页回复“招聘”了解详情。简历请直接发送至zz@bigdatadigest.cn

志愿者介绍

后台回复“志愿者”加入我们

点「在看」的人都变好看了哦！