GPT-3为什么怼起了前老板？马斯克：和OpenAI道不同不相为谋

---

  新智元报道  

来源：经济学人

编辑：梦佳、小匀

【新智元导读】GPT-3长大了，会说风凉话了，最近还为马斯克做了一首诗，诗中怼起马斯克的言行毫不含糊。

有马斯克这个「宇宙网红」在的地方总有口水和笑料。

最近，以他的形象为灵感来源，AI把他彻彻底底地讽刺了一通。

 

据《经济学人》报道，总部位于旧金山的 OpenAI 在7月中旬向艺术家 Arram Sabeti 等人提供了 GPT-3语言的早期版本，测试他的性能。

 

Sabeti 使用这个算法生成了这首诗，题目叫做「Elon Musk by Dr. Seuss」，

 

诗中写道：

 

证券交易委员会说: 「马斯克，你的推特是个污点。如果你晚上不停止发个没完，真的会让你丢掉饭碗/... 」

 

马斯克喊道，「为什么？/我写的推文不刻薄/我没全用大写/我的推文干干净净，无懈可击。」

 

「但是你的推特可以影响市场/这就是为什么我们很恼火。你可能是个天才/也是个亿万富翁，但这不意味着你可以这么无聊! 」

 

感觉不押韵？读读英文原版你再试试？好像rap的节奏已经跃然纸上...

 

The sec said, Musk,/your tweets are a blight./They really could cost you your job,/if you don’t stop/all this tweeting at night./…

Then Musk cried, Why?/The tweets I wrote are not mean,/I don’t use all-caps/and I’m sure that my tweets are clean./

But your tweets can move markets/and that’s why we’re sore./You may be a genius/and a billionaire,/but that doesn’t give you the right to be a bore!      

 

说起马斯克和Open AI其实颇有渊源，只是最近他的关注重心都在特斯拉和SpaceX身上。

 

2015年，马斯克与几个企业家共同创立了 OpenAI，其中包括前 Y Combinator 总裁Sam Altman。马斯克去年2月表示，他已经有一年多没有与 OpenAI「密切合作」了。他还说他「不同意 OpenAI 团队的一些想法。」

 

看来GPT-3对这个前老板很是不满啊。

少年「GPT-3」之烦恼：读的越多，知道的就越多

GPT-3长大了，都会说风凉话了。

 

「你读的越多，你知道的东西就越多。」这句话似乎既适用于机器，也适用于蹒跚学步的孩子。

 

孩童对事物的理解来源于对现实世界和大人话语的模仿。模仿是语言习得最重要的方式之一。模仿不仅仅是针对字词本身，更是对风格的模仿。

 

讽刺马斯克发推的这首诗，就来自于艺术家Adam Sabeti的测试。当然不是所有的情况都是一把成，有些任务他反复试了几次，然后选了最好的一版。「我通常不需要费什么功夫就可以让他在一个简单的提示下写出令人惊讶的连贯的文本。」

 

成果相当惊人，包括剧本和歌词在内生成的作品竟然颇具文学欣赏价值。

 

下面是一部黑色电影剧本，由Raymond Chandler（著名推理小说家）执导的，关于巫师少年哈利 · 波特的故事:     

哈利 ·波特，《私家侦探》。

               

场景: 一个昏暗的小办公室，清晨，救世军的家具。有种令人肮脏的气氛。哈利 · 波特，穿着破烂的斜纹软呢西装，没熨过的衬衫，没有擦亮的鞋子，坐在桌子后面，看上去非常憔悴、有些皱巴巴的，一副内心充满怨恨的样子。

 

在办公室的一角，一片七零八落的阴影在外面的狂风中嘎嘎作响。哈利把一根长长的食指放在一把38手枪的枪托上，看着面前的一张照片。这张照片里面是一位身穿晚礼服的金发美女。她一手拿着鸡尾酒，一手沉思地看着另一只手里的香烟。她的面颊上挂着一滴眼泪。哈利看了她好一会儿，叹了口气，然后放下枪站了起来。

 

他整理好衣服，挠挠头，然后好像下定决心似地转过身，拿起手枪，离开了办公室。他穿过前面的房间，从脏兮兮的窗户往外看。一位老妇人正在用拖把清洗外面的人行道。一个穿着灰色双排扣西装的年轻人靠在大楼上。哈利又叹了口气，走出了门。他走向那个年轻人，粗鲁地给了他下巴一拳。

 

是不是有内味儿了？一个成年暗黑版的哈利波特跃然纸上。

 

再来看看GPT-3写的霉霉版「哈利波特之歌」

哈利他戴着眼镜

一双明亮的绿眼睛

女孩子们总是不停尖叫

因为他有波特的秀发

 

即使在他超级紧张的时候

他仍然有着那「超音速」的颧骨

我不惊讶他们为你拍了一部电影

因为我随时都想看到你

是的，哈利，宝贝，你是我最喜欢的角色

 

我要走一千英里

就为能见到你

哈利，哈利，你真好

我为你身心颤动

每当你微微一笑

我很乐意做你的女朋友

 

歌词真的霉霉「本霉」了。

              

当然也有很多生成的产物只是表层信息的模仿，并没有真正地理解。又回到了当时抨击GPT-3无法理解人类话语的例子，「太阳有几只眼睛？」GPT-3回答「有一只」，而没有意识到这个问题的荒谬本质。

 

其实举一个不太恰当的例子，好比浙江省高考满分作文，堆砌了全部的华丽辞藻和高级词汇，但是却有些「冷僻难懂」，词汇包括没几个大人能认识的「嚆」、「翮」、「嚆矢」、「滥觞」、「振翮」几个生词。评论纷纷称有故弄玄虚之嫌。然而仔细想来，18岁的少年，可能不会深刻知晓什么万物至理，无外乎是从书籍和阅读中习得，才写得一手好文章。

三联撰文写道，「浙江高考满分作文，别用文学的标准苛求它」同样地，GPT-3的文章也不要用人类理解能力的标准来苛责。

 

与此同时，GPT-3学习的过程，就和让孩童咿呀学语的过程一样，也要规避一定的风险性。比如说，不应该让孩子们看到不该看的东西，GPT-3也一样。

 

互联网上的信息林林总总，当中肯定有大量「少儿不宜」的信息，Open AI是不希望GPT-3随意习得的。比如「黑人」、「犹太人」、「女人」和「gay」等提示语往往连带着产生种族主义、反犹太主义、厌女症和恐同等的内容。这也是由于GPT-3基于统计方法的认知过程，及其根本性的理解缺失。研究指出，像「女人」这样的词经常与歧视女性的内容联系在一起，而且很多时候这种联系会在文本中不经意间重新出来。

               

这同时也是人工智能研究中的一个热点问题。例如，众所周知，很多面部识别系统对白人面孔的识别效果要好于对黑人面孔的识别，因为白人面孔在他们的训练集中更为常见。去年，IBM 发布了一组训练图片，其中包含了更多样化的人脸组合。

 

Open AI本身就是为了研究如何减轻人工智能系统带来的风险而成立的，这使得GPT-3可能引发的失误更加值得人们注意。它的前身GPT-2于2019年发布过一个过滤器，通过限制模型谈论敏感话题的能力，试图掩盖偏见的问题。

Open AI：自马斯克走后，我开始赚钱

GPT的初代版本其实早在2018年就已经问世了，当时包含1.17 亿个参数。

用业界专家的话说，「应试成绩还不错，但是对于很多科目都需要监督式学习，东家 OpenAI 对此并不满意，成绩也没有在业界引起特别的反响。」

正是GPT-1 开创了「先预训练、后微调」的教学先河。

2019年，第二代已经初具自由写作的能力，惊艳世人；如今第三代的表现更是震惊四座。

而且，大热的GPT-3将成为OpenAI的第一个商业产品，Reddit也已经注册成为第一个客户。

 

遥想在五年前，OpenAI还是个非营利组织呢！

 

OpenAI由Elon Musk、Sam Altman、Ilya Sutskever、Greg Brockman、Wojciech Zaremba和John Schulman共同创立，他们共同捐赠了10亿美元。

 

2018年，OpenAI通过博客宣布，马斯克将离开董事会，但仍将担任顾问和捐赠者。

 

当时很多人猜测，马斯克离开OpenAI的真正原因是利益冲突。知情人士表示，「我认为他离开的主要原因是利益冲突他挖走了OpenAI的顶级科学家Andrej Kaparthy，让他成为特斯拉的自动驾驶部门的负责人。」

       

不过呢，马斯克也似乎把OpenAI的「初心」带走了。他离开后，OpenAI开始「大转型」，从非营利组织变为营利性组织 。

              

一年后，担任SpaceX和特斯拉首席执行官的马斯克在推特上证实，他在一年多的时间里没有「密切」参与OpenAI。

 

不过马斯克似乎没赶上好时候。就在他走后不久，也就是在2019年，OpenAI开始盈利，并从微软公司又筹集了10亿美元来资助其研究。这是总部位于旧金山的研究实验室从其AI模型中获利的第一步。

培养GPT-3 花了460万美元，未来训练GPT-4会越来越便宜

用GPT-3开始盈利似乎也合乎常理，毕竟训练他可是花了460万美元！

经济学人的文章认为，不久之后，GPT-3很可能会被一个更加复杂和数据饥渴的模型所取代。

               

有人对GPT的未来进行了描绘。「GPT-4 将会比人类写得更好，而且，当它对自己的答案不确定时，还可以进行研究。」GPT-4作为进阶版，将更有钻研精神。

 

此前Open AI的论文中曾经提到，自2012年以来，要训练一个人工智能模型在基准测试ImageNet图像分类任务中达到同等的分类效果，所需的算力每16个月就会减少1/2。算法演进速度吊打摩尔定律。

 

也就是说，在过去的7年内，训练神经网络的效率每16个月就会翻一番。照这个速度，新一代的GPT或许会cheap&good！

 

MIT研究员Lex Fridman预测，训练GPT-4预计会花费26亿美元。2024年，训练GPT-4只需要花费4000万美元，到2032年，估计只需要花费500万美元。

        

看来之后，Open AI这笔生意还挺划算...

参考链接：

https://www.businessinsider.com/elon-musk-poem-tweets-gpt-3-openai-2020-8

https://www.economist.com/science-and-technology/2020/08/08/a-new-ai-language-model-generates-poetry-and-prose