Hinton最新访谈：GPT-3效果不错，但和人脑比参数量仍少1000倍-技术圈

来源：外媒

编辑：QJP

现代的人工智能革命开始于一场竞赛：2012年，一年一度的 ImageNet 竞赛举办至第三年，竞赛要求团队建立能够识别1000个物体的计算机视觉系统，从动物到景观再到人。

在最初的两年里，最好的团队甚至没有达到75% 的准确率。但在第三年中，一个由三名研究人员组成的团，一名教授和他的学生突然突破了这个上限。他们以惊人的10.8个百分点赢得了比赛，而那个教授就是 Geoffrey Hinton，他们使用的技术叫做深度学习。

Hinton 实际上从20世纪80年代就开始研究深度学习，但是由于缺乏数据和计算能力，它的有效性受到了限制，但他对这项技术的坚定信念最终带来了巨大的回报。

在 ImageNet 竞赛的第四年，几乎每个团队都在使用深度学习，并取得了奇迹般的准确性增益。很快，深度学习就被应用到图像识别以外的任务中，并且在很多行业中得到应用。

去年，因为他在该领域的奠基性贡献，Hinton 与 Yann LeCun 和 Yoshua Bengio 一起获得了图灵奖。

10月20日，在麻省理工技术评论的年度 EmTech MIT 会议上，他讨论了这个领域的现状以及他认为下一步应该走向何方。

以下是访问 Hinton 的精华内容：

你认为深度学习足以复制所有的人类智慧，是什么让你如此肯定？

我确实相信深度学习能够做到一切，但是我确实认为必须有一些概念上的突破。例如，在2017年 Ashish Vaswani 等人引入了 Transformers，它派生出代表单词意义的非常好使用的向量，这是一个概念上的突破，现在几乎所有最好的自然语言处理模型都使用它，我们需要更多这样的突破。

如果我们有了这些突破，我们是否能够通过深度学习技术接近人类的智力？

是的。尤其是突破性的进展可以让大量的向量实现诸如推理的事情，但是我们也需要大幅度的扩大参数规模。人类的大脑有大约100万亿个参数，或者说突触，而我们现在所说的一个真正的大模型，像 GPT-3，有1750亿。它比大脑小一千倍。GPT-3现在可以产生看似合理的文本，但与大脑相比仍然很小。

你说的规模，是指更大的神经网络，更多的数据，还是两者兼而有之？

两者都有。在计算机科学和人类之间存在着某种差异。与感官接收到的数据量相比，人类大脑中有更大量的参数，而神经网络也出人意料地善于处理数量相当少的数据，但人类可以做到更好。

人工智能领域的许多人认为，常识是下一个需要解决的重大问题。你同意吗？

我同意这是非常重要的事情之一。我也认为运动控制（motor control）是非常重要的，深层神经网络现在在这方面做得越来越好。特别是最近在谷歌的一些工作表明，你可以做精细的运动控制，并结合语言理解，这样你就可以打开一个抽屉拿出一个物品，系统告诉你正在做什么。

人工智能领域一直把人类大脑作为灵感的最大来源，不同的人工智能方法源于认知科学的不同理论。你是否相信大脑实际上建立了外部世界的表征来理解它，或者这仅仅是一种有用的思考方式？

很久以前，在认知科学领域有两个学派之间的争论。其中一个是由 Stephen Kosslyn 领导的，他相信当你在大脑中操纵视觉图像时，你所拥有的是一组像素，而你在移动它们。

其他学派的思想则更符合传统的人工智能，他们认为视觉图像在大脑中是层次化、结构化的表示。你的头脑中有一个表征的结构，这才是大脑在操纵的东西。

而我认为他们都犯了同样的错误。Kosslyn 认为我们操纵了像素，因为外部图像是由像素构成的，这是我们理解的一种表示方式。

而符号学派认为我们操纵了符号，因为我们也用符号来表示事物，这是我们理解的一种表示。我认为这同样是错误的，大脑内部其实是这些神经活动的巨大向量构成的理解方式。

有些人仍然相信符号表示是人工智能的方法之一，您同意吗？

我有像赫克托 · 莱维斯克这样的好朋友，他真的相信符号表征的方法，并且在这方面做了很大的工作。不过我不同意他的观点，但是这种符号学的方法是一种完全合理的尝试。

但我的猜想是，最终我们会意识到符号只存在于外部世界，本质是我们对向量进行各种内部操作。

对于人工智能的未来，你认为你最非主流的观点是什么？

我曾经有一些非主流的观点，而五年后，它们成了主流。我在20世纪80年代的大多数非主流观点现在已经被广泛接受，所以现在很难找到不同意这些观点的人。所以，我现在已经没有多少非主流观点了。

参考链接：

https://www.technologyreview.com/2020/11/03/1011616/ai-godfather-geoffrey-hinton-deep-learning-will-do-everything/