451页长文！Facebook科学家用马斯克坚信的「第一性原理」阐释DNN， LeCun站台

新智元

共 3503字，需浏览 8分钟

· 2021-06-28

新智元报道

来源：FAIR

编辑：yaxin, LQ

【新智元导读】马斯克坚信，世界只是「矩阵模拟」！他用自己推崇的思维模式「第一性原理」来思考这个物理世界。近日，Facebook科学家Sho Yaida撰写的一书从「第一性原理」解释了深度神经网络。LeCun表示，这是首批致力于DL理论的书。

还记得马斯克常常挂在嘴边的「第一性原理」吗？

简之，追本溯源。

人工智能的无限发展，以及我们对量子物理的不断认识，让我们不断怀疑自己生存的世界。

马斯克坚信，世界只是「矩阵模拟」，我们都生活在这个模拟中。

一次访谈中他表示，「神经网络主要是从现实中获取大量信息，很多来自无源光学方面，并创建矢量空间，本质上将大量光子压缩成矢量空间。」

至今，人们还无法从理论层面解释神经网络的「第一性原理」。

如大脑神经元一样，神经网络复杂而无法从基本原理中理解。

这个难题，有人已帮你解决。

Facebook 人工智能研究中心（FAIR）的科学家Sho Yaida撰写了一本关于如何从「第一性原理」来理解深度神经网络（DNN）的书籍。

这本书名为The Principles of Deep Learning Theory: An Effective Theory Approach to Understanding Neural Networks，将于2022年初由剑桥大学出版社出版，手稿现在已经公开。

△ 自取地址：https://arxiv.org/pdf/2106.10165.pdf

本书序言开篇引用了量子力学的奠基人、诺贝尔物理学奖得主狄拉克在《量子力学原理》一书序言中的一句话：

This has necessitated a complete break from the historical line of development, but this break is an advantage through enabling the approach to the new ideas to be made as direct as possible.（这就需要完全脱离历史的发展路线，但这种脱离是一种优势，因为它使人们能够尽可能直接地接近新的思想。）

另辟蹊径？这本书要告诉我们什么？

相互作用的神经元

深度神经网络是现代 AI 研究的重要组成部分，但它们或多或少被视为「黑匣子」。

虽然人工智能从业者取得了实质性进展，但 DNN 通常被认为太复杂而无法从基本原理来理解。

对于他们来讲，这种理解可以大大减少训练DNN所需的试错次数。

比如，它可以揭示任何给定模型的最佳超参数，而无需经过当今所需的时间和计算密集型实验。

到目前为止，试图理解 DNN 的理论家通常依赖于对此类网络的理想化，即所谓的「无限宽度」限制。

其中，DNN 以每层无限数量的神经元进行建模。

从物理学家的角度解决这个问题，The Principles of Deep Learning Theory 通过在有限宽度上提出有效的 DNN 理论，改进了这个无限宽度的限制。

用物理学的语言来说，这意味着对单层和跨层神经元之间的微小相互作用进行建模。

想象两个台球向着对方前进。

如果你使用类似于无限宽度限制的非交互模型来计算将要发生的事情，就会发现球会相互穿过并继续朝同一方向前进。

但事实并非如此。

球中的电子不能占据相同的空间，因此它们会相互作用碰撞弹跳。

这些相互作用在现实生活中很重要，在物理学中很重要，对 DNN 同样如此。

无限宽度导致神经元的相互作用可能性降低，只有有限宽度才提供神经元碰撞的上下文。

△ 训练DNN示例

考虑到神经元之间的类似相互作用，该书的理论发现：

DNN 的真正威力——它们从数据中学习世界表征的能力——与其纵横比（即深度与宽度之比）成正比。

对于无限宽度模型，该比率为零，因此这些玩具模型无法捕捉深度，并且随着 DNN 深度的增加，它们的描述变得越来越不准确。

相比之下，使用有限宽度层，有效理论实际上会影响深度——这对于表征学习和DNN的 D 真正重要的其他应用至关重要。

通过第一性原理理解DNN

虽然书中描述的框架可以扩展到现代人工智能社区使用的现实世界DNN，并为此提供了一个蓝图，但书本身主要侧重于用于教学目的、最简单的深度学习模型(深度多层感知器) 。

应用于这种最简单的结构，可以系统地求解有效理论方程。这意味着可以对整个训练轨迹的DNN行为有一个「第一性原理理解」。

尤其是我们可以明确地写下一个完全训练的 DNN 所计算的函数，来对新的测试例子做出预测。

有了这个新的有效的理论，我们希望理论家能够推动对神经网络的更深入和更完整的理解。虽然还有很多计算工作等待完成，但是这项工作可能会使这个领域更加接近于理解让模型运行的是哪些特定属性。

研究人员也希望这本书将帮助人工智能社区减少时而出现的限制当前进展的试错周期。希望帮助从业者迅速设计出更好的模型——更高效、性能更佳、训练更快，或者同时具备所有这些优点。

特别是那些DNN不用任何训练就能够挑选最佳的超参数，并为实现最佳结果选择最佳算法和模型结构。

这些问题多年来一直被认为无法回答或解释。本书证明了人工智能并不是一门无法解释的艺术，实用的人工智能可以通过基本的科学原则来理解。

LeCun为同事站台

Facebook VP，首席AI科学家的LeCun也来为同事的新书站台，他说：在科学技术史上，工程实践结果往往首当其冲: 望远镜、蒸汽机、数字通信。而解释其功能和局限性的理论往往出现在后面: 折射定律、热力学定律和信息理论。

随着深度学习的出现，以人工智能为动力的工程奇迹进入了我们的生活，但我们对深度学习的力量和局限性的「理论认识」仍然是片面的。这是首批致力于深度学习理论的书籍之一，本书以连贯的方式列出了近期理论方法和结果。

近年来实证研究的结果将人工智能推向了新的高度，尽管如此我们仍坚信，建立在理论基础上的实践能帮助加速人工智能研究，并可能导致目前无法想象的新领域的出现，正如一个多世纪以前统计力学导致了信息时代的到来一样。

作者介绍

本书由Daniel A. Roberts和Sho Yaida所写，另外还有研究合作者Boris Hanin。

Sho Yaida是Facebook AI的研究科学家，研究方向是将理论物理学方法应用于理解神经网络的实际利益。

加入FAIR之前，他在斯坦福大学攻读博士学位时，主要研究黑洞；

而在MIT和杜克做博后研究期间，他又转向了有关玻璃的物理学研究上。

△ 个人主页 https://ai.facebook.com/people/sho-yaida/

这本书的共同作者还有Dan Roberts，FAIR前研究科学家。

目前，他是麻省理工学院理论物理中心的研究员，也是Salesforce的首席研究员，同时还是美国国家科学基金会人工智能与基础互动研究所(IAIFI)的成员。

研究方向集中于如何将理论物理学的工具和观点应用到人工智能中。

参考资料：

https://ai.facebook.com/blog/advancing-ai-theory-with-a-first-principles-understanding-of-deep-neural-networks/

-往期精彩-

图片

表情

真高！比亚迪员工爆料比亚迪在越南的薪资水平：基本工资480万，全勤奖35万，交通补助20万，餐补110万，每周6天，每天10小时

上一篇：某大公司为逼迫员工离职，竟然把他的工位安排到厕所旁，没想到他直接开始记录领导的如厕时间，还发到公司大群...对此，你怎么看？--完--PS：欢迎在留言区留下你的观点，一起讨论提高。如果今天的文章让你有新的启发，欢迎转发分享给更多人。全文完，感谢你的耐心阅读。如果你还想看到我的文章，请一定给本

开发者全社区

太敢穿了！透视纱裙！性感火辣的身材

绝了呀今天的厂花：吴宣仪1995年1月26日，吴宣仪出生于海南省海口市，中国内地流行乐女歌手、影视演员。2016年2月，吴宣仪随宇宙少女发行首张迷你专辑正式出道。2018年4月，她参加《创造101》综艺选秀，获得第二名，成功加入火箭少女101组合。吴宣仪的颜值一直备受称赞，她的五官立体精致，皮肤白皙

逆锋起笔

某大公司为逼迫员工离职，竟然把他的工位安排到厕所旁，没想到他直接开始记录领导的如厕时间，还发到公司大群...

上一篇：字节的跳动职级与薪资（2024年）我们与公司间的合作，宛如两艘船只在茫茫大海上相互依靠，共同抵御风浪，携手驶向成功的彼岸。然而，当航向开始产生分歧，或是波涛汹涌的风浪改变了我们的初衷，我们或许应当冷静地选择和平分手，而非在风雨中硬撑。最近，一位网友的遭遇引起了广大职场人的关注和热议。这位网友

开发者全社区

金融研究 | 使用Python测量关键审计事项的「信息含量」

Tips: 公众号推送后内容只能更改一次，且只能改20字符。如果内容出问题，或者想更新内容，只能重复推送。为了更好的阅读体验，建议阅读本文博客版，链接地址https://textdata.cn/blog/2023-01-13-information-content-of-critical-aud

大邓和他的Python

我看阿里的年终奖总算发了！

到4月底了，这两天看朋友圈，发现阿里的年终奖终于发了，问了问老同学，也从网上检索了不少信息，基本搞清楚了阿里今年的年终奖情况。近来来阿里一些集团对绩效等级做了较大的调整，以前的旧绩效系统中，绩效分为3.25、3.5、3.75、4和5五个等级，其中4和5是较高绩效等级，较少见。而且之前3.5绩效内部划

公子龙

CVPR 2024｜大视觉模型的开山之作！无需任何语言数据即可打造大视觉模型

↑ 点击蓝字关注极市平台作者丨科技猛兽编辑丨极市平台极市导读本文提出一种序列建模 (sequential modeling) 的方法，不使用任何语言数据，训练大视觉模型。>>加入极市CV技术交流群，走在计算机视觉的最前沿本文目录1 序列建模打造大视觉模型(来自 U

极市平台

金融研究(更新) | 使用Python构建关键审计事项的「信息含量」

大邓和他的Python

字节的跳动职级与薪资（2024年）

上一篇：阿里公布年终奖，P7, 3.5+，22W年终奖，还有35W长期现金激励，真香字节跳动自2012年3月成立以来，已经迅速成长为一个全球性的科技公司。其产品和服务已经遍布全球150多个国家与地区，并且支持超过75种不同的语言。在字节跳动的官方网站上，列出了一系列引人注目的产品和服务，包括但不限于

开发者全社区

国宝级神颜！来自新疆的美人

安排今天的厂花：佟丽娅1983年8月8日，佟丽娅出生于新疆伊犁察布查尔，中国内地影视女演员，舞蹈员。2000年，佟丽娅成为了新疆歌舞团的舞蹈演员，2004年，进入中国歌舞团担任舞蹈演员。丫丫的颜值，相信绝对是收割了一大波粉丝新疆的美女绝对称得上惊艳，迪丽热巴、古力娜扎，而佟丽娅却是美得像另一个境界。

逆锋起笔

盘点Lombok的几个骚操作，你绝对没用过！

👉 欢迎加入小哈的星球，你将获得: 专属的项目实战 / Java 学习路线 / 一对一提问 / 学习打卡 / 赠书福利全栈前后端分离博客项目 2.0 版本完结啦，演示链接：http://116.62.199.48/ ，新项目正在酝酿中

小哈学Java