追求知识而非光环：CNN之父LeCun的反内卷人生
共 5330字，需浏览 11分钟
·
2021-08-20 13:27
转自：大数据文摘
几年前，人们还在读《乔布斯传》，彼此间传阅着乔布斯 19 岁退学创办苹果公司的故事，讨论着“成功的方法不止一种”。而今，在不到 10 年的时间里，“成功学”的风向标不断转向，从功利主义、精致的利己主义到鸡娃、内卷，获得“成功”的道路越来越偏狭，总结下来就是要人们不知疲倦地卷、卷、卷！
在他人疯狂内卷的时候，（不够卷的）你也不得不开始担忧自己：我是不是不够努力？我会不会被社会淘汰？我这样选对吗？
不考名校、不在乎精英光环，却通过自己的坚持获得计算机界的“诺贝尔奖”——图灵奖，现任Facebook首席人工智能科学家杨立昆（Yann LeCun），在他的新书《科学之路：人，机器与未来》中总结了他的励志人生。他用亲身经历证明，通过激烈的考试竞争进入名校、追赶当下被认可的潮流、做所谓的社会“精英”......这些从来都不是成功的唯一途径。
追求知识，而非名校光环
杨立昆与杰弗里·辛顿（Geoffrey Hinton）、约书亚·本吉奥（Yoshua Bengio） 并称为“深度学习三巨头”，他们共同获得了 2018 年的图灵奖。图灵奖是计算机领域的“诺贝尔奖”，获奖者都在计算机领域做出了持久、重大的先进性技术贡献。
与从剑桥、麻省理工毕业的辛顿和本吉奥不同，杨立昆并没有名校的加持，但也正因如此，他的求学经历和对教育的理解在当下对中国家长非常具有启发意义。
杨立昆是法国人。在法国，如果要想成为任何一个领域的精英，通常都要进入招生人数非常少的高等专科学院，而为了考入这些录取率极低的学校，法国学生又要先花两年时间学习大学预修课程。但杨立昆却选择了一条与众不同的求学道路，他高中毕业后就直接进入了一所名气不算太大的大学——巴黎电子工程学院（ESIEE）学习。
杨立昆做出这样的决定有两个原因：其一，这所大学不需要参加预科课程的学习和考试就能直接申请；其二，在这所学校他可以获得更多的学习自主权。他用自己的经历证明：与其选择社会标准下的精英道路，不如选择与自己的实际情况和长期追求相契合的道路。
杨立昆在人工智能领域的研究生涯，可以追溯到他在大学时的广泛阅读。在他读书的年代，人工智能是一个新兴的、发展并不成熟的研究领域，他对此有非常大的兴趣，并且阅读了很多科学家的论著，特别是前苏联伟大的数学家、公理化概率论的奠基人柯尔莫哥洛夫等人的著作，这为他打下了坚实的数学基础和计算机科学理论基础。
也是从大学开始，杨立昆就沉溺于人工神经网络的研究，并且敏锐地注意到该研究领域一个新的技术方向——神经网络的反向训练。后来他进入到当时的巴黎皮埃尔-玛丽-居里大学（今天的索邦大学）攻读博士学位，并且在反向训练上取得了卓越的成绩。他的成果很快就有了法国一家公司买单，而且让他得以进入当时学术氛围非常自由的贝尔实验室工作。
杨立昆用自己的经历告诉我们，接受教育重要的是获得知识本身，而不是获得名校的光环。在以后的学术生涯中，杨立昆一直保持这种特立独行的做法，特别是在全世界都不看好人工神经网络这个研究领域的时候，他依旧坚持自己的理想与信念，持之以恒地投身到这项研究当中。
从顽固的“蠢货”到图灵奖获得者
深度学习的探索之旅并不容易，杨立昆以及该领域的其他科学家不得不与怀疑论者们做斗争。完全基于逻辑和手写程序的人工智能的拥护者说他们会失败，传统机器学习的捍卫者更是公开指责他们。可事实上，杨立昆研究的深度学习仅仅是机器学习这个广阔领域中的一套特殊技术而已，这背后的思想，可以追溯到上世纪40年代。彼时，学者们开始尝试构建一种新的计算系统，希望以近似于人类大脑的方式存储和处理信息。
深度神经网络在1980年代就已经被提出，但在最初的成功过后，因为它本身训练的复杂性、结构的不确定性、对数据量的依赖性、理论的不清晰性等，在2000年初的一段时间逐渐被更加有理论依据的概率图模型等取代。当时仍然专注于深度神经网络的学者，被认为是人工智能学界的少数派，而日后被称为“深度学习三巨头”的杨立昆、辛顿和本吉奥就在其中。
杨立昆和辛顿、本吉奥回忆起自己在这段时间的坚持的时候，笑称这是“deep learning conspiracy”(深度学习的阴谋期)，而自己是 Canadian Mafia(加拿大黑手党)。杨立昆在当时坚设计出了一个简单的人脸识别系统，但他的成果并没有引起太多科学家的重视。
从 2003 到 2013 大约十年的时间里，尽管赶上了人工神经网络研究的低谷，以杨立昆为代表的这一小撮“顽固分子”仍在默默坚持着从事各种人工神经网络算法，特别是卷积网络算法的研究，不怕被视作“蠢货”和“少数派”。 正是这些研究成果，奠定了今天深度学习算法的基础。
但是从ImageNet 的成功开始，神经网络，或者说“深度学习”， 开始以摧枯拉朽之势在各个领域展示出它的优势。感知领域是最先被征服的：让计算机看懂人看得懂的图片，听懂人听得懂的声音，读懂人读得懂的文字。基于此，人工智能算法迅速开始在其他领域崭露头角，例如棋类[AlphaGo]和游戏、自动驾驶、人工智能医疗、公共服务等领域。可以说，今天人工智能已经成为一门“显学”，成为任何技术领域都值得了解的一个称手的工具。
杨立昆等人的工作也因此被全世界瞩目，2019 年 3 月，他和辛顿，本杰欧一道获得了计算机科学领域的最高奖——图灵奖。
如果要总结杨立昆的成功经验，可以用这样四句话来概括：
1. 求学是为了知识本身，而不是文凭；
2. 广泛地阅读高水平的专业著作，培养科学的品味；
3. 特立独行，做自己感兴趣的事情，即便那件事在短时间里不被人看好；
4. 长期的坚持。
我没有天赋，所以才追随聪明人
杨立昆的工作方式与许多科学家完全相反。他经常凭直觉工作，其次便是受到数学的启发而工作。他会在脑中设想一些极端情况，也就是爱因斯坦所说的“思维实验”，即设计一个场景，然后尝试设想其后果，以便更好地理解问题。
但在现实生活中，他与许多人工智能科学家都是同路人。他们有时合作无间， 有时又各自独立研究，但互相之间从未停止交流。这也与他能够在由一群富有激情的人组成的群体中逐渐占有一席之地有关。这些人都是20世纪50年代控制论的继承者，他们提出了一些深刻又大胆的问题，比如，神经元这些非常简单的物体是如何通过互相连接制造出“智力” 这种涌现属性的。
杨立昆曾说喜欢钻到一群比自己聪明的人里面去，因为在很多方面他都根本没觉得自己有什么天赋。
杨立昆职业生涯的转折点也出现在一场聪明人的集会上。1985年2月，在阿尔卑斯山莱苏什举行的研讨会上，他遇到了当时世界上对神经网络感兴趣的顶级专家，他们有物理学家、工程师、数学家、神经生物学家和心理学家，尤其还有贝尔实验室新成立的研究神经网络的小组成员。在当时，贝尔实验室在科学界是宛如神话一般的存在。得益于这场研讨会的相识，在三年后，杨立昆被该小组聘用。
此后，在杨立昆还只是个学生的时候，另一位聪明人——也是“深度学习三巨头”之一——辛顿邀请他做了一场报告，并介绍说杨立昆发现了反向传播。杨立昆在书中回忆：“在一次晚餐时，辛顿跟我说，他将在一年后离开卡内基·梅隆大学， 加入多伦多大学。他问我愿不愿意成为他的客座研究员。我回答:‘当然了!’这一年时间正好够我完成博士论文。”
2013 年，杨立昆加入了又一个集聚了大量优秀学者的智能中心——Facebook的研究部门 FAIR 。杨立昆在Facebook工作期间，一方面构建 Facebook AI的工程底座，一方面也参与和见证了 Facebook AI 给社区带来的各种成果，例如 ResNeXT、Detectron、 FAISS 等算法，以及ONNX 业界模型标准等。
“没有天赋“的杨立昆在追随一群聪明人的旅程中，孜孜不倦地追寻着人工智能的本质，最终自己变成了人工智能的先驱——这也不失为另一种“天赋”。
追寻人工智能的本质
杨立昆 8 岁的时候看过一部电影——《2001 太空漫游》。影片里出现了他所热爱的一切:太空旅行、人类的未来以及超级计算机哈尔(HAL)的起义。此后，他对人工智能的兴趣愈发强烈。大学期间，杨立昆慢慢形成了自己的 AI 研究理念:以逻辑的方式无法建构真正的智能机器，必须赋予机器学习的能力，让它们能以经验为基础进行自我建构。
通过大量的文献阅读，杨立昆发现科学界不止他有这种想法，他注意到了福岛邦彦等同道学者的研究成果，并开始思考提高新认知中心神经网络效率的方法。
1989 年，在计算机还处于刀耕火种的年代，杨立昆开发的神经网络LeNet就已经被用在全美国的邮政系统中，来读取每一封信件上面的邮政编码。
但在上世纪八十年代，对于那些人仍然执着于神经网络研究的学者，科学界把他们视为狂热的疯子。
如今，在大量可用数据库和工具的推动下，以深度学习为代表的人工智能技术反而是最有发展前景的。杨立昆的名字也与深度学习技术——卷积网络密不可分。卷积网络受哺乳动物视觉皮层结构和功能的启发，能有效处理图像、视频、声音、语音、文本和其他类型的信号。
杨立昆在新书《科学之路：人，机器与未来》中，放弃了艰深华丽的专业术语，而是选择更为直接有效的方式，通过真实的例证与切身体会，用简朴又不失雅趣的语言讲明了今天人工智能的本质：数学公式+计算能力+大量的数据。
要想弄明白人工智能的本质，首先，我们要将模式识别等问题转化成数学公式。今天计算机的智能从实现的方式上讲完全不等同于人的智能。但是，从结果上讲和人的智能等价。你可以认为这是两种道路最终殊途同归。杨立昆用了一些典型的模式识别的例子告诉我们人工智能是如何实现的，读者朋友即便对里面的公式细节不感兴趣，也能体会到人工智能和人的智能之间的不同。不过，计算机在获得智能的方法上，有一点和人是相同的，那就是从观察到的现象中总结出规律，然后用规律再来预测现象。杨立昆在书中举了伽利略研究速度的例子，伽利略通过观察找到了物体运动的规律并且将其变成了数学公式，然后再把这个公式应用于计算各种运动物体的速度。机器学习也是如此，只不过机器学习的公式不那么直观。
接下来，就需要获取数据，供计算机进行学习。在任何人工智能的应用领域，原始的数据，比如图像本身是无法直接提供给机器学习的，这中间要进行一个转化。这个转化的过程被称为特征提取，简单地讲，就是将真实世界的目标对象转化成计算机能够读懂的数据。杨立昆博士用模式识别的例子说明了特征提取是如何进行的。当然，如果读者朋友不想关心具体的步骤，至少需要明白一点，那就是计算机学习需要大量的数据。
当数据量大了之后，就需要足够复杂的数学模型才能反映出大量数据之中所包含的各个细节。虽然奥卡姆剃刀原理通常很有效，但是在机器学习领域并非如此。事实上，过去基于人工神经网络的机器智能水平之所以不高，就是因为那个网络过于简单。因此，杨立昆等人提出了更为庞大而复杂的深度学习人工神经网络。于是这就有了第三个问题——计算能力的问题。杨立昆博士对这部分内容没有做太多的论述，毕竟这部分工作主要是由 Google、Facebook 和亚马逊等公司工程师完成的，而非是科学家关注的重点。
《科学之路》中最有价值的部分还是杨立昆博士作为深度学习算法的发明人之一，讲述他自己是如何思考机器智能问题，又是如何将这种现实世界里的具体问题转化为计算机能够处理的问题的。从这个角度上讲，《科学之路》又是一本教科书，教大家如何思考科学问题。
生活中的杨立昆博士是一位非常风趣，又带着一点极客风格的人。在他的主页以及他的脸书页面上充满 了各种巧妙的小吐槽。在过去10年间，杨立昆曾多次造访中国。2017年，他来上海之前，有朋友和他说人工智能在中国很热门，“有可能走在路上就有人认出你来哦”。他回到美国之后很开心地说，自己在上海博物馆门口果然遇到两位学生，很兴奋地拉着他合影。杨立昆评论道，既然我真的被路人认出来，那中国一定有无数的人对人工智能怀着无比的热情。
往期精彩：
Swin-UNet：基于纯 Transformer 结构的语义分割网络
Swin Transformer：基于Shifted Windows的层次化视觉Transformer设计
TransUNet：基于 Transformer 和 CNN 的混合编码网络