对话 DenseNet 一作黄高:做有韧劲、能抗压、不断探索未知的科研
共 6230字,需浏览 13分钟
·
2021-09-23 09:30
清华大学助理教授、密集连接卷积网络 (DenseNet)提出者 、计算机视觉领域一作顶会论文被引次数最高的国内学者、百万青橙奖奖金获得者.....
这些标签堆在一起,你觉得背后的人物是什么样子?天才选手,一路开挂,凡尔赛宫发言人?NoNoNo, 本文没有「造神文」中常见的 buff 和光环。学者黄高,是一位踏实型选手,勤勤恳恳搞科研,升级打怪靠执着投入,焦虑期许个愿也是「投中论文」。
这是一篇平凡又不普通的学者成长故事,我们一起来「揭底」黄高。
#01
以学业为志趣
1998年冬日,一座小镇一改往日宁静,刘少奇同志100周年诞辰纪念活动在他的故居,湖南宁乡,隆重举办着。
黄高当时就读在故居对面的中学。这天,他了解到了更多关于「榜样」的故事:比如「九满伢子读书太忘我,炭火烤糊了鞋面了无知觉」,「《论共产党员的修养》等党建著作编撰的种种过往」......
这场仪式让当时的黄高感受到,知识是受人尊重的。后来去宁乡一中求学,获得「两弹一星」功勋勋章的校友周光召院士屡被传颂,细数他们的成长擘迹无一不是知识改变命运,改变世界。这些榜样人物犹如火种,点亮了黄高当时的内心世界。
「宁乡伢子爱读书」名声在外,不过与多数被动学习的伙伴不同,黄高父亲曾描述「别人的孩子是玩耍得不记得学习,而黄高是学习得忘记了玩耍,总要我三催四请才出来。」
以学业为志趣,黄高的成绩也以长期名列前茅作正向反馈。虽然高考并没有达到预期,圆梦「清北」,但他入学北京航空航天大学后一直严格要求自己,用行动填补遗憾——2009年,他以本科第一的成绩交出答卷,直博清华大学自动化系。
这个过程中付出了什么,他轻描淡写一笔略过。只提到「学习时很满足。」
进入清华,黄高正式开启了科研赛道。一开始,他也经历了「起初不知道该如何做科研,一番自我觉醒才摸索出其中的门路,并享受科研的乐趣」的过程。
图注:黄高在清华大学发表学术报告
关于在清华读博的那几年,黄高这样描述:
第一年和本科很像,有课业任务;第二年开始自由探索,但自己对科研没有完整的认知,也没有成熟的方法论,属于不断试错摸索的阶段;第三年因为迟迟没有出成果而感到沮丧,直到下学期发出第一篇文章才找到宽慰。第四年渐入佳境,还去了美国圣路易斯华盛顿大学交流,真正找到了科研状态。从此之后,有了自己的步调,逐渐享受科研。
黄高读博的第三年,虽然再回首的时候,能清晰的知道付出很快就会有回报,但在当时前路未明,是他压力最大的时候。而他还算顺利地度过了这一时期,思索其中因果,黄高说:
虽然压力大,但我一直让自己行动起来,把压力转化成动力,而不是纯粹的焦虑。在我的第一篇论文还没发表时,其实已经投出去两篇了。投中的这篇也是博一就动笔写的。回想我在美国交流学习时发文章也不多,但我还是让自己一直坚持在做事情,一直有行动。也许因为前几年基本功比较扎实,后面几年出成果比较顺利。
中国有句老话「适千里者,三月聚粮」,黄高就是不打无准备之仗的忠实践行者。科研是厚积薄发的过程,经过漫长地底蛰伏的时期才能听到蝉鸣。「产出论文是付出的一种表征,但它和实际付出存在一定的时滞。基础有没有打好是科研人需要时刻省问自己的问题,虽然没法量化,但它是只有自己可以感知、且能控制的事情。」
#02
选 择
人生是很多选择串起来的,一环扣一环。
进入清华当然是一次重要的选择。这里是莘莘学子无限向往的学术乐园,也是他几年辗转、最终选择的落脚之地。在这里,黄高逐步确定了他的研究方向。
09年,国内机器学习还不是很热门,组里同学没有研究这个方向的。得益于导师给了相当大的学术自由,我尝试做了一些比较经典的机器学习工作,没有特别出彩,能发一些文章而已。
申请出国联培时,黄高想继续机器学习方向的研究。不像今天有诸多便捷的渠道获取信息,当时的他不知道学术前沿在哪里,也不知道有哪些学者研究到了什么阶段。
在我出国前,我进行了调研,看看某学校某老师在做什么事情,和我做的方向是不是匹配的。这次调研为我打开了一扇窗,发现居然有这么多和我同方向学者,但他们做的东西好多我都看不懂,很多概念听都没听过,用到的方法也不知道是什么。当时这些发现对我挺震撼的。
与自己向往的学者联系确认后,黄高踏上赴美联培之路。在圣路易斯华盛顿大学,汲取着多方科研营养的他在科研上渐入佳境,研究方向逐渐明晰——不局限于机器学习研究,拓展到深度学习和计算机视觉方向。
在此,他还结识了对自己学术认知、性格品质都影响深远的人——导师 Kilian Weinberger。
讲起这位国外的导师,黄高满是崇拜。「Kilian 是德裔美国人,他的论文明朗易读,不是花里胡哨、晦涩难懂的文风。Kilian 读博时期间投出的论文从来没被拒过,有一年还拿了三次顶会的最佳论文。他学术上异常严苛,眼里不容沙子,学生的很多文章他会从头改到尾。生活上他温和风趣、平易近人,对学生像对自己的孩子一样,在每一次交流中都能感受到真诚与用心。」
图注:Patrice Simard、Kilian Weinberger与Yann LeCun(从左至右)在NIPS2017上关于机器学习可解释性进行辩论
临近博士毕业,黄高选择「继续自己的科研之路」,得知学术偶像 Kilian Weinberger 去了康奈尔大学,自然而然选择了追随。
#03
小而美的学术乐园
在康奈尔大学开启的这段新篇章,是黄高生命里一段朴素而纯粹的流金岁月。
康奈尔大学位于纽约州的伊萨卡小镇(Ithaca,校友胡适文学改良之际将之翻译为「绮色佳」,喻示这里风景旖旎且浪漫),康奈尔家族把这里的山全买下来了,校园就座落于东山,俯撖千米外的卡尤加湖和伊萨卡市中心,石灰岩峡谷和瀑布衔接起校园南北,雄辉壮观。
图注:康奈尔大学校园
在 Ithaca,季节只有 before winter 和 winter,10月份可能就进入雪花纷飞的季节,温度常常达到 -18℃。小镇上 3/4 的人口是学校的教职工和学生,驱车三四小时才到周围的大城市,出远门基本都要转机,因为机场很小。
这种小而美的环境刚好适合黄高潜心做学术。博士后第二年,他一作文章 “Densely Connected Convolutional Networks” 获得了CVPR 2017最佳论文。前期漫长蛰伏终于迎来了他的学术喷薄期,整个博士后阶段,黄高在 NeurIPS、ICML、CVPR等国际顶级会议及 IEEE 多个会刊上发表了多篇有影响力的论文。
图注:黄高在 ICLR2018 论文大会上
在帮导师处理中国留学生申请和管理等事宜时,他结识了很多优秀同胞,大家喊他「高哥」。国人还是喜欢热闹的,大家基本挤在一所公寓住,生活和交流「异质感」不是很强。闲暇之际,异国求学的中国学子会结伴相约滑雪,天气好了开车出去玩,平时就在家里做饭,茶话会。
当然,和课题组一群严谨有趣、肤色各异的同事相处时间也很多,但多少有点文化差异,他们喜欢看橄榄球,我也看,但欣赏不来。
尽管文化差异客观存在,但并不影响学术交流。黄高对当时的学术氛围印象颇深:「那里鼓励一种平等、开放的交流模式。头脑风暴时氛围尤其好,同学和老师一起畅所欲言,碰到有趣的话题大家会很兴奋地交换意见。性格比较拘谨的人也会被照顾到。」
「这点值得我们学习借鉴,好的想法可能是碰撞出来的。」见贤思齐,身处异国的黄高总是怀着斯文在兹的使命感和祖国日昌的美好祈愿。
在博士后工作就要结束时,黄高并没考虑国外的工作机会。说起来原因简单,「国内归属感更强,在红色文化浸染中成长,我个人有一些家国情怀,想回国为自己国家做一些事情。」
至于回国是去工业界还是学术界?黄高确有纠结。当时有两种选择,一是去工业界偏研究的岗位,另外就是去高校。
颜水成老师有一个生动的比喻:学术界做研究像谈恋爱一样理想烂漫,可以天马行空。但是工业界就像是结婚,须得考虑油盐酱醋——能不能做出产品、能不能赚钱。
对黄高而言,做研究、探索未知是一件很有意思的事情。而在工业界,做研究不像在高校可以灵活把握选题方向,而通常需要服务于公司战略。并且,教育工作者是在为国家培养人才,黄高想把所学所见分享给青年一辈,跟学生在一起心态会年轻一点。
就这样,天平有了倾斜——2018年,黄高选择去清华任教。当然,选择之所以水到渠成,是靠自身软硬实力引流,越努力自然会越幸运。
而立之年,黄高开启了清华大学自动化系工作的进度条。案头一摞摞资料、带着问题来来往往的学生,一台用支架高高架起的电脑、满屏算法......这些高频素材构成了黄高日常工作画像。
清华园里,黄高穿梭在熙熙攘攘的人群中与学生并无二致,出走半生,归来仍是文质彬彬的少年。学生打趣地喊他「高哥」,他也不清楚这个称呼怎么沿袭的,他想起在康奈尔有群老友也是这么喊他。也许知乎网友一语中的「高哥虽年轻,办事却总有种老成沉稳的气质。」
#04
以科研为一生所向
英国数学家哈代在《一个数学家的辩白》中说:「当世界疯狂时,一个真学者可以在研究中发现一种无与伦比的镇定剂。」黄高就是在行业燥热时自带祛火药的人,他既不追新也不逐热,一条冷板凳能坐很久。
09年博一刚入学,深度学习还没什么水花,黄高就扎在其中琢磨,当时网络结构比较浅,研究很难有新推进。在2012年,Hinton 团队提出的 AlexNet 在当年的 ImageNet 挑战赛上一举成名,点燃了深度学习的热潮。神经网络架构设计作为深度学习和计算机视觉研究的基石,开始受到越来越多人的关注。15年,残差网络 ResNet 横扫各大榜单,在深度学习研究领域全面开花,整个行业为此兴奋。自此,神经网络结构开始由浅入深,也更具有研究价值。
2016年,神经网络架构设计这条赛道已经人如潮涌。许多研究者在探索如何通过缩减网络连接来降低模型复杂程度,黄高却另辟蹊径,希望通过增加跨层连接,使信息通道更加通畅,让模型中的信息能更快速地向前传递。
当时他带的有几名同学,和大家探讨了自己的想法,没有人想做。他跟导师说要做这个事情时,向来nice、不会打击别人的导师听到就笑了一下说:「you can have a try」,然后就走了。虽然想法不被大家积极回应,但他还是想试一试。
2016上半年,黄高幸运地发现了合伙人——来自清华姚班的刘壮,正巧他没任务,俩人一拍即合,用了三个月,最终突破了传统深度网络的单向直链结构,提出全局密集跨层连接范式(DenseNet),使神经网络实现「连接数多而计算量少,极大地提升了提高了运算效率」。
图注:DenseNet网络结构
这项具有开创性的模型在工业界和学术界都引起了大量的关注。在学术界,这篇论文所提出的卷积网络模型 DenseNet 被图灵奖得主 Yann LeCun 与 VGG、GoogleNet、ResNet 并列为当代四种主流深度网络,至今已被引用 18000 余次。2018年,由此获得了首届世界人工智能大会最高奖SAIL先锋奖,还被编入了多本深度学习书籍,同时广泛应用于医疗影像处理、人脸识别、文本翻译、语音识别等人工智能应用场景。
2020年初,新冠肺炎疫情爆发,一线医护不堪重负。黄高根据 DenseNet 的深度学习算法研发出新冠肺炎CT影像快速辅助诊断系统——计算机自动读取CT影像,算法自动分析、对比,查找出与新冠肺炎相匹配的特征,从而达到快速、精准的诊断效果。2020年2-3月,该系统投放使用在武汉市金银潭医院等120家医院,累计完成病例分析30000余例,有效减轻了医务人员负荷。
因为在学术领域的贡献,2020年阿里巴巴达摩院青橙奖评选结果揭晓,10位35岁以下的青年科学家获得100万奖金,黄高名列其中。
如今,黄高还在一线科研岗位不断输出,他的研究理想是让人工智能算法像人脑一样高效、智能。他仍然专注于神经网络架构设计与优化领域的研究,不过重心已经从传统的静态神经网络转向更前沿的动态神经网络。
原来的神经网络很多结构它都是静态的,也就是说我们把一个模型训练好了,它这个结构不会再变动了,现在主流的深度学习都是这样,我们认为这种方式是有一些局限的。与在推理阶段具有固定计算图和参数的静态模型相比,动态网络可以使其结构或参数适应不同的输入,在准确性、计算效率、适应性等方面具有显着优势。
这是一件很有意义的工作,如若实施便可极大程度提高深度学习效率,能够用于边缘计算等多个应用场景,为产业界带来生产力的极大提升。当然,动态神经网络还有一些难点要攻克,例如传统神经网络理论的不适应、硬件方面的不匹配.......实现研究落地还有很长的路要走。
民族未来,寄望于青年的力量。身负教职,他对科研人才有着更殷切期待。他希望更多青年投入基础科研,提升社会的原始创新能力。对于有意向投身科研的青年,他有一些朴实的建议。
读博搞科研,除了把数学基础和编程能力锻炼好之外,还得有一股韧劲,做事情执着,科研途中难免遭遇挫折,光是聪明还不够,要有一定的抗压能力;同时,保持对事情的好奇心,有探索未知的精神,自主驱动学习。如果只是被动学习,很难长期驱动自己开辟新进程。
潇湘人普遍「恰得苦,耐得烦,霸得蛮」,黄高虽做学术,也体现出对潇湘人「坚定爽利,吃苦务实、尚强允文」精神的传承。比如,选择了走学术道路就就坚定不动摇,不追风口却坚持独立思考,寻求新的科研突破点。
回溯学者黄高探索科研的一脉屐印,始终秉承着「但行好事,莫问前程」的理念。选准方向,凡事尽十分力。过程中保持心态平和,踏踏实实做事情,至于结果,交给未来去检验,为科研流的汗水会在时间的沙海上凝聚起沉潜的力量。
正是「纵浪大化中,不喜亦不惧。应尽便须尽,无复独多虑。」
站在第一线,是荣誉也是使命。科技创新永无止境,学者黄高正在路上。
-END-
如果觉得有帮助,就请分享到朋友圈吧!
公众号后台回复“CVPR21分割”获取CVPR2021分割类论文下载~
# CV技术社群邀请函 #
备注:姓名-学校/公司-研究方向-城市(如:小极-北大-目标检测-深圳)
即可申请加入极市目标检测/图像分割/工业检测/人脸/医学影像/3D/SLAM/自动驾驶/超分辨率/姿态估计/ReID/GAN/图像增强/OCR/视频理解等技术交流群
每月大咖直播分享、真实项目需求对接、求职内推、算法竞赛、干货资讯汇总、与 10000+来自港科大、北大、清华、中科院、CMU、腾讯、百度等名校名企视觉开发者互动交流~