芝加哥大学AI博士：我从导师身上学到的几件事

在芝加哥大学读博士的5年中（其实只有4年在做NLP），我从导师Kevin Gimpel身上学到了不少东西，有关于学术研究的，也有关于工作方式的，这里写下来和大家做个分享。

Kevin自己写过一篇给PhD学生的建议：

https://ttic.uchicago.edu/~kgimpel/etc/phd-advice.pdfttic.uchicago.edu

里面不少建议的工作方式也是他自己一直在践行的。

工作时长

Kevin提倡保持“可持续发展”的工作时长，既不能太短，也不能太长。他个人的建议是每天工作8小时，每周工作5天。这一点我做的并不好，我总是在deadline前高强度工作，平时则过得过于悠闲。

从我和他的日常合作中我能很明显地感觉到他对于时间的掌控做得很好。每次开会到了55分钟的时候，他就会说“会议的时间就要结束了，我们可以来总结一下”。

到了deadline前修改paper的时候，他会说“明天早上我有1个小时可以修改一下你的论文，能不能告诉我你希望我关注哪一个section？”到了晚上，他又会说“我差不多要下线了，如果你遇到了任何困难我们可以邮件沟通”。事实上当他发完这封邮件之后我基本上就不会再去麻烦他了，因为我知道这已经到了他的休息时间。

导师和学生的关系

在Kevin的眼中，他是我的导师（advisor）。advisor顾名思义就是给出建议的人。所以他和我的关系几乎就一直仅限于“提供建议”。在四年的工作中，他从来没有给我布置过一次工作任务。我们之间的关系仅限于每周一次1小时的会议。在这个会议中，我们会讨论我最近的工作情况，研究进展。他会基于我的工作给出一些工作的“建议”。至于这个建议是否采纳，完全是我的事情。当然经过我自己走的多次弯路，我才意识到大部分时候他给的“建议”、尤其是“研究建议”，多半是非常优化的解决方案，我自己的探索大部分时候是徒劳。

这种“建议”的关系也体现在写论文上。对于是否要投递论文，投递哪个会议，Kevin一向只是提出“建议”，从不会“要求”我去提交任何一篇论文。他的口头禅是“This is your work, so I will let you decide whether you want to make a submission this time.” 每次到了deadline前要提交论文的时候，Kevin一般会帮我修改一次论文。除了一些显然的语法错误之外，Kevin一般尽可能避免帮我直接修改论文。他的做法一般是在我们的文档上留下很长的comments，并且建议我可以修改如下，紧接着长篇大论的修改。但是最终是否采纳他的版本，则依然是我自己的选择。

不过组内有同学告诉我，一般来说Kevin给我提的“建议”，建议我还是直接当做“要求”来做即可。事实上如果从工作效率角度来说，直接听导师的命令或许更高一些。但是我认为导师给学生提供足够的自由度对于学生的能力培养和未来的工作发展是大有裨益的。

另一方面是，Kevin似乎总是在工作中保持着高度的professional。任何时候他几乎从来不聊一些与工作无关的问题，有时候会显得非常nerd。

关于研究课题

Kevin从来不会要求我们做任何特别方向的research。不过并不是因为他没有想做的idea，其实他自己经常会在不经意间（也许是故意的）向我们推销他的research idea。例如2017年他给我推销text style transfer，平时几乎不间断推销commense knowledge之类的work，不过我最终并没有过多涉猎。我认为他之所以尽可能避免给我们灌输具体做研究的想法，一方面是他认为读博士做研究是学生的事情，他不应该越俎代庖，另一方面也是他希望尽快让我们培养自己选择课题做研究的能力。所以更多的时候我们都是学生之间互相讨论想做的项目，而不是找Kevin去要一个项目过来。

不过Kevin对于很多我们讨论过的idea会非常执着。例如某天讨论了一个问题，然后我决定去做一做。做完后发现不太行，Kevin总会不停地再次提起，问这个能不能再试一试，有没有可能把它做work？或者非常假装不经意间地再提起这件事情，说是不是可以稍微改一改再看看能不能做出来？由于Kevin讲话总是过于礼貌或者显得有些随意，以前我会忽视这些他似乎漫不经心的提议。不过慢慢地我就发现一件事情如果他提了两次，大概率就是他认为我的实验做的有问题，他认为应该是可以做成功的。

工作方式

Kevin的整体风格非常一丝不苟。可能这与工作的性质有关，很多时候写论文就是要反复推敲遣词造句。

我在写论文的时候，有时会有一些比较随意的地方，例如说这里我用了cross entropy loss来训练，那里用了hinge loss来训练。他就会留下comments，为什么这里要用cross entropy, 那里要用hinge loss？然后我告诉他其实没有什么特别的原因，他就让我在这里加上一些解释，告诉作者“这里其实可以采用不同的loss function，但是我们这里实验了这两种做法。”他说他不希望读者以为我们在告诉他们这两个loss在这里表现最好。

我相信很多PhD学生可能会了解一些所谓的“论文presentation技巧”。事实上这种技巧在某种程度上是一个grey area，比方说一个模型在A数据集上表现好，在B上表现不好，这个时候我们可以把B扔了，只present A的结果。这样论文被接收的几率就提升了。Kevin似乎从来不会给我这样的presentation建议，他总是会问，为什么B上面表现会不好，我们要研究一下。如果实在说不清为什么，他也会让我把B的结果放到paper上，至少也得在appendix里面。原因是不能误导读者。但是这样也直接导致了paper比较容易被reject。很多时候把不好的结果扔掉，paper看起来就会光鲜亮丽很多。

Kevin的professionalism还体现在他对流程和制度的尊重上。有一些教授是默认他的博士生暑假会在自己的实验室工作，但是Kevin却一直是按照学校的规章制度办事。学校的规章制度如果是让学生工作9个月，那么他会默认暑假学生就不会在学校里了。当我硕士和博士答辩的时候，Kevin也会询问我，学校对于硕士和博士的毕业要求是什么？我心中的想法是，“我毕不毕业还不是看你答不答应吗”，不过我发现他的想法是，我是否毕业是我和学校的事情，他的工作是按照学校的规章制度考察我有没有符合学校的毕业标准。

工作量

前面也提到了我导师8x5=40小时的每周工作量。Kevin对于每周的工作量是有比较严格的控制的。又由于他对待工作非常认真，所以他几乎不会在主要的学术工作之外给自己增加工作量。例如审稿之类的工作，他就会根据自己的时间来具体安排，教学任务忙的时候，他就会少开一些research meeting。如果正好某天要去度假，他就会提前发邮件给大家，自己某段时间要去度假了，这期间的会议就只能挪时间或者取消了，加班是不可能加班的。不过Kevin出去度假的一周一般来说就是我在家度假的一周。暑假期间，Kevin偶尔也会接一些公司的consulting工作，但是据我观察他的工作时间依然非常固定，几乎不可能出现加班的情况。

Kevin一直严格控制自己的学生数量。一方面，他的funding有限，没有办法大量招博士生。但是，即便有一些本科生、硕士生自愿“免费工作”（这些年AI/NLP非常火爆，所以想要来参与研究工作的，有才华的本科生和硕士生非常之多），大部分情况他也不会辅导额外的学生。一般来说除了博士生之外，他会有1-2个本科生或者硕士生额外辅导，这几乎已经是他的学生数量上限。这一点与一些研究组动辄二三十人的规模非常不同。Kevin会尽可能把自己的时间花在自己的学生上，一旦学生的meetings填满了他的工作时间表，他就不再招收新的学生了。

教学

Kevin对于教学的认真也令我非常吃惊。我在上他的NLP课程的时候，他会自己设计所有的作业，并且自己写代码把自己的作业写一遍，才会发出来让学生做。某一次作业他晚了将近一周才布置，然后他本人给出的解释是，他还没有写完自己创建的作业。他觉得如果自己没写完的话不想布置给学生做。

由于他自己对待教学工作如此认真，这直接导致了他的助教的工作量非常小。例如我曾经做过他“机器学习”课程的助教，基本上他会提供一切作业的答案，我们只要照着答案回答学生的问题即可（作业有grader来批改）。

presentation和提问

一般在我们去conference上给talk之前，Kevin会建议大家在组内做个practice talk。Kevin一般会在下面计时，让我们在规定时间内完成talk。在talk之后，他会让大家提问，如果没有人提问的话，他总是能够自己提出几个问题来。很多时候因为他自己完全参与了整个项目，我会默认他应该没什么问题可以提的，但是他却总是能够找出几个细节来提出一些有价值的问题。在talk之后，他一定会发送一大段长篇大论的email给主讲者，里面是他自己针对每个slide给出的建议。

喝茶听talk

TTIC（Kevin所在的研究所）经常有各种日常research talk。主要是邀请各个领域的人来给讲座，谈一谈最近的新工作。放眼望去，大家会发现不少听talk的人开着一台电脑，手头干这事情，顺便听一听主讲者的演讲。但是Kevin似乎永远都是泡好一杯茶，拿着茶杯进来听讲座，一边品茶一边听讲。这让我想到了“关注当下”似乎是禅修的一个高级境界，Kevin毫无疑问已经达到了极高的境界。

社交

总的来说Kevin是个非常nerdy的人，但是他却非常热衷于让我们参加他的“学术圈子”的社交活动。例如每次去开会，如果他的导师Noah Smith也来参会，他们就会找个酒吧组织一个大型的Noah’s Ark party。在里面和大家谈笑风生还是很愉快的。

疫情期间，Kevin特别热衷于组织Zoom social，一直组织和各个学校的NLP组社交+讨论，丰富了宅家的生活。

“佛系青年”

我认为Kevin在某种程度上是个“佛系青年”。他似乎也不着急着发paper，也不催他的学生干活，一切都是顺其自然地发展着。

“白左”

Kevin的身上有很多“白左”的特征。事实上“白左”可能不是一个正确的标签，我这里主要是想要强调他是一个非常注重礼貌的人。

每当有人向他提出一个问题，无论这个问题的本身有多么无聊，他都会给出非常详细的解释。我听一个同学说他当年在Kevin的考试中某个问题上随便写了个答案，结果Kevin非常认真地研读了他的答案，给了很长的评论，最终表示自己没有看懂这位同学的解法，给了个1分（应该是个很大的简答题吧）。认真程度可见一斑。

每周的开会结束之后，即便我这一周工作量很小，只是与Kevin随意扯research，他也必定会说“Thanks Zewei for the updates. There are so many interesting things going on with your research. I think it's promising. I am optimistic.” 各种溢美之词让我听了都不好意思。每当提交一篇论文，Kevin又必定会说，”Congratulations for this great submission! Thanks Zewei for the work.” 仿佛论文中不中都不重要，我们自己开心就好 ：）

口头禅

“This is interesting. ” 据说interesting翻译成中文是“呵呵”。不过Kevin总是能把他的“interesting”说出更高的境界。例如，他总是在interesting过后加上一段很长的评论，表示为什么这件事情很”interesting”。

总结

Kevin写任何文章总是有一个“conclusion”，所以我这里也继承一下他的衣钵。我觉得Kevin其实代表了一大类美国研究者的风格。整个人非常一丝不苟，工作方式非常professional，对于学生“似乎毫无要求”、学术放养。从某种程度上来说这是北美比较宽松的学术氛围导致的，大部分教授和学生并没有特别巨大的发论文压力，所以他们更有兴趣研究一些他们认为有意义的问题，而不是凑够文章好升迁。我在和国内同行交流的时候，发现很多人会问芝加哥大学有什么毕业要求，需要发几篇论文。事实上很多美国的学校根本就是没有论文要求的，甚至有不少人发了0篇论文直接毕业。这种宽松的制度对于科研的长期发展孰优孰劣，我就不好评判了。

褚则伟

9/14/2020