顶会 paper 泛滥的情况下，应该遵循怎样的论文研读方法？-技术圈

转自 | 机器之心

作者 | 王晋东

顶会论文越来越多，如何阅读？中国科学院大学计算机应用技术博士王晋东给出了一些建议。

近年来，作为学术前沿研究的风向标的顶会接收的论文越来越多。例如，最近放榜的 NeurIPS 2020 就接收了高达 1900 篇论文，刚刚过去的 CVPR、ICML、ECCV 等也均在接收文章数量上「再创新高」。

这么算下来，一个做机器学习相关研究的人，一年关注 5 个顶会的话（CCF 仅人工智能领域有 7 个会议，再加上每个子领域的 A，更多），也要面对将近 10000 篇顶会的 paper。试问谁能看的过来？

最近的观察：讲故事的能力越来越重要

2020 年是一个特殊的年份。因为疫情的缘故，绝大多数会议都选择在线上召开。作者们也为大家贴心地准备了每篇 paper 的 video，时长从几分钟到十几分钟不等。看 paper 看不过来，听 talk 似乎是一个经济的方案？

最近一段时间，笔者听了几场顶会的 talk，很明显的感觉是现在的顶会 paper 中讲故事的能力越来越重要了。

本来贡献一般，甚至不乏很简单的 a+b/a for b 模式，落到普通人手里估计也就能中个二流会议，然而讲故事高手却能让他轻松中顶会。故事讲的太离奇，不太容易区分出真正的贡献。硬核的、原创的、真正有用的研究越来越少。

从研究积累和经验上来看，在一个领域深耕多年的大组和牛组无疑比普通人更擅长讲故事，通过故事将自己的贡献娓娓道来。一个好的故事配合不算差的创新点，使得文章被接受的概率大大增加。所以说普通人发文章越来越难啦。适当的包装和讲故事有利于让读者根据自己的思路对文章内容进行理解，这是必须的，但是绝对不是过度包装。

我的建议是，talk 可以听，但是绝对不要被 talk 所迷惑。至少在听 talk 之前，还是要自己先大概看一下 paper。不然你没看 paper 直接听，我们的讲者的素质越来越高，每个讲者都能让你觉得他做出了前无古人的工作，直接影响你的判断，让你对这个内卷的学术圈更加绝望。

当然，任何问题我们都需要辩证地看待，并不是说所有的 talk 对应的 paper 都不好，只是从好的 talk 里找到好的 paper，还需要仔细鉴别。

其实，除非研究的是理论和新架构，否则机器学习和 AI 相关的方法 paper，归根到底没有新方法，都是已有方法的应用。所以一篇 paper 的贡献就是围绕为什么要用这个方法、以及用这个方法到底解决没解决问题、为什么这个方法能解决问题。

因此，从方法层面，根本区分不出一个工作是长期在一个领域的学者、博士、硕士做出来的，还是刚进实验室、给 idea 就做的本科生做出来的。因为归根到底大家都在做机器学习的应用。而这个时候，讲故事的能力就体现出来了。

一篇好的工作应该是什么样的？

没有一篇 paper 是完美的，想拒它总能找到一万个理由。想接受它也能找到一万个理由。

那么一篇好的工作应该是什么样的？

个人浅见，一篇好的工作至少要满足以下几个条件之一：

非常好的想法。可能并不难，但是不告诉你你就永远想不到，解决的却是领域内的重大问题。经典例子是 ResNet。Skip connection 非常简单，但是想到加 skip connection 却很难。
非常扎实的工程实现和绝佳的性能。经典例子是 Transformer 和 BERT。自监督和无监督预训练并不是什么新的 idea，但是到了 Google 这帮厉害的程序员手里就可以利用大规模数据和分布式训练，硬生生搞出前无古人的性能。
非常充分的理论证明。从理论角度分析一个领域的某个问题，直接给未来工作以启示。经典例子是迁移学习领域的著名理论工作 Analysis of representations for domain adaptation，后续该领域所有的理论工作都会引这篇文章。
非常充分的实验。从实验角度分析领域的若干问题并给出相应的结论。显然在深度学习时代这种文章太重要了。经典例子是迁移学习领域 2014 年的文章 How transferrable are features in deep neural networks。
提出一个新问题。开疆拓土式的工作当然值得一看。只是在这个 paper 爆炸的时代，可能越来越难以鉴别到底是不是 first work 了。审稿人不可能看过一个领域内所有子方向的 paper，这时候鸡贼的投稿人就欺负审稿人没看过然后说自己是一个新问题。审稿这种 paper 我的原则是狠狠打死，strong reject，然后把前人的工作甩给他。并且，随便捏造一个不存在的 setting 就说是新问题的 paper，手段也是非常高明的。到底什么是一个好的新问题，还需要更仔细地甄别。
已有问题下直接开创一个新的分支。这就厉害了，属于另起炉灶的工作。经典例子如 MAML、GAN、Flow 模型，完全是在开辟一个崭新的（灌水）方向。

如何看海量 paper？

这个问题没有标准答案。事实上每个人不可能对所有的「好」paper 都达到 100% 的召回率。我的方式也还是比较老套，就是顶会放榜后人工去筛出自己感兴趣的 paper 下载下来打上标签（用 zotero）留着慢慢看。尽量用一句话总结出一篇 paper 的贡献。这时候就能很轻松地分辨出一篇 paper 是不是水文了：

如果你能轻而易举地用一句几乎没有任何新专业术语的文字概括它的所有贡献、并且别人能看明白或者你一个月后看到笔记你就能看明白，那它多半不是一个好的工作。

如果你自己都觉得一句话不太够、需要多做一些笔记，那这篇 paper 是值得一看的。

例如，paper A 针对 x 问题提出 y 方法，其核心是 xxx，取得了好结果。

如果一个月后你看了笔记还记得、并且对其 y 方法印象深刻、认为其确实解决了问题，那是一个好 paper；如果你一个月后已经记不得 y 是个啥、解决了个啥问题、到底有没有解决还是只是性能有提高，那多半不是一个好工作。

当然，这「一句话」就见仁见智了，不同的人有不同的理解。如果实在难以区分，那还有第二招：看它研究的问题和 motivation。看这个问题是否很重要，为了解决它，作者为什么要用 xx 方法，xx 方法能够被其他方法所替代吗？你觉得这么用是不是灌水、让你想你能不能想到。如果你也能轻松想到或你觉得这么加就是 a+b，那么多半它不是一个好的 paper。

新奇的看 paper 角度：看工业界的 paper

其实工业界的 paper 相对来说「好」paper 的召回率能有保证。为啥？因为发 paper 是学校和研究所的 kpi，那当然大家会拼命发呀。但是只会发 paper 在公司里是不可能混的好的。所以工业界提交的 paper 里总会有一部分真正能 work 的 paper 才能保证这群人能在公司里混的好。

另一方面，深度学习时代最重要就是大数据和计算平台，这两个恰恰是工业界具备的、绝大多数高校和研究所不具备的。工业界因为有实际问题和实际的数据，往往看问题会比高校和学术界更实际也更透彻、更能解决痛点。数据也都是实际应用的大规模数据，更能验证方法的有效性。不过工业界的 paper 通常都不是很花里胡哨，有点傻大粗……

所以这个角度是不是很新奇……当然问题没有绝对的，我从来没说高校和研究所的 paper 都不好，工业界的都好，毕竟高校和学术界是工业界研究的支持力量。我在这里只是给大家提供这个角度供参考。

我们怎么学习？

从讲故事讲得好的 paper 里，学习讲故事的能力。

再强调一下，讲故事和写作能力在顶会里越来越重要了。不是大牛组的同学一定要加强，多读别人的 paper 学习套路，能加理论就加一下（虽然你也不会用到）、参考别人的用词和套路、画的精美的插图和表格，更好地包装自己。

当然，科研的本质不是做出真正改变世界的成果吗，为什么我们一直在强调讲故事和写作？悲哀啊。

从硬核的你觉得的好 paper 里，学习研究问题、分析问题、解决问题的能力。

这就见仁见智了，得是一个持续学习的过程，你需要自己真正进入一个领域去思考问题。

当然，并不是鼓励大家去灌水，为了毕业也是不得已。这是从写作者的角度讲大家要给予理解。毕竟没有人生来就能做出好的工作，都得慢慢成长。但绝对不要长期灌水，否则就太没有意义了，浪费电浪费 GPU 污染环境。所有的好工作也是建立在无数的平庸的工作基础之上的。要辩证地看待这个问题。

其实挺精神分裂的，一方面，作为研究者，我们当然想发顶会，那就得花大时间讲好故事；另一方面，作为论文阅读者，我们确实不太想看故事、厌烦过度包装，直切要害最好了。然而又能怎么办呢？这就是从业者的命。

补充一句，顶会还是顶会，真正的好 paper 永远都会优先投在会议上，只是我们需要去发现它。并不是说因为灌水的多了，顶会就不「顶」了。态度还是要端正的。

最后，大家加油吧！祝每一份努力都不会白费！

原文链接：https://zhuanlan.zhihu.com/p/315760425?utm_source=wechat_session&utm_medium=social&utm_oi=56560353017856&utm_campaign=shareopn

往期精彩：

【原创首发】机器学习公式推导与代码实现30讲.pdf

【原创首发】深度学习语义分割理论与实战指南.pdf

顶会 paper 泛滥的情况下，应该遵循怎样的论文研读方法？

求个在看