2017 年 6 月,Transformer 横空出世,迅速成为自然语言处理领域中的主流预训练模型,并在近期迎来了在计算机视觉等多个领域中的跨界应用热潮。 但它引领的潮流不止于此。其原始论文《Attention is All You Need》发表后,各种标题中包含「X is All You Need」的论文层出不穷。 但此类「X is All You Need」论文篇篇都有高含金量吗?X 真的重要到「All You Need」的程度吗?还是论文作者把这个句式当做「财富密码」?或许我们可以从其「通货膨胀」程度一窥究竟。 佐治亚理工学院机器学习博士生 Aran Komatsuzaki 发推表示:「光今天的 arXiv feed 流就出现了大概五篇标题中包含『X is All You Need』的论文。现在这个句式可能已经过于普遍了。」 机器之心在 arXiv 平台上以「All You Need」作为关键词进行了搜索,仅 2 月份标题中包含「All You Need」的论文就多达 6 篇,部分截图如下: 图源:https://arxiv.org/search/?query=All+You+Need&searchtype=title&abstracts=show&order=-announced_date_first&size=50 无独有偶,今天 reddit 上也有一个讨论论文标题党的热帖:「A Good Title Is All You Need」。这个帖子的标题可以说很讽刺了。 发帖人表示:很怀念从论文标题就能看出文章主要结论的「旧时光」。然而现在一大堆标题为「X is All You Need」的论文只是展示了应用 X 之后的边际效应。 除了「X is All You Need」类标题以外,发帖人还吐槽了另一种常见的论文标题模式,即描述方法而不透露结果,例如「Reinforcement Learning with Bayesian Kernel Latent Meanfield Priors 」。这种标题比「X is All You Need」类标题好一些,但它只描述了作者做的事情,并未陈述观察结果 / 实验结果。 当学术论文开始「标题党」,它们是会小试牛刀,还是在这条路上越走越远呢? 在这个热帖评论里,我们或许能够找到答案。 当你在 2021 年的春天思考会不会出现「我尝试了一个新的目标函数,效果不敢相信!」、「OMG,这个新方法让你神魂颠倒」的论文标题时……(本编辑:翻译这类标题,我不相信自己会输!) 有人在 2016 年就已经开始了:We used Neural Networks to Detect Clickbaits: You won't believe what happened Next!(我们用神经网络检测了标题党,难以相信竟然发生了这样的事!)(不过,这个标题或许是对它要研究的「标题党」的反讽。) 对于这类标题,评论区大部分人认为属于「标题党」,并表示不希望学术论文的标题和油管视频一个风格。 但也有人表示无奈: