怀才不遇、生来委屈！那些被拒稿的优秀AI成果
共 3340字，需浏览 7分钟
·
2022-01-23 08:32
链接 https://www.zhihu.com/question/356973658
ICCV、CVPR等顶会产生了许多人工智能领域的优秀作品，这些作品很多也被运用于生活实践中，但也有一些优秀的研究工作最开始的时候被忽视或者不被认可。那么人工智能领域有哪些优秀的工作第一次是被拒稿的？被什么拒了？现在如何? 当初的拒稿理由又是什么？
Hinton的知识蒸馏开山作品：Distilling the Knowledge in a Neural Network。
链接：https://arxiv.org/abs/1503.02531
当年被NIPS2014拒了：
https://twitter.com/OriolVinyalsML/status/1129420305246629899
（Oriol Vinyals是这篇文章的作者之一）
这篇论文非常好，我个人非常喜欢。简单的idea，启发了后续很多工作，算是开了一个新的方向。众所周知，现在提到神经网络模型压缩，一定是剪枝、量化、蒸馏三个方法了。可见这篇工作的意义。
拒稿原因嘛，我不清楚，知道的知友欢迎补充。
P.S. 其实好的工作被拒也是常有的事情，一些工作想法太超前，或是不符合会议评审的品味，或者一些更奇怪的原因，就被拒啦~Hinton之前也吐槽过(图片截取自讲习班视频：https://fcrc.acm.org/turing-lecture-at-fcrc-2019：
量化算法dorefa-net，至今只是arxiv，但是结果很solid，简单有效，引用几百了吧。
说两篇比较冷门的吧，Cutout regularization，就是图片随机抹除一小块，在很多视觉领域基本上都可以涨点，但是两篇文章都没中，因为方法太简单了吧，现在两篇文章引用都是200+。
论文链接：https://arxiv.org/abs/1708.04896
论文链接：https://arxiv.org/abs/1708.04552
有意思的是两篇文章idea差不多，放出来时间间隔差了一天...
分享两个被拒过的最佳论文（Best Paper）
DenseNet 最早投 ECCV，没有 ImageNet 实验而被拒，转投 CVPR 后拿下 Best Paper （现在 6000 引用）。
论文链接：https://arxiv.org/abs/1608.06993
Lottery Ticket 最早投 NIPS，没有 ImageNet 实验而被拒，转投 ICLR 后拿下 Best Paper。
论文链接：https://arxiv.org/abs/1803.03635
建议，审稿的时候不要拿“实验不足”当作万能拒稿理由，万一日后 best paper 就尴尬了。
计算机视觉里有个SIFT特征，在深度学习之前独领风骚，但是原作者David Lowe 亲自承认原稿被CVPR 和 ICCV 拒了两次：
I did submit papers on earlier versions of SIFT to both ICCV and CVPR (around 1997/98) and both were rejected. I then added more of a systems flavor and the paper was published at ICCV 1999, but just as a poster. By then I had decided the computer vision community was not interested, so I applied for a patent and intended to promote it just for industrial applications.
Another recent example is Rob Fergus's tiny images paper, which never did appear in a conference, but already has had a strong impact. I'm sure there are hundreds of other examples.
另一个例子来自Alan Yuille，他平庸的文章被收作Oral，在意的文章却被拒多次。他认为论文评审制度已经崩溃，因为每年提交到顶级会议的文章太多，reviewer都不够用了。这些会议鼓励渐进性的创新和短期的影响，甚至奖励表面上好看但存在严重内在缺陷的文章：
At present, my mediocre papers get accepted with oral presentations, while my interesting novel work gets rejected several times. By contrast, my journal reviewers are a lot slower but give much better comments and feedback. [....]
I think the current system is breaking down badly due to the enormous number of papers submitted to these meetings (NIPS, ICML, CVPR, ICCV, ECCV) and the impossibility of getting papers reviewed properly. The system encourages the wrong type of papers and encourages attention on short term results and minor variations of existing methods. Even worse it rewards papers which look superficially good but which fail to survive the more serious reviewing done by good journals (there have been serious flaws in some of the recent prize-winning computer vision papers).
上面几个例子都是Yann Lecun 引用来说明ICLR 的open review重要性的。虽然没有证据表明ICLR 审稿质量比别的会好多少，但至少可以公开出来让人们看清楚现实。
YOLOv1
被NIPS拒过。这里是作者挂出的NIPS review:
You Only Look Once: Unified, Real-Time Object Detection
链接：https://pjreddie.com/publications/yolo/
猜您喜欢：
附下载 |《TensorFlow 2.0 深度学习算法实战》