CV内卷与怪状？学者发文：《谈CV领域审稿》
点击上方“机器学习与生成对抗网络”，关注星标
获取有趣、好玩的前沿干货！
作者：欧阳万里 知乎
https://zhuanlan.zhihu.com/p/429188796
先写个CVPR2022 due之前的善意提醒：注册日期 11月9日，过了时间没注册就没法投稿了。多了个ethics guidline，请仔细阅读，提前准备。
======================
本人曾服务于CV会议领域主席和期刊副编，有义务为这个社区贡献一些力量，所以写下这个比较长的文章。
写本文的原因，近年来CV领域“内卷”（竞争激烈）这个词开始受到关注。有感于不少人抱怨审稿人质量下降，说一些自己的看法。
0、整个community的氛围是由每一个审稿人（每一个你）组成，审稿之前，可以考虑一下自己作为author的时候希望什么样的审稿人，然后努力做这样的审稿人。
1、近年来CV会议越来越难中是众所周知的。CVPR2021感觉比以往更难中文章（据我个人有限经验，也可以说是目前为止最难的一次）。
这其中可能有两个原因（不止这两个，也有其他的，无法说全，见谅）：
(a）16/17年开始不少人觉得看到部分中了的文章质量不高（觉得这种文章居然可以中），所以想提高质量，于是要求自然升高。
(b） 随着这些年进入CV的研究者变多，总体而言能带学生发表好论文的老师越来越多，使得文章质量相对好的总量在上升。这导致以前能中的idea现在被reject。而被reject的文章再次投稿的数目也很多，这里面不乏质量好的文章，进一步提高了本身文章的质量。所以现在对于文章写作和实验的要求比以前确实高了不少。
(c) 之前有人说最近几年没有突破性的工作，创新越来越少。其实如果留心看一下2012年以前的文章，那个时候的novelty也没有咱们想象的那么多。我们在做的都是积跬步以至千里。
2、误区：非常少数reviewer以为给别人低分，自己的相对低分的文章就能中，其实不是这样。
根据我自己这几年投稿和审稿经验，历年来文章接收的分数基本没有太大变化。所以低分的文章还是很不容易被接收。作为AC和reviewer我从来没有收到要控制今年文章要大概多少篇accepted的信息。
相反，如果各位reviewer对你手里的文章好一点（当然quality还是要够），在不远的明天你的文章在别人手里的时候你才能期待别人对你好一点。我有个以前的学生这次拿到比较差的分，然后报复性的给了别人一个strong accept给别人，这种以德报怨珍视好文章的行为还是深以为然的（当然，前提是文章要真正有可取之处）。
所以不建议刻意给文章低分，否则CV/AI方向的热度下降拐点可能就在不远。作为CV研究者，我们希望的应该是这个领域的繁荣而不是凋零。
3、作为author，谨慎的预测则是后面投CV会议会变得非常不容易，在此情况下，可以选择
（a）弃坑，换一些更有意思的方向；
（b）继续在坑里待着（目前多数人的选择），那么既然目前还在这个领域做，就尝试把自己的下一个submission做得更好。包括实验、文章写作、idea方面。不管本次文章分数是高还是低，下一次一定要有这个心理准备，那么文章命中率还是会提高的。据我跟一些研究者的讨论，他们还是认为多数自己认为不错的文章还是中了，而质量不那么好的文章明显命中率低很多。当然，也不乏很多老师自己认为最好的工作没中（太新，不容易让人接受，出现八只爪的猫的现象，即有明显可以看到的缺点），不那么好的工作却中了的（完美无缺的bug，实验结果、文章写作、idea没有大的问题，但明显是delta improvement）。
4、当你的文章遇到多个reivewer。
多数人是3个reviewer。但有可能有4个甚至更多的情况。我解释一下我这边一个case，有篇文章已经有了2个reviewer comments，但是有一个reviewer在due date前没有给comments，我发几次邮件也没回复（因为第一次做AC没经验，期间没能删掉这个reviewer）。所以就联系了两个不太熟悉的紧急reviewer，意料之外的是：没有回复我email的reviewer最终给了comments，另外两个紧急联系的也给了（也不好让人家不要给comments了）。于是这个文章就出现了5个reviewer（对这个文章作者非常抱歉）。相信其他AC也是类似的着急了多找了几个紧急reviewer的情况。
5、请不要：
5.1) 将公司、个人的利益关系扯到审稿中。公司竞争如何残酷、如何创造了仇恨都是另外的事情。但是千万不要将这种心情带到审稿。让咱们共同为学术留一份净土。
5.2) 只考虑自己做研究的方式。你可能喜欢推公式，但也请理解一个简单有效的idea的重要性（特别是对于工业界的重要性）。Mask R-CNN可能没有几个公式。SINGAN的公式真的没什么理论创新。其他类似的还包括简单的网络结构设计（比如GoogleNet, VGG）。你可能喜欢简单有效的idea，也请理解这个community真的很需要理论方面的进展。如果你做的是X（如深度学习），也不要一味认为非X方法（如非深度学习方法）就因为不是X主流而轻易的reject。多年前这个X方法也不是主流。关键还是看这个community（不完全是你个人）的人是否能从这个文章进一步作出最终有实用价值的工作。
6、写给期刊审稿人。
6.1) 如果你没有时间，非常理解，请尽早decline。否则这会使得AE需要等你的回复才能去找另外的审稿人。如果能推荐其他合适的reiviewer，AE会感谢你。
6.2) 如果接受审稿邀请，请尽早提交，如果不能在due之前提交，请尽早告诉AE大概什么时候能提交。很多时候咱们自己的文章审稿时间长是因为有审稿人同意审稿，但是没有按时提交审稿。作为投稿人，我们如果希望自己的文章尽早出结果，那么我们作为审稿人的时候按时提交就是在有利于将来自己投稿结果尽快得到这个趋势。我了解的很多AE确实很忙，但是他们也在尽力找时间尽早邀请审稿人文章，只是往往不容易找到审稿人（有的文章找了十几个审稿人，只有2-3位接受邀请）。
6.3) 期刊审稿意见通常会期待比会议多不少，如果是第一次审这个期刊，自己没有投过，则推荐问问身边的人，了解一下对于文章的要求和对审稿意见的一些期望。
7、写给会议审稿人。
7.1) 分配了文章尽早看一下是否能审，不能审的话尽早告诉审稿人。如果不能审却没有说，后面AC就比较难办。
7.2) 如果审稿了，尽量参与borderline文章的讨论（这个时候AC通常会提醒审稿人），尽早给出审稿意见。AC知道你是谁，没有按时给审稿意见，给AC留下了不好的印象不说，也直接导致AC另外找emergency reviewer的时候的困难。通常emergency reviewer人数少，时间短，审稿质量相对不容易保证。
7.3) 为了community考虑，尽量同意做emergency reviewer。
7、一些关于reivewer training的信息：CVPR21 Training page for ACs and referees。摘抄一些这里面写的一些comment reviewing errors和自己的评论：
The novelty fallacy
• :
------• Referee: this shouldn’t be accepted because it isn’t novel
---------• no because?
------• Referee: this should be accepted because it is novel
---------• hard to take seriously
------• Errors:
---------• many important things aren’t all that novel
---------• small but clever adjustments to SOTA
------• many novel things aren’t all that important
----------• AND most really silly things are novel
评：说实话，每一个文章（包括oral和best paper）都有reject的理由，而建议reviewer在review的时候想想的是这篇文章的Novelty是否值得CV community阅读和进一步在此基础上作出更多有价值的工作。
如果非常好的idea，只是一点瑕疵（比如某个图没画好，文章某个章节没写好，实验有部分瑕疵），而reviewer可以通过comments帮助作者改过来的，则接收该文章也是一个不错的选择。
Intellectual laziness
-----• :
---------• Referee: Doesn’t beat SOTA so it must be rejected
---------===• No: you have to judge whether it is worth reading
---------===• and this isn’t the same thing
---------• Referee: Beats SOTA so it must be accepted
---------===• No: you have to judge whether it is worth reading
---------===• and this isn’t the same thing
---------• Referee: Thm V looks wrong
---------===• No: it’s either right or wrong, and you should know which
---------• Referee: (finds tiny error and rejects)
---------===• No: is this error important?
---------===• Safe behaviour: Use your skill and judgement
评：在公司的工程项目和各种会议组织的竞赛中对于performance要求高无可厚非。但是不见得要把这件事情泛化到所有文章。
如果一个idea够新，则应该允许这个方法刚开始的时候结果不用比SOTA好。
比如刚开始的CNN不见得比非CNN的pedestrian detector/face classifier/image classifier/person re-id方法好，但是现在是什么情况大家都知道。再比如刚开始的Tranformer for detection (DETR)不见得比最好的 non-transformer detector好，但这并不意味着这些文章就该rejected。关键还是这个novelty是否通过ablation study justify和novelty是否够。
最近CVPR due快来了，感兴趣的同学也可以看一下关于写/审论文的视频（其中包含了很多这个领域的资深学者的真知灼见）。
https://www.bilibili.com/video/BV1yt4y1Q73k
猜您喜欢：
CVPR 2021 | GAN的说话人驱动、3D人脸论文汇总
附下载 |《TensorFlow 2.0 深度学习算法实战》