↑ 点击蓝字 关注极市平台

作者丨陈大鑫

来源丨AI科技评论

编辑丨极市平台

今日凌晨，ICLR 2021初审结果在官网公布，没有论文拿到满分10分，论文想被接收平均分大概要6分以上。

本次ICLR 2021一共有3013篇论文提交，其中有856篇论文是来自NeurIPS 2020 Rejection 之后重新提交的。

以下是本次ICLR 2021提交论文关键词的词云图：

ICLR，全称为International Conference on Learning Representations（国际学习表征会议），2013年由两位深度学习大牛、图灵奖得主 Yoshua Bengio 和 Yann LeCun牵头创办。

ICLR成立至今仅七年，但它已被学术研究者们广泛认可，被认为是“深度学习领域的顶级会议”。

ICLR 采用公开评审（Open Review ）机制。所有提交的论文都会公开，并且接受所有同行的评审及提问，任何学者都可或匿名或实名地评价论文。而在初审公开之后，论文作者也能够对论文进行调整和修改以及进行Rebuttal。

评审总体概况

在今日ICLR 2021初审结果公布之后，又是辣个男人，Criteo AI Lab机器学习研究科学家Sergey Ivanov，他火速写了个爬虫程序统计出了ICLR 2021所有论文初审得分的数据。

一眼望去，平均论文得分TOP 100的论文达到了6.75（满分是10分）：

在这所有论文当中，最高的单项评审得分是9分，然而没有任何一篇论文达到10分。

所有论文的平均分数为5.16（中位数为5.25）。

这意味着，如果论文接收率为20％，那么论文平均分数要达到6分以上才能被接收。

而所有论文当中平均得分最高的论文是：

《How Neural Networks Extrapolate: From Feedforward to Graph Neural Networks》

这篇论文的平均得分达到了8.25，全部得分为[8, 9, 9, 7]   ，第一作者来自MIT。

另外，之前比较火热的一篇“视觉Transformer”论文相信大家都有印象：

《An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale》。

在推特上，斯坦福大学CS博士、特斯拉AI总监 Andrej Karpathy转发了该论文，并表示[乐意见到计算机视觉和NLP领域更高效/灵活的体系结构的日益融合]。

这篇论文则是拿到了[7,7,7,7]的得分，而平均分7分在所有论文中的排位是47到95，所以这篇应该算是一篇稳被录取的论文了。

其中一个评审是

图注：本图中文为谷歌机器翻译

关于本论文的更多介绍可以移步ICLR 2021公开评审，这些信息点和高赞论文不可错过！一文。

2 评审流程

ICLR2021 的评审流程如下图所示：

翻译下来，大概如下:

1、作者提交论文	5、程序主席分配论文给审稿人	9、审稿人作出终审
2、区域主席竞标论文	6、审稿人完成初审	10、区域主席作出论文Oral/poster等接收建议
3、程序主席分配论文	7、区域主席审阅评审质量	11、程序主席作出论文最终的接收决定
4、区域主席推荐审稿人，审稿人竞标论文	8、“互怼”（Rebuttal）阶段

审稿人在评审时主要完成的两件事：

一、亲自回答三个关键问题，以建议接受或拒绝：

• 本文要解决的具体问题是什么？

• 本文提出的方法出发点和动机（ motivated）如何，以及在论文中的位置是否合适？

• 本文的理论和实验结果是否正确，科学上是否严禁，是否足以支撑本文提出的方法？

二、写下初审，组织方式如下： 

• 总结论文声明可以做出的贡献（持积极和慷慨）。

• 尽可能全面列出论文的优缺点。

• 明确说明您的建议（接受或拒绝），并选择一个或两个关键原因。

• 提供建议的支持论据。

• 提出您希望作者回答的问题，以帮助您阐明对本文的理解，并提供对评估充满信心所需的额外材料。 

• 提供额外反馈，以改善论文质量。明确说明这些要点是有帮助的，不一定是您的决策评估的一部分。

3 “吐槽大会”

首先回忆一下去年ICLR 2020的审稿，可谓是吐槽与争议不断。

比如，一篇ICLR 2020的论文在拿到满分评价后，其他的两位审稿人又连续给了2个1分评价，还有的论文三位审稿人均给出了6-6-6的高分，但区域主席却做出了不适用自己论文的评语。

另外在去年的时候，南京大学周志华教授曾曝出：ICLR 2020竟然有47%的审稿人从来没有在本领域发表过论文。

后来周教授又指出：开放评审进当参与者都是相当level的专家才有效，否则更容易被误导。学术判断不能“讲平等”，一般从业者与高水平专家的见识和判断力不可同日而语，顶会能“顶”正是因为有高水平专家把关，但现在已不可能了......

而说到本年度，首先要问的就是双盲评审有多盲？

对NeurIPS 2020来说，在9298份提交的论文中，已有2313篇论文发在arXiv上，占所有提交论文的25％。

相比之下，ICLR 2021有557篇论文发在arXiv上，占所有提交论文的25％。

其中就包括上文提到的ICLR 2021平均分第一的论文，也能在arXiv上找到：

论文链接：https://arxiv.org/pdf/2009.11848.pdf

论文作者来自MIT、马里兰大学 、华盛顿大学等。

Facebook AI研究员田渊栋指出某个ICLR评论：“我认为大部分定理只是简单的演算，将这样的计算结果称为定理是不合适的。”

但是稍微有点复杂的定理，评论则将是：证明太长且太复杂（并且仅在附录中显示，我们无需阅读），因此该论文实际上属于期刊。

这确定不是在为难为众多作者？

而在reddit上，有网友说道：“为什么总是会出现这样的情况，一篇论文是如何做到同时得到1分和9分的？”

 

4 评审不易

在本次ICLR 2021上，有心人注意到了一篇长达245页的论文《Deep Networks and the Multiple Manifold Problem》。

确定这不是把博士论文投稿过来的？

论文链接：https://openreview.net/forum?id=O-6Pm_d_Q-

这么长的论文先不说搞不搞得明白，确定审稿人哪怕能读完了这篇论文？

AI科技评论查阅，本篇论文的初审得分是5、5、7、8，属于不算太差。

先来看一下这篇245论文可怕的目录：

      

这篇论文研究了多重流形问题，这是一种在机器视觉应用中建模的二进制分类任务，其中训练了一个深层的全连接神经网络来分离单位球面的两个低维子流形......

一句话来说：本文证明了深度全连接神经网络的有限时间（ finite-time ）泛化结果，该神经网络通过梯度下降训练以对结构化数据进行分类，其中所需的宽度，深度和样本复杂度仅取决于数据的固有属性。

AI科技评论把这篇论文从头翻到尾，从尾翻到头，确定全文只有下面这三张图：

而剩下的200多页全部都是令人感到敬畏的数学证明公式：

真可谓是开局三张图，剩下全靠数学公式......

给这篇论文5分的一位审稿人说道：

本文从多个流形问题的角度分析了深度神经网络。但是，它需要更简单的解释来面向更广泛的受众，另外考虑到这篇文章有245页，建议本文最好写成一本书，而不是发表成会议论文。

再看一下另外一个给到8分的评审，这条评审首先对论文研究内容给出了肯定，之后又提到这篇论文的技术性之强令人发指，他表示怀疑或许没有多少读者会阅读这些证明。

图注：本图中文为谷歌机器翻译

一方写的太复杂，而另一方又没时间看或看不太懂，对此局面，估计双方都会忍不住表示道：这也不能全怪我。

另外在推特上还有大佬指出一篇论文的评审结果：

“我认为该论文尚未准备好在ICLR之类的会议上发表…可以提交给更合适的会议。”

然而同一篇论文的另一个评审却是：“这项工作简单但有效……使其成为ICLR的不错的选择，考虑被接受论文的前50％”。

虽然这位大佬没有说出是哪篇论文，但是AI科技评论巧合地发现，这位大佬说的正是上面这篇245页的论文。

另外，目前仍然不确定这篇就是页数最长的论文。 

5 总结

目前尚在Rebuttal阶段，得分不高的作者请不要丧气不要伤心，尽情合理地怼回去吧，毕竟今年肯定也会有很多审稿人没有相关领域经验，而不代表你们的论文研究不好。

另外论文平均得分高于6分的作者们也请不要掉以轻心，除了后面可能会反超之外，也要尽可能地合理合据地把给出更多补充材料，以及好好回答审稿人的问题，不然可能会掉分哦~

最后，ICLR官方已做出表示， 2021年5月4日-8日会议将仅有线上召开。

openview网址：

https://openreview.net/group?id=ICLR.cc/2021/Conference

全部统计数据链接：

https://docs.google.com/spreadsheets/d/1MLlgV82_4K1FJGSjUKm2R8cw5msn4xmrhtnS9FLAS6k/edit#gid=189496698

其他参考链接：

https://www.reddit.com/r/MachineLearning/comments/jrocd9/d_iclr_reviews_are_out/

推荐阅读

• 她，诗人拜伦之女，英国数学家，历史上第一位程序员

• 深度血轮眼：识别《火影忍者》结印手势

• 机器学习理论最佳入门发布！周志华宝箱书搭档，开源教程《钥匙书-KeyBook》

添加极市小助手微信（ID : cvmart2），备注：姓名-学校/公司-研究方向-城市（如：小极-北大-目标检测-深圳），即可申请加入极市目标检测/图像分割/工业检测/人脸/医学影像/3D/SLAM/自动驾驶/超分辨率/姿态估计/ReID/GAN/图像增强/OCR/视频理解等技术交流群：每月大咖直播分享、真实项目需求对接、求职内推、算法竞赛、干货资讯汇总、与 10000+来自港科大、北大、清华、中科院、CMU、腾讯、百度等名校名企视觉开发者互动交流~

△长按添加极市小助手

△长按关注极市平台，获取最新CV干货

觉得有用麻烦给个在看啦~