CVPR 2021大爆料!录用1663篇,论文ID可能影响录取结果?
大数据文摘授权转载自AI科技评论
作者:丛末、陈大鑫
终于!在几千上万人的翘首企盼下,CVPR 2021论文录取结果于1日10点20分左右放出。(如果不幸未中,请赶紧转投ICCV 2021~)
今年CVPR 共有7015篇有效投稿,其中进入Decision Making阶段的共有约5900篇,最终有1663篇突出重围被接收,录用率大概为23.7%(1663/7015)。
或许有人对论文录取率的计算方法有些迷惑,但其实就大会程序主席georgiagkioxari之前表示,论文有效投稿是7015篇,所以按照历年论文录取率计算方法,应该拿这个当做分母。
需要注意的是,这次大会给每位作者发的邮件是一样的,并没有在开头给某些作者道一声“Congratulation”,也没有说声“Sorry”,每位作者想要知道论文是否被录用就得在下面网站里的论文投稿编号来一一查对。
众所周知,在接收率上,CVPR已是“二连降”:CVPR 2018 收录论文 979 篇、接收率为 29%左右;CVPR 2019 收录论文 1300 篇,接收率为25%左右;CVPR 2020 收录论文 1470篇、接收率为 22%左右。
今年23.7%的接收率,虽然只比去年高出了那么一点点,但只要没有延续去年的“连降”趋势,就足以给投稿作者不少安慰。
另外还需要注意的一点是,该网站显示的论文被录取名单并不是最终的结果,还有极少数论文因某些需要调查的情况而推迟了最终决定,它们可能随后出现在最终名单上。
不列颠哥伦比亚大学计算机科学助理教授 Kwang Moo Yi制作了一个简单的CVPR 2021被接收论文的ID分布直方图,如下所示,其中横坐标表示论文的ID,纵坐标表示被接收论文的数量。
从上图可以看出论文录取数量随着ID增大而渐渐减少,ID最末尾处,更是几乎没有论文被录取。
这可真是玄学了。
Kwang Moo Yi 对此表示:“我个人认为论文 ID 很重要,因为ID会影响审稿人评审论文的顺序。难道在将论文分发给审稿人评审之前,不能以某种方式把论文ID随机打乱吗?”
难道是ID越小,代表论文完成越早?ID越大,代表论文作者完成地越匆忙,DDL拖到最后才提交?
西蒙弗雷泽大学计算机教授张皓也说到:“我猜可能还会有人争辩说,ID较小的论文往往“准备得更好” ...”
而据AI科技评论了解到,CVPR 2021是首先提交摘要的,ID也是这个时候被分配的,提交摘要越早分配的ID越大,且之后再提交全文的时候ID也不会随之变化。这就意味着并不是摘要提交越早一个星期之后的全文就提交的越早,但可能一定程度上摘要提交的越早代表着论文完成度越高吧,从而论文作者越自信?
又或者摘要提交的越早越有可能是之前从NeurIPS或ECCV等顶会转投的论文?
因为修改论文相对比新idea论文简单一些,如转投的论文在写作上完善度已经很高,而新论文写作就是一个非常费劲的事情。
说巧不巧,AI科技评论找来了过去两年的CVPR 论文ID顺序和被录取量的分布图,下面显示的是CVPR 2020 。
可以看出越到ID末尾,论文被录取量相比之下大致也是减少的。
至于3100-4100的ID整体都没有论文录取,有人猜测这可能是因为CMT系统没有为此范围区间分配任何ID。
下图则是CVPR 2019的分布图,这张图可以看出并没有出现如上的情况,但大致是一个正态分布?
其实关于论文ID分配的问题,AI科技评论发现在去年12月份时就有一位名叫Eric Brachmann的AI研究员在推特上问到:
“我们可以随机分配ID吗 @MicrosoftCMT?审稿人可能认为高ID对应于匆忙提交的论文。他们可能会按CMT提交的顺序进行论文评审,在评审到末尾时他们可能会感到疲惫和恼火。(乏了累了没耐心了进而给论文打低分?)”
而微软CMT在被Eric @之后,表示:“或许可以对审稿人显示一个哈希而不是直接的ID。”
Eric 对此表示:“很棒,但是要注意论文PDF文件中仍然能看到ID,但是CMT的随机顺序可能会有些帮助吧。”
而CMT到底有没有如上实际实施该办法,目前看来应该是没有。
CVPR 历年投稿情况:2019年将成历史“拐点”,投稿水分变大
CVPR 作为计算机视觉的顶尖会议,近年来每年的有效投稿数都屡创新高。
从2016年至今,CVPR的投稿数量几乎呈指数级增长。CVPR 2018相较于CVPR 2017投稿量增长了 23%;CVPR 2019 相较于CVPR 2018 投稿量更是一下子增长了56%。当时CVPR 2019 的程序主席、UIUC 教授 Derek Hoiem 曾开玩笑说,“按照这个指数增长速度,只需要到2028年,CVPR 就可以收到 108 亿篇投稿,全地球平均每个人都至少有一篇论文投稿,其中包括了老人和小孩。”
不过这种指数增长在这两年年却并没有持续,尽管2020年的投稿数量依然增加许多,但CVPR 2020相较于CVPR 2019投稿量只增加了28%(这里的“只有”是相较于去年的 56% )。且2021年的投稿数相比2020年也只是增加了19.6%。
似乎,2019年将是CVPR历史的一个“拐点”,从那里开始,CVPR的投稿增长速度开始下降了。
从接收论文量来看,尽管上图中的曲线似乎上升并不陡峭,但仅仅用了四年时间,接收论文总数已经增长了一倍左右(接收数:CVPR 2020 / CVPR 2017 = 1470/783)。
不过这种增长相比于投稿量近乎三倍(投稿数:CVPR 2020 / CVPR 2017 = 6656 / 2680)似乎显得并不如何让人振奋。
原因在下图中可以发现——
从2018年后,CVPR的接收率逐年下降!从近30%已经下降到22% 。从中也说明:
1)投CVPR的论文水分越来越大了;
2)CVPR组委会越来越重视会议接收论文的质量了。
就在一个多月前, 投稿作者纷纷接到了CVPR 2021的评审结果,就当时各位作者晒出的情况来看,可以用“哀鸿遍野”来形容。
吐槽年年有,今年也不例外。投稿作者们在哀嚎以外,也主要针对评审中的奇葩或不合理现象做了一番吐槽和讨论。
槽点 1 :审稿人写的评语不走心
知乎上有人表示论文被一句话强拒,理由不明,有人提到审稿人在评语中直接说看不懂(这让我rebuttal的时候说啥,“请你换审稿人”?);
在推特上,很多人也表达了对评审结果的不满。比如,有人吐槽很多评审只是简单地用“我不相信”和“我不认为”来表示质疑,而没有提出论据,以及具体的参考工作,并表示希望程序主席或领域主席能注意到这种现象。
此外,其还举出了另一个例子,以反映评审有多不走心:这篇论文的优势是X、Y、Z,另外,它也有一些缺陷,分别是X、Y、Z...(真是惊喜、惊吓...您咋不说,“这篇论文太烂了,强烈接收!”)
英特尔高级研究科学家İlke Demir这样调侃了CVPR 2021的评审摘要:
评审1:本文类似于A。
评审2:本文类似于B。
评审3:不,这是新东西
它是一只鸟吗?是飞机吗?不,它是超人!
槽点2:评审严苛
评审采用5分制,1分为最高分,5分为最低分。每一个分数都表示一个明确的评审意见:
1分——强烈接收(Strong Accept)
2分——勉强接收(Weak Accept)
3分——被拒边缘(Borderline)
4分——温柔拒绝(Weak Reject)
5分——强烈拒绝(Strong Reject)
看这表达,就能隐隐感觉到评审的严苛。
从网友们晒出的成绩来看,很多是223、244、344、234等从中庸到被拒边缘的分数,更惨的还有444、553、554乃至555...
不过也有知乎网友表示:分数比较差,但是得到了比较中肯的评价,提的问题切中要害,comment写的很详细,同时没有把话说死,给了足够多的rebuttal空间。
槽点3:审稿人意见相左,一篇论文经历获得5分和1分的巨大落差
在reddit上,有一位网友@redlow0992分享了自己的评审结果,其获得了1分的高度评价,并同时感受到被给5分的巨大落差。
我们写了一篇论文,揭示了许多以前的论文中使用的方法的缺点,并提出了一种改进方法。
评审结果令人大跌眼镜:
评审1:强烈拒绝(5分)。基本上是说,我们的论文是无用的,对于我们批评的论文,没有提供任何额外的好处。
评审2:强烈接收(1分)。评审表示很喜欢这篇论文,并提出了使用另一种方法来改进的建议。
评审3:被拒边缘(3分)。无具体评价。
@redlow0992觉得很困惑,一篇论文竟然会同时获得强烈接收和强烈拒绝!如果审稿人1实际上是他们批评的论文的作者之一,那不是很尴尬?
今年为什么会出现这么多的槽点和奇葩评审呢?
大概有以下几个原因:
1、审稿人数量不足:每位审稿人最多分配6篇论文,从这个数据可以大致估计出CVPR 2021的审稿人数量至少为3600。相比之下,NeurIPS 2020总共有6747名审稿人。
2、CVPR 2021采用了招募投稿作者担任审稿人的做法:Georgia Gkioxari认为,这种做法对于审稿人群体多样化至关重要。通常,审稿人的信息会从一个会议传递到下一个会议。“因此,通过这种方式,我们可以确保在其他会议具有一定投稿和审稿经验的人也能在CVPR中做出合理的贡献。”
3、评审工作量确实很大:2021年1月8日,程序主席Georgia Gkioxari在推特上分享了一些信息,表示“今年的CVPR至今为止,程序主席、领域主席、审稿人一共交换了101638封邮件”,可见评审工作量之大。
国际计算机视觉与模式识别会议( IEEE Conference on Computer Vision and Pattern Recognition ),简称CVPR,是IEEE一年一度的学术性会议。
作为世界顶级的三大计算机视觉会议(另外两个是ICCV和ECCV),近年来CVPR 无论在论文投稿数量还是在参会人数上,都可谓万众瞩目。
论文投稿量上,CVPR 2018有 3300 篇有效投稿、CVPR 2019有 5160 篇有效投稿、CVPR 2020有效投稿达6656,而今年的有效投稿更是达到7015篇。
CVPR 2019年现场参会的火爆情况想必大家记忆犹新,而CVPR2020线上召开之际,官方网站因为登录人数过多而一直处于转“圈圈”状态大家应该也都体验了一把。
由于新冠疫情,CVPR 2021 今年依旧将于线上召开,举办时间为6月19日至25日。随着今年CVPR 2021 的投稿数量再度打破新纪录,今年的线上参会人数想必也将跨上一个新台阶。今年CVPR 组委会可要在服务器上好好做好准备了。
引人注目的是,今年大会组委会有不少华人面孔:中国科学院院士谭铁牛担任General Chair,上海科技大学信息科学与技术学院教授虞晶怡将担任Program Chair,另外中山大学智能工程学院副教授梁小丹担任Tutorials Chair,南京邮电大学的Yi Wu担任Technical Chair。
组委会中如此的华人阵容,也是近年来华人作者在CVPR 中的突出表现的一次很好的反响。以去年为例,中国论文作者占比39.2%遥遥领先于排在第二的美国(占比22.7%)。
更加值得一提的是,去年,CVPR 最佳论文和最佳学生论文由华人包揽——第一作者皆为华人!
论文链接:
http://arxiv.org/abs/1911.06971
代码地址:
https://github.com/czq142857/BSP-NET-original
获得最佳学生论文的是《BSP-Net:Generating Compact Meshes via Binary Space Partitioning》,这篇论文从多边形网格入手,基于计算机图形学的经典空间数据结构Binary Space Partitioning(BSP)来设计了一个BSP-Net。
整个论文由三位学生完成,其中两位是来自西蒙弗雷泽大学的华人,名字为zhiqin Chen、Hao Zhang,还有一位是来自谷歌的Andrea Tagliasacchi。
第一作者西蒙弗雷泽大学博士一年级学生,从事计算机图形学相关的研究,主要研究方向是几何建模和机器学习。
最佳论文是由牛津大学的三位研究员的《Unsupervised Learning of Probably Symmetric Deformable 3D Objects from Images in the Wild》论文获得,其提出了一种无需外部监督即可从原始单视图图像中学习3D变形对象的方法。
其中第一作者吴尚哲是牛津大学视觉几何组的二年级学生。其本科就读于香港科技大学,四年本科生涯后,他以出色的表现接连收到了牛津大学、苏黎世联邦理工学院、洛桑联邦理工学院的博士项目全额奖学金录取,并最终选择加入世界顶级的计算机视觉研究组——牛津大学视觉几何组。
今年华人作者又将在CVPR 2021 取得怎样的成绩呢?我们拭目以待!
参考链接: