告别「灭霸式审稿」,IJCAI-21的投稿者爽到家!
共 1539字,需浏览 4分钟
·
2021-02-09 00:12
新智元报道
【新智元导读】没有「灭霸式审稿」的IJCAI-21,你的论文中了吗?
还记得去年的那封来自时任程序主席Christian Bessiere的邮件拒信吗:
去年的 Summary Reject 引发了大家的热烈讨论,因为在接收的5147篇论文中,有2191篇被拒稿,拒稿率达到了史无前例的 42%。很多作者还未等 Rebuttle 和终审结果,就已经收到拒稿信。
更有网友开玩笑说:
而今年的 IJCAI-21 已收到5534份摘要投稿,4204份全文投稿。IJCAI 2021和去年一样实行两阶段评审:Summary reject和Full paper reviewing。
在IJCAI-21中,144份提交因违反IJCAI-21提交政策被拒,Desk Reject(144/4204)为 3.4% ;而在剩下的4060份进入 Summary Reject 审查阶段的提交材料中,3058份将进入全文审查阶段,Under Review(3058/4204)为72.7% 。
IJCAI理事会决定,评选张成奇教授为2024年IJCAI大会主席。张成奇是继杨强和周志华后,进入IJCAI理事会的第三位华人:周志华教授将担任IJCAI 2021的程序主席(Program Chair),而杨强教授是IJCAI 2019理事会主席(President, Board of Trustees)。
而大会官方公布的时间线表示,2月7日会公布Summary Reject的情况:
今日,我们知悉:IJCAI-21的 Summary Reject阶段的拒稿率为23.8%(1002/4204)。
作为评审的第一阶段,Summary Reject 的快速审稿流程旨在帮助作者节省修改和重新提交到其他地方的时间。每一篇投稿都被分配给至少10位资深审稿人(AC/ SPC),有些甚至被分配给16位资深审稿人。
每位资深审稿人有10天的时间来评判大约20份提交的论文,然后由SACs(高级区域主席)检查困难或边缘的案例。最后,大多数提交的作品至少收到9份Summary Reject评审 (104份提交,8份评审),有些甚至收到16份评审。
本次IJCAI-21采取了一种保守的策略:
只有当至少40%的返回的高级评审投票拒绝时,一份提交才会被Summary Reject ,例如:对于收到9个高级评审的提交,如果至少有4个高级评审投票拒绝,那么它将被拒绝。
在某乎上,我们看到了一位网友对 summary reject 的结果做出了这样的评价:
去年的IJCAI的summary reject结果遭到了网友的大量吐槽。
在这个阶段,论文一般会被发送给几位 SPC,然后由这些 PC 会花10分钟左右的时间,根据论文的摘要、总结等部分,对论文情况有一个大概的估计,如果他们认为这篇论文不能进入下一阶段,则由领域主席做最终的决定。
类似地, NeurlPS 2020 也有相似的流程:评审引入了 early reject 的机制:所有投稿论文都会先粗略地被看一遍,过滤掉明显不符合要求的,再进入正式的评审。
引入这种评审机制最初的想法或许是为了应对人工智能领域快速飙升的投稿量,减轻一些审稿人的压力,但是去年的这种「灭霸式审稿」不可避免的会伤及一些无辜。
对于本次的Summary Reject阶段的结果,你有没有什么看法呢?