当我们谈科学研究的创新性时,我们在谈些什么?——给审稿人的一封信

极市平台

共 3322字,需浏览 7分钟

 · 2022-02-17

↑ 点击蓝字 关注极市平台

作者丨Michael J. Black
来源丨AI科技评论
编辑丨极市平台

极市导读

 

我们该怎么定义这个“真有两把刷子”?可能会有很多审稿人说,“当然是看这个工作够不够创新喽。” 这没毛病,但我想追问下去:什么是创新的科学研究?>>加入极市CV技术交流群,走在计算机视觉的最前沿

对于CVPR这样的顶会,一篇投稿到底该不该中,审稿人往往是有很强烈的主观意愿的。好似心中有一条金线,达到了就是达到了,没达到就是没达到。这条金线标准蛮高的,最终能顺利过线的工作,真得有两把刷子才行。那么问题来了,我们该怎么定义这个“真有两把刷子”?可能会有很多审稿人说,“当然是看这个工作够不够创新喽。” 这没毛病,但我想追问下去:

你给我翻译翻译,什么是创新的科学研究?

对于各式各样的审稿人,我是身经百战见的多了。当他们谈“创新”的时候,其实谈的是“复杂”,“难度”,以及“技术含量”。似乎必须得有这些元素,一篇工作才能算创新。所以呢,我想我们或许可以换个词
“新不新” “妙不妙” 
“妙”或者说“美感”这样的表述,可以帮我们摒弃掉那些关于方法复杂性和技术含量的讨论,直达科学创新的本质。哪怕其创作技法很简单,一幅画依然可以是美的, 学术论文也是一样的道理。伦勃朗丰富的细节和色彩是一种美, 毕加索看似简单的曲线构图,也是另一种美。
现在,有了“妙不妙”这个指标,我们可以重新审视一下,那些审稿人对创新性的典型误解:

复杂就是新

审稿人常把“简单的思路”和“没有创新性”混为一谈,但事实往往并非如此。有一种常见的审稿意见:

这个思路太简单了,只在目标优化方程的一项上动了动手脚,其他地方和之前的工作一模一样。

如果之前的确没人打过这一项的主意,那么这个改动就是事实上的创新。这个创见的真正价值在于,通过主动的思索找到了这个命门 ——— 一个稍微改动就可以带来明显效果提升的命门。最终基于此,构建出了简约的解决方案。(译者按:福特斯坦门茨的故事,“画一条线,1美元,知道在哪里画线,9999美元。”)

这类审稿意见的存在,让我的学生们觉得,他们得把方法弄的复杂一点才能博得审稿人的青睐。但我觉得简约比没必要的繁冗更有价值。越简单越好。比起咔咔整一个“为了复杂而复杂”的模型,在一个已有模型上略加改动就有所提升,更妙一些。

难就是新

中顶会可太难了。所以审稿人就常觉得,一个工作,无论是思路还是技术方案,得看起来有点难度有点门槛才好。仿佛文章作者必须得呕心沥血鞠躬尽瘁,这文章才配被录用。尤其是那些小白审稿人,特偏爱那种看起来颇费周折才能做出来的文章。
但一个简约的思路,往往意味着删繁就简,去糟取精,直捣黄龙。这才是科学家该干的事儿。
一个简单的思路,可以意义重大,当然,也有一定几率确是一个无足轻重的改进。这就考验审稿人的水平了,如果一篇论文提了一个很小的点, 但这个点直击症结,取得了其他类似方法都难以望其项背的效果。那么这个微创新,就很有可能不是无足轻重的那种,这工作录用了,整个领域都会受此启发。

离谱就是新

不走寻常路往往就是创新之路。甚至从定义上来说,创新就是离经叛道,一条未曾有人涉足的道。但这种惊喜的感觉,往往是转瞬即逝的, 当听到一个很棒的主意,你觉得格局大开,但慢慢地,你会认为这个主意“理所当然”,而且往往是,想法越屌,大家就越容易认为它“理所当然”。比如这个很典型的审稿意见:

这不是很显而易见嘛,这不就是A+B?

理所当然是创新的反义词,所以,如果听完后觉得一个思路理所当然,审稿人往往就会草草下“创新性不够”的结论。但你应该站在一个过去式的视角来看待这个问题, 没审这篇文章之前,你能“理所当然”地想到要这么干嘛?能第一个想到应该这么干,然后干出来了,这本身就是创新。所以,无论是解释起来很容易,还是一切看起来理所当然,都无损于想法本身的创新性。

技术含量就是新

审稿人最常见的错误观念,就是觉得创新性和技术细节是绑定在一块的。创新性不光指方法论,它可以有很多表现形式,如果一个数据集有一些已有数据集没有的新特性, 哪怕采集制作这个数据集用到的方法没新意,这个数据集本身也是创新的。方法论也一样,旧瓶装新酒也可以啊,只要别人没想过原来你可以这么装。就是单纯把一个复杂的模块简单化,也可以给人启发。
创新性就像刚才说的“妙”这个词一样,是可以横看成岭侧成峰,远近高低各不同的。在你批评一个工作没有技术创新的时候,扪心自问一句,是不是管中窥豹,格局小了。

有用就是新

不是所有创新都有用处的。它们只是新而已,并不一定真有什么实用价值。但这些可能没什么卵用,但又着实新奇的脑洞,可能会把我们引到一些未曾设想的道路上。所以,审稿人得格外小心一点。我们很难洞悉这些所谓的“歧途”会把领域引向未知的何处,得承认自己的局限性,我们现在做的各种预测,说白了,也还是跳不出当下现状的窠臼。比如,我常常会看到这样的审稿意见:

作者提了一个方法,然而这一切并没有任何卵用

“没有卵用”确实是一个问题,但如果要用这个词来评价一个新脑洞,还是有点操之过急了。审稿人心里要有X数,要有敬畏心理,不要对自己的想象力有过高的估计。

一点人生经验

我早期的研究,主要是把鲁棒性统计 (Robust Statistics) 和马尔科夫随机场 (Markov Random Field) 联系了起来,如果说有点创新性,那就是之前确实没人想过可以这么干。但这套A+B的打法可以搞出来很多有意思的玩意儿,做大了学术的蛋糕,基于此,也延伸出一些新的理论。我很幸运,尽管开始做的时候没太考虑实用性的事,但现在重新回看这些工作,它们的价值已然显现,之后诸多效果拔群的实用算法都受此启发。
站在事后诸葛亮的角度,你当然可以说,鲁棒性检测和计算机视觉科学的关联是“显而易见的”。现在,在计算机视觉任务中使用鲁棒检测器,已然是标配,并不比呼吸新鲜到哪里去。但站在当年那个的时间点,当那个第一个吃螃蟹的人,却是小婴儿喘的第一口气。
人一辈子,会有很多次让你兴奋的时刻,但没有哪一种兴奋,可以比得上智性的火花划破科学长空的那一霎。一切如惊鸿般短暂,却像夏花一般绚烂。

“众里寻她千百度,蓦然回首,那人却在灯火阑珊处”。

灵光一现,你仿佛有了二郎神的第三只眼, 获得了一种全新的洞察世界的角度。你独自屹立在世界尽头的山巅,领略了前人从未曾欣赏过的风景,这就是创见的力量。闪念的火花,转瞬即逝,但为了一次又一次追逐这一刹那的火花,我已然在科学的路上颠沛流离了一生。

最后需要做的,只不过是把这个抽象的闪念,翻译成具象的代码,实验以及文字。在这个过程中,美妙的思维火花可能只是隐隐约约地闪烁在脑海。而我对诸位审稿人的请求,即是共情,想象你就是撰稿人,正处在火花飞扬前的黑夜。


公众号后台回复“数据集”获取30+深度学习数据集下载~

△点击卡片关注极市平台,获取最新CV干货
极市干货
数据集资源汇总:10个开源工业检测数据集汇总21个深度学习开源数据集分类汇总
算法trick目标检测比赛中的tricks集锦从39个kaggle竞赛中总结出来的图像分割的Tips和Tricks
技术综述:一文弄懂各种loss function工业图像异常检测最新研究总结(2019-2020)


CV技术社群邀请函 #

△长按添加极市小助手
添加极市小助手微信(ID : cvmart4)

备注:姓名-学校/公司-研究方向-城市(如:小极-北大-目标检测-深圳)


即可申请加入极市目标检测/图像分割/工业检测/人脸/医学影像/3D/SLAM/自动驾驶/超分辨率/姿态估计/ReID/GAN/图像增强/OCR/视频理解等技术交流群


每月大咖直播分享、真实项目需求对接、求职内推、算法竞赛、干货资讯汇总、与 10000+来自港科大、北大、清华、中科院、CMU、腾讯、百度等名校名企视觉开发者互动交流~


觉得有用麻烦给个在看啦~  
浏览 7
点赞
评论
收藏
分享

手机扫一扫分享

举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

举报