同行评审就是个笑话!Nature最新爆料计算机生成的垃圾文章竟还能被接受,64%来自中国

大数据文摘

共 3528字,需浏览 8分钟

 ·

2021-06-02 21:48

大数据文摘授权转载自AI科技评论
作者:陈彩娴

同行评审还有救吗?昨天,AI顶会中存在部分学者传统欺骗盲审,ACM Fellow发文怒批。一位担任过国际顶会大会主席的知名学者告诉AI科技评论,这种现象确实存在,很多同行都早已察觉,“这些年轻人对科研没有敬畏心,再不整治他们,会把整个行业搞垮。”

近日,Nature又发表了一篇文章,介绍了法国计算机科学家Guillaume Cabanac与Cyril Labbé最新一项研究:他们开发了一个叫做“SciDetect”的软件,专门搜查已发表的计算机程序自动生成论文,准确率高达83.6%!


根据Guillaume Cabanac与Cyril Labbé的研究调查,在计算机科学领域,计算机伪造论文的占比大约是:一百万篇文章中,有75篇论文是由计算机程序SCIgen自动生成的。

更值得注意的是,在最新发表的SCIgen生成论文中,有64%是由中国研究人员“撰写”,22%由印度研究人员“撰写”。

在目前确定有问题的243篇论文中,只有19%被撤回:12篇文章被正式撤回,34篇文章被悄悄撤稿。包括IEEE在内的一些出版商仍然继续出售197篇疑似SCIgen生成的文章,甚至没有给出任何警告。

科学是一个循序渐进的过程,新的发现与进步往往是建立在已有科学文献的基础上。也就是说,未来科学成果的质量与可信度取决于以往发表研究的正确性。虚假文章的泛滥,正在影响人们对科学的信任!

研究背景


这个问题始于2005年。那一年,就读于麻省理工学院的三名计算机博士生Jeremy Stribling、Daniel Aguayo与Maxwell Krohn出于娱乐目的,创建了一个叫做“SCIgen”的论文生成软件,还合写了一篇名为“Rooter: a methodology for the typical unification of access points and redundancy”的学术论文,投到学术会议WMSCI上,居然还被接收了!

论文链接:

https://pdos.csail.mit.edu/archive/scigen/rooter.pdf


事实上,这个计算机程序只是将单词进行简单的拼凑,随机生成标题、正文与图表,文章的实验结果也是错误的,人类读者很容易就能发现这些文章的内容是胡说八道。

由计算机程序写的水文居然被举办已超过10年的会议接收,暴露了一些学术会议不经同行评审、随意接收毫无学术价值的文章的现象。这个事件在当时引发了全网的曝光与讨论。

但是,这个软件可以免费下载,所有人都可以使用它。

七年过后,也就是2012年,法国计算机科学家Cyril Labbé又在IEEE所举办的会议上发现了85篇由SCIgen生成的论文,之后又在IEEE与Springer上找到了120多篇由SCIgen伪造的论文。这些论文有些被撤回,有些被删除。

为了纠正学术界的歪风邪气,Labbé创立了一个网站,人们可以上传论文、来检查该论文是否疑似为SCIgen发明的文章。他还出资赞助了一个博士生项目,开发出一款能够帮助查找疑似SCIgen生成论文的软件,叫做SciDetect。

网站地址:
http://scigendetection.imag.fr/main.php

一开始,Labbé是通过在论文草稿中搜索SCIgen词汇表中的典型单词来判断。后来,他与来自法国图卢兹大学的计算机科学家Guillaume Cabanac想到了一个新的方法:查找SCIgen输出中的典型短语。

总的来说,Cabanac与Labbé搜索这些计算机程序生成的文章时主要用到了四个方法:1)基于关键词汇;2)基于语法结构的相似性;3)借鉴Springer在2018年设计的典型短语检测方法;4)基于论文参考文献。

从去年五月开始,他和Cabanac在Dimensions数据库包含的数百万篇论文中搜索了此类短语。定位到此类短语后,他们又进行手动检查,结果发现了243条部分或全部由SCIgen创建的废话,并于5月25日在ASIS&T上发表了他们的调查结果。

论文链接:
https://asistdl.onlinelibrary.wiley.com/doi/10.1002/asi.24495

这些SCIgen文章发表于2008年至2020年,出现在不同期刊、会议与预印本网站上,且大部分都属于计算机科学领域。有些论文开放阅读,有些则需要权限。


目前,有46篇文章已经从它们首次发表的网站上被撤下或删除。

之后,他们又发现了20篇这类论文,包括由MATHgen(一款生成数学研究论文的软件)与SBIR(一款生成研究提案的软件)创建的垃圾文章。

调查结果


根据Labbé等人对论文作者背景的调查,大部分最新发表的SCIgen生成论文都是由中国(64%)与印度(22%)的研究人员撰写。

当然,其中也可能有些论文是由别人杜撰、以他们的名义提交,但难以查究。几篇论文的一作告诉Labbé和Cabanac,他提交SCIgen生成的论文,是为了“设局”。

但是,有些论文似乎经过了认真的参考文献书单编辑,这表明:有些SCIgen生成的文章可能是为了夸大某位研究者的论文引用次数,从而提高他们的简历含金量。

研究人员发现,目前只有两篇被曝光的SCIgen论文没有被IEEE撤回(正在审核),以及一篇包含由MATHgen生成内容的论文没有被Springer论文撤回。

有些出版商面临的情况很糟糕。英国物理学会电子期刊数据库旗下的子公司IOP Publishing谈到,在没有明确证据的情况下,他们撤回了10篇论文,并正在调查为什么同行评审没有发现这些论文。IOP的经理Kim Eggleton说:“我们有合理的证据怀疑,这些论文的同行评审没有达到合格标准。”


出版最多SCIgen文章的是瑞士出版商Trans Tech Publications,他们出版了57篇SCIgen论文。此外,印度的Blue Eyes Intelligence Engineering and Sciences Publication(BEIESP)出版了54篇;法国出版商Atlantis Press(今年3月被Springer Nature收购)出版了39篇。

Trans Tech Publications和Atlantis的工作人员都对《Nature》表示,他们正在调查中,并正在撤回这些文章,而BEIESP的发言人表示,他们只出版经过同行评审与剽窃检查的原创文章。

另外,研究发现,SSRN上发表了16篇SCIgen文章。SSRN是一款预印服务器,文章在分享之前没有经过同行评审。SSRN的发言人表示,他们正在调查这个问题,并强调,SSRN对一般的预印论文进行了“有限筛选”(对医疗论文则进行了“高级筛选”)。

Cabanac担心某些出版商会以不透明的方式处理此类论文。例如,IEEE已从其网站上删除了一些SCIgen论文,但没有下达正式的撤回通知。Cabanac还指出,研究论文有时候会从SSRN中消失,而这些变动不会记录下来。

IEEE发言人表示,他们删除论文或下达撤回通知,是“取决于我们的评估结果”。SSRN没有回复有关其撤回或删除论文政策的问题。

SCIgen生成的论文数量其实相对较少:根据数据显示,Labbé和Cabanac估计,在计算机科学领域,100万篇论文中才有75篇SCIgen论文。与“论文工厂”造成的学术不端问题相比,SCIgen造成的乱象还不算严重。

大家怎么看?

参考链接:
1. https://doi.org/10.1038/d41586-021-01436-7
2. https://www.nature.com/articles/d41586-021-00733-5
3. https://www.nature.com/articles/nature03653
4. https://www.nature.com/news/publishers-withdraw-more-than-120-gibberish-papers-1.14763
5. https://www.nature.com/news/publishers-withdraw-more-than-120-gibberish-papers-1.14763



点「在看」的人都变好看了哦!
浏览 27
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报