Science | 人工智能领域很多引人注目的进展并不真实
新智元
共 2006字,需浏览 5分钟
· 2020-06-01
新智元报道
来源:Science
编辑:白峰
【新智元导读】近日,一名MIT的自由科学家Hutson在Science发文,抨击「人工智能的一些进展并不真实」,MIT研究人员对当前的一些AI论文进行了系统评估后发现,新模型和之前的经典模型结果相差并不大,论文作者宣称的效果提升大部分是旧模型的微小改动,并采用了不同的评价标准。
人工智能似乎变得越来越聪明。每一部 iPhone 都比上一部更好地了解你的面孔、声音和习惯,各种性能的提升真的是来自算法的创新吗?
Matthew Hutson
多数算法改进缺乏创新性
麻省理工学院(MIT)计算机科学专业的研究生戴维斯•布拉洛克(Davis Blalock)表示,有些算法改进来自微调,而不是发明者声称的核心创新,而且有些改进可能根本不存在。 Blalock 和他的同事比较了几十种改进神经网络的方法。「我们梳理了50篇论文,但是我们仍然不知道最先进的技术到底是什么。」 研究人员评估了81种剪枝算法,这些剪枝算法主要是裁剪一些不必要的连接以提高神经网络效率。所有人都都变着法说自己的算法是最好的, 但他们很少进行公允的有说服力的比较ーー当研究人员把这些算法放在同一标准下评估时,10年的时间,并没有什么显著的改善。 以剪枝算法为例,质疑这些论文主要原因有以下几点: 缺乏一个完备的比较。2010年之前的算法没有加入评估,最近的更新也没有,对比较多的是VGG、ResNet这些经典架构,而最新的EfficientNet则很少。 你用了ImageNet,好我用CIFAR;什么你也用CIFAR,RseNet架构?那我用CIFAR和VGG。。
数据集和神经网络架构都不统一,得出的结论实在很难让人信服。 评价指标不一致,结果描述不完整。仅从效率和准确率无法评估出模型的对比效果。只有一篇论文使用了标准差来评估整体的趋势。 还有一点就是大家用的数据预处理方法、超参数的调整策略,使用的框架,剪枝和微调介入的时期等都没有统一,这些都会导致结果的不同。比如同样的算法,有些PyTorch的实现就比TensorFlow的好,当然反过来也有可能。
水论文到底在玩什么把戏?
一种早期的对抗性训练方法投影梯度下降法(PGD) ,现在一些更复杂的方法看似超越了PGD,但是在二月份的 arXiv 论文中,Kolter 和他的同事们发现,只需要一个简单的技巧来增强PGD,所有这些方法的效果都差不多。
论文灌水成风,但剪枝算法建议别发了
知乎网友@Xiang Wang提出,论文要么跟实际贴合提升业务,要么就是理论创新,但是很多论文两者都没有做到,纯用捏造,实在是尴尬。 即使新方法并不比旧方法好到哪里去,每隔一段时间也会有一个新的算法实现应用上的突破, 「这几乎就像一个风险投资组合,其中一些东西并没有真正发挥作用,但一些业务却表现出色」。 一些工业界看起来很好的效果可能是因为该领域的爆炸性增长,论文数量超过了有经验的审稿人。评审人员时间紧任务重,只与基准进行比较,很容易得出偏见性的结论。 今年早些时候,Blalock 的合著者,麻省理工学院的研究员 Jose Gonzalez Ortiz,发布了一款名为 ShrinkBench 的软件,该软件是基于PyTorch并且是开源的,它使得比较剪枝算法变得更加容易,以后再发这类的论文可要注意了! 参考链接:https://www.zhihu.com/question/59002888)https://www.sciencemag.org/news/2020/05/eye-catching-advances-some-ai-fields-are-not-real)https://proceedings.mlsys.org/static/paper_files/mlsys/2020/73-Paper.pdf
评论
盘点Lombok的几个骚操作,你绝对没用过!
👉 欢迎加入小哈的星球 ,你将获得: 专属的项目实战 / Java 学习路线 / 一对一提问 / 学习打卡 / 赠书福利全栈前后端分离博客项目 2.0 版本完结啦, 演示链接:http://116.62.199.48/ ,新项目正在酝酿中
小哈学Java
0
堪称最优秀的Docker可视化管理工具——Portainer你真的会用吗?
来源:blog.csdn.net/shark_chili3007/article/details/123366179👉 欢迎加入小哈的星球 ,你将获得: 专属的项目实战 / Java 学习路线 / 一对一提问 / 学习打卡 / 赠书福利全栈前后端分离博客项目
小哈学Java
0
如何计算数据中心的冷却需求?
今日分享 【导读】数据中心的冷却要求受多种因素影响,包括设备的热量输出、占地面积、设施设计和电气系统功率额定值等等……众所周知,环境因素会严重影响数据中心设备。过多的热量积聚会损坏服务器,可能导致其自动关闭。经常在高于可接受的温度下运行服务器会缩短其使用
数据中心运维管理
0
多人同时导出 Excel 干崩服务器!新来的阿里大佬给出的解决方案太优雅了!
点击关注公众号,Java 干货及时推送↓推荐阅读:面试辅导,我们出大成果了!来源:juejin.cn/post/7259249904777838629前言 业务诉求:考虑到数据库数据日渐增多,导出会有全量数据的导出,多人同时导出可以会对服务性能造成影响,导出涉及到mysql查询的io操作,
Java技术栈
1
什么样的冷却方法适合数据中心运营?
冷却数据中心的最简单方法是安装空气交换器,通过服务器室生成冷空气。但是,如果想要节省资金,至少从长远来看,更好的方法可能是在每个机架上安装空气交换器,并使用它们为单个机架的服务器降温。"后机架冷却",与数据中心中更为传统的空气冷却系统相比,特别是在能源效率方面,其具有一些优势。冷却数据中心的最简单
数据中心运维管理
0
大厂都在用的 Git 代码管理规范 !
👉 欢迎加入小哈的星球 ,你将获得: 专属的项目实战 / Java 学习路线 / 一对一提问 / 学习打卡 / 赠书福利全栈前后端分离博客项目 2.0 版本完结啦, 演示链接:http://116.62.199.48/ ,新项目正在酝酿中
小哈学Java
2
Go 1.22 的新增功能系列之二:reflect.TypeFor
Go 1.22 的第一个候选版本已经发布,这意味着最终版本即将发布,现在是我在博客中介绍我在这个周期中所做工作的时候了。像往常一样,我的贡献很小,但它们是我的,所以我将从幕后的角度来谈谈它们。首先是reflect.TypeFor。这是整个函数:// TypeFor returns the [Type
GoCN
0
这五款牛逼的 IDEA 插件,堪称代码质量检查利器!
来源:blog.csdn.net/a745233700?type=blog一、Alibaba Java Coding Guidelines二、CheckStyle:三、PMD四、FindBugs:五、SonarLint:总结随着业务的发展,系统会越来越庞大,原本简单稳定的功能,可能在不断迭代后复杂度
码农突围
0