2022年,PyTorch在AI顶会的占比已经上80%了

极市平台

共 2196字,需浏览 5分钟

 ·

2022-03-15 21:14

↑ 点击蓝字 关注极市平台

来源丨机器之心
编辑丨极市平台

极市导读

 

在2021年的各大顶会中,使用PyTorch的论文数量已经是使用TensorFlow的至少3倍以上,而这一差距还在持续扩大。 >>加入极市CV技术交流群,走在计算机视觉的最前沿


从早期的学术框架 Caffe、Theano,到后来的PyTorch、TensorFlow,自 2012 年深度学习再度成为焦点以来,很多机器学习框架成为研究者和业界工作者的新宠。

2018 年底,谷歌推出了全新的JAX框架,其受欢迎程度也一直在稳步提升。很多研究者对其寄予厚望,希望它可以取代 TensorFlow 等众多深度学习框架。

不过,PyTorch 和 TensorFlow仍是ML框架领域的两大实力玩家,其他新生框架的力量暂时还无法匹敌。而PyTorch 和 TensorFlow之间则是此消彼长的关系,力量对比也在悄悄发生着变化。

2019年10月,康奈尔大学本科生、曾在PyTorch 团队实习的Horace He曾对PyTorch 和 TensorFlow在学界的使用情况进行了数据统计。结果显示,研究者已经大批涌向了 PyTorch,不过当时看来,业界的首选仍然是 TensorFlow。

如下图所示,从2019年中期开始,在统计的各大顶会中,PyTorch从使用率指标上就已完成了对TensorFlow的反超。

数据收集时间:2019年10月。

当时的开发者社区曾热议:未来,谁能在 ML 框架之争中迎来「高光时刻」?两年后,Horace He再次给出了更新后的统计结果。

截止目前,EMNLP、ACL、ICLR三家顶会的PyTorch的占比已经超过80%,这一占比数字在其他会议中也都保持在70%之上。短短两年间,TensorFlow的生存空间又大幅缩小。



PyTorch 在学界的「超车」

具体到每一家顶会,作者也在图表中展示了详细数据:

以CVPR为例,在CVPR 2018之前,TensorFlow的使用率还高于PyTorch,而在下一年,局势立即逆转。

CVPR 2019的PyTorch使用率为22.72%(294篇),TensorFlow的使用率变为11.44%(148篇);到了CVPR 2020,这两个数字分别变成了28.49%(418篇)和7.7%(113篇)。

在ICML、ICLR、NeurIPS这些会议中,依旧是同样的竞争形势:



PyTorch一骑绝尘,TensorFlow则持续下跌。在ICLR 2022中,PyTorch使用率为32.20%(1091篇),TensorFlow跌到了6.14%(208篇),拉开了五倍的差距。


TensorFlow 在学界还有未来吗?

所以,退守一方的TensorFlow,怎么就到了今天这个地步?

在Hackrnews社区,这一话题引发了开发者的热议:

「在学术出版中,能够将你的工作与 SOTA 进行比较是非常关键的。如果你所在地区的其他人都使用某个框架,那么你也应该这样做。过去几年,Pytorch是我关注最多的框架了。」

「但Tensorflow 的一个亮点是静态图表。随着模型变得更加密集,并且需要不同的部分并行执行,我们在 PyTorch 的运行模型中看到了一些挑战。」


在这位开发者看来,如果想并行地做很多事情,Tensorflow 还是有一些特性是其他产品无法比拟的。这完全取决于你在做什么。

还有人说,Tensorflow的式微是因为出现了策略上的失误。

「我认为 Tensorflow 在学术界做出了一个糟糕的举动,因为它在早期版本中使用起来非常困难。当然,它的性能总是比 PyTorch 好,但当你是一个工作负担很重的博士生时,你就不太关心你的代码是否高效,而更关心你的代码是否能work。有人说 PyTorch 的调试相对轻松,所以那些早期的模型用了PyTorch发表,后来很多人也就来到了PyTorch。」



你怎么看呢?

公众号后台回复“小目标检测”获取小目标检测数据集下载~

△点击卡片关注极市平台,获取最新CV干货
极市干货
数据集资源汇总:10个开源工业检测数据集汇总21个深度学习开源数据集分类汇总
算法trick目标检测比赛中的tricks集锦从39个kaggle竞赛中总结出来的图像分割的Tips和Tricks
技术综述:一文弄懂各种loss function工业图像异常检测最新研究总结(2019-2020)


CV技术社群邀请函 #

△长按添加极市小助手
添加极市小助手微信(ID : cvmart4)

备注:姓名-学校/公司-研究方向-城市(如:小极-北大-目标检测-深圳)


即可申请加入极市目标检测/图像分割/工业检测/人脸/医学影像/3D/SLAM/自动驾驶/超分辨率/姿态估计/ReID/GAN/图像增强/OCR/视频理解等技术交流群


每月大咖直播分享、真实项目需求对接、求职内推、算法竞赛、干货资讯汇总、与 10000+来自港科大、北大、清华、中科院、CMU、腾讯、百度等名校名企视觉开发者互动交流~


觉得有用麻烦给个在看啦~  
浏览 9
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报