PyTorch 杀疯了
机器学习算法与Python实战
共 1754字,需浏览 4分钟
· 2022-03-15
↓↓↓点击关注,回复资料,10个G的惊喜
在2021年的各大顶会中,使用PyTorch的论文数量已经是使用TensorFlow的至少3倍以上,而这一差距还在持续扩大。
2018 年底,谷歌推出了全新的JAX框架,其受欢迎程度也一直在稳步提升。很多研究者对其寄予厚望,希望它可以取代 TensorFlow 等众多深度学习框架。
不过,PyTorch 和 TensorFlow仍是ML框架领域的两大实力玩家,其他新生框架的力量暂时还无法匹敌。而PyTorch 和 TensorFlow之间则是此消彼长的关系,力量对比也在悄悄发生着变化。
2019年10月,康奈尔大学本科生、曾在PyTorch 团队实习的Horace He曾对PyTorch 和 TensorFlow在学界的使用情况进行了数据统计。结果显示,研究者已经大批涌向了 PyTorch,不过当时看来,业界的首选仍然是 TensorFlow。
如下图所示,从2019年中期开始,在统计的各大顶会中,PyTorch从使用率指标上就已完成了对TensorFlow的反超。
数据收集时间:2019年10月。
当时的开发者社区曾热议:未来,谁能在 ML 框架之争中迎来「高光时刻」?两年后,Horace He再次给出了更新后的统计结果。
截止目前,EMNLP、ACL、ICLR三家顶会的PyTorch的占比已经超过80%,这一占比数字在其他会议中也都保持在70%之上。短短两年间,TensorFlow的生存空间又大幅缩小。
以CVPR为例,在CVPR 2018之前,TensorFlow的使用率还高于PyTorch,而在下一年,局势立即逆转。
CVPR 2019的PyTorch使用率为22.72%(294篇),TensorFlow的使用率变为11.44%(148篇);到了CVPR 2020,这两个数字分别变成了28.49%(418篇)和7.7%(113篇)。
TensorFlow 在学界还有未来吗?
在Hackrnews社区,这一话题引发了开发者的热议:
「在学术出版中,能够将你的工作与 SOTA 进行比较是非常关键的。如果你所在地区的其他人都使用某个框架,那么你也应该这样做。过去几年,Pytorch是我关注最多的框架了。」
「但Tensorflow 的一个亮点是静态图表。随着模型变得更加密集,并且需要不同的部分并行执行,我们在 PyTorch 的运行模型中看到了一些挑战。」
还有人说,Tensorflow的式微是因为出现了策略上的失误。
「我认为 Tensorflow 在学术界做出了一个糟糕的举动,因为它在早期版本中使用起来非常困难。当然,它的性能总是比 PyTorch 好,但当你是一个工作负担很重的博士生时,你就不太关心你的代码是否高效,而更关心你的代码是否能work。有人说 PyTorch 的调试相对轻松,所以那些早期的模型用了PyTorch发表,后来很多人也就来到了PyTorch。」
评论
冲鸭~支付宝又送疯了!!!
今天支付宝又撒钱了,原来只能领取一两毛钱,刚刚试了试,竟然领了8.08块钱无门槛红包,线下实体店消费可以使用,付款使用支付宝即可抵扣。 领取方法 一 保存这张支付宝专属红包码到相册,再用支付宝扫码,即可直接领现金红包,每天都能领一次,最近加码数量优先,领完即止。👇长按图片,保存到
宅哥技术
0
368TB...疯了
今天继续聊点好玩的look~看上去像个行李箱是不是?它就是个行李箱别急,先打开,里面有东西提起来~看上去又像个行李箱是不是?nonono肯定没这么简单了翻过来,有个屏幕发现上有个WD了吧没错,就是你们熟悉到西部数据所以,它其实是一块“行走的SSD”它内部有多达七条PCIe 4.0扩展插槽:四条全长x
放毒
28
系统调优助手,PyTorch Profiler TensorBoard 插件教程
0x1. 前言使用PyTorch Profiler进行性能分析已经一段时间了,毕竟是PyTorch提供的原生profile工具,个人感觉做系统性能分析时感觉比Nsys更方便一些,并且画的图也比较直观。这里翻译一下PyTorch Profiler TensorBoard Plugin的教程并分享一些使
GiantPandaCV
6
扩散模型的原理及实现(Pytorch)
来源:机器学习算法那些事本文约6500字,建议阅读13分钟本文完整的介绍了有关扩散模型的必要知识,并且使用Pytorch进行了完整的实现。扩散模型的导火索,是始于2020 年所提出的DDPM(Denoising Diffusion Probabilis...
数据派THU
0
Unet++(pytorch实现)
向AI转型的程序员都关注了这个号??? Unet++网络 Dense connection Unet++继承了Unet的结构,同时又借鉴了DenseNet的稠密连接方式(图1中各种分支)。 作者通过各层之间的稠密连接,互相连接起来,就像Denset那样,前...
机器学习AI算法工程
0
IntelliJ IDEA 2023.3,AI 助手出世,新特性杀麻了!!
前阵子 Jetbrains 来了一波大的更新,推出了 2023.3 正式版,做了不少优化,最重要的是大家期待已久的 Ai Assistant 插件本次更新也正式推出,助力大家提高 Coding 效率。但是很遗憾,目前我们无法使用,因为该插件...
Java专栏
0
挑战Transformer!Mamba的架构及实现(Pytorch)
Mamba一经出现就在人工智能界掀起波澜,被吹捧为Transformer的竞争对手。 到底是什么让Mamba在拥挤的序列建模中脱颖而出? 今天我们来详细研究这篇论文《Mamba:具有选择性状态空间的线性时间序列建模》 在介绍之前先...
算法进阶
0
谷歌狂喜:JAX性能超越Pytorch、TensorFlow!或成GPU推理训练最快选择
新智元报道 编辑:编辑部【新智元导读】JAX在最近的基准测试中的性能已经不声不响地超过了Pytorch和TensorFlow,也许未来会有更多的大模型诞生在这个平台上。谷歌在背后的默默付出终于得到了回报。谷歌力推的JAX在最近的基准测试中性能已经超过Py
新智元
0