搜索

【深度学习】被PyTorch打爆！谷歌抛弃TensorFlow，押宝JAX

机器学习初学者

共 3702字，需浏览 8分钟

 · 2022-06-21

本文转载自 | 新智元

很喜欢有些网友的一句话：

「这孩子实在不行，咱再要一个吧。」

谷歌还真这么干了。

养了七年的TensorFlow终于还是被Meta的PyTorch干趴下了，在一定程度上。

谷歌眼见不对，赶紧又要了一个——「JAX」，一款全新的机器学习框架。

最近超级火爆的DALL·E Mini都知道吧，它的模型就是基于JAX进行编程的，从而充分地利用了谷歌TPU带来的优势。


1

『TensorFlow的黄昏和PyTorch的崛起』



2015年，谷歌开发的机器学习框架——TensorFlow问世。
当时，TensorFlow只是Google Brain的一个小项目。
谁也没有想到，刚一问世，TensorFlow就变得非常火爆。
优步、爱彼迎这种大公司在用，NASA这种国家机构也在用。而且还都是用在他们各自最为复杂的项目上。
而截止到2020年11月，TensorFlow的下载次数已经达到了1.6亿次。
不过，谷歌好像并没有十分在乎这么多用户的感受。
奇奇怪怪的界面和频繁的更新都让TensorFlow对用户越来越不友好，并且越来越难以操作。
甚至，就连谷歌内部，也觉得这个框架在走下坡路。
其实谷歌如此频繁的更新也实属无奈，毕竟只有这样才能追得上机器学习领域快速地迭代。
于是，越来越多的人加入了这个项目，导致整个团队慢慢失去了重点。
而原本让TensorFlow成为首选工具的那些闪光点，也被埋没在了茫茫多的要素里，不再受人重视。
这种现象被Insider形容为一种「猫鼠游戏」。公司就像是一只猫，不断迭代出现的新需求就像是一只只老鼠。猫要时刻保持警惕，随时扑向老鼠。
这种困局对最先打入某一市场的公司来说是避不开的。
举个例子，就搜索引擎来说，谷歌并不是第一家。所以谷歌能够从前辈（AltaVista、Yahoo等等）的失败中总结经验，应用在自身的发展上。
可惜到了TensorFlow这里，谷歌是被困住的那一个。
正是因为上面这些原因，原先给谷歌卖命的开发者，慢慢对老东家失去了信心。
昔日无处不在的TensorFlow渐渐陨落，败给了Meta的后起之秀——PyTorch。
2017年，PyTorch的测试版开源。
2018年，Facebook的人工智能研究实验室发布了PyTorch的完整版本。
值得一提的是，PyTorch和TensorFlow都是基于Python开发的，而Meta则更注重维护开源社区，甚至不惜大量投入资源。
而且，Meta关注到了谷歌的问题所在，认为不能重蹈覆辙。他们专注于一小部分功能，并把这些功能做到最好。
Meta并没有步谷歌的后尘。这款首先在Facebook开发出来的框架，慢慢成为了行业标杆。
一家机器学习初创公司的研究工程师表示，「我们基本都用PyTorch。它的社群和开源做得是最出色的。不仅有问必答，给的例子也很实用。」
面对这种局面，谷歌的开发者、硬件专家、云提供商，以及任何和谷歌机器学习相关的人员在接受采访时都说了一样的话，他们认为TensorFlow失掉了开发者的心。
经历了一系列的明争暗斗，Meta最终占了上风。
有专家表示，谷歌未来继续引领机器学习的机会正慢慢流失。
PyTorch逐渐成为了寻常开发者和研究人员的首选工具。
从Stack Overflow提供的互动数据上看，在开发者论坛上有关PyTorch的提问越来越多，而关于TensorFlow的最近几年一直处于停滞状态。
就连文章开始提到的优步等等公司也转向PyTorch了。
甚至，PyTorch后来的每一次更新，都像是在打TensorFlow的脸。
 

2

『谷歌机器学习的未来--JAX』



就在TensorFlow和PyTorch打得热火朝天的时候，谷歌内部的一个「小型黑马研究团队」开始致力于开发一个全新的框架，可以更加便捷地利用TPU。
2018年，一篇题为《Compiling machine learning programs via high-level tracing》的论文，让JAX项目浮出水面，作者是Roy Frostig、Matthew James Johnson和Chris Leary。
从左至右依次是这三位大神
而后，PyTorch原始作者之一的Adam Paszke，也在2020年初全职加入了JAX团队。
JAX提供了一个更直接的方法用于处理机器学习中最复杂的问题之一：多核处理器调度问题。
根据所应用的情况，JAX会自动地将若干个芯片组合而成一个小团体，而不是让一个去单打独斗。
如此带来的好处就是，让尽可能多的TPU片刻间就能得到响应，从而燃烧我们的「炼丹小宇宙」。
最终，相比于臃肿的TensorFlow，JAX解决了谷歌内部的一个心头大患：如何快速访问TPU。
下面简单介绍一下构成JAX的Autograd和XLA。
Autograd主要应用于基于梯度的优化，可以自动区分Python和Numpy代码。
它既可以用来处理Python的一个子集，包括循环、递归和闭包，也可以对导数的导数进行求导。
此外，Autograd支持梯度的反向传播，这也就这意味着它可以有效地获取标量值函数相对于数组值参数的梯度，以及前向模式微分，并且两者可以任意组合。
XLA（Accelerated Linear Algebra）可以加速TensorFlow模型而无需更改源代码。
当一个程序运行时，所有的操作都由执行器单独执行。每个操作都有一个预编译的GPU内核实现，执行器会分派到该内核实现。
举个栗子：
def model_fn(x, y, z):  return tf.reduce_sum(x + y * z)
在没有XLA的情况下运行，该部分会启动三个内核：一个用于乘法，一个用于加法，一个用于减法。
而XLA可以通过将加法、乘法和减法「融合」到单个GPU内核中，从而实现优化。
这种融合操作不会将由内存产生的中间值写入y*z内存x+y*z；相反，它将这些中间计算的结果直接「流式传输」给用户，同时将它们完全保存在GPU中。
在实践中，XLA可以实现约7倍的性能改进和约5倍的batch大小改进。
此外，XLA和Autograd可以任意组合，甚至可以利用pmap方法一次使用多个GPU或TPU内核进行编程。
而将JAX与Autograd和Numpy相结合的话，就可以获得一个面向CPU、GPU和TPU的易于编程且高性能的机器学习系统了。
显然，谷歌这一次吸取了教训，除了在自家全面铺开以外，在推进开源生态的建设方面，也是格外地积极。
2020年DeepMind正式投入JAX的怀抱，而这也宣告了谷歌亲自下场，自此之后各种开源的库层出不穷。


纵观整场「明争暗斗」，贾扬清表示，在批评TensorFlow的进程中，AI系统认为Pythonic的科研就是全部需求。
但一方面纯Python无法实现高效的软硬协同设计，另一方面上层分布式系统依然需要高效的抽象。
而JAX正是在寻找更好的平衡，谷歌这种愿意颠覆自己的pragmatism非常值得学习。
causact R软件包和相关贝叶斯分析教科书的作者表示，自己很高兴看到谷歌从TF过渡到JAX，一个更干净的解决方案。

3
『谷歌的挑战』


作为一个新秀，Jax虽然可以借鉴PyTorch和TensorFlow这两位老前辈的优点，但有的时候后发可能也会带来劣势。
首先，JAX还太「年轻」，作为实验性的框架，远没有达到一个成熟的谷歌产品的标准。
除了各种隐藏的bug以外，JAX在一些问题上仍然要依赖于其他框架。
拿加载和预处理数据来说，就需要用TensorFlow或PyTorch来处理大部分的设置。
显然，这和理想的「一站式」框架还相去甚远。
其次，JAX主要针对TPU进行了高度的优化，但是到了GPU和CPU上，就要差得多了。
一方面，谷歌在2018年至2021年组织和战略的混乱，导致在对GPU进行支持上的研发的资金不足，以及对相关问题的处理优先级靠后。
与此同时，大概是过于专注于让自家的TPU能在AI加速上分得更多的蛋糕，和英伟达的合作自然十分匮乏，更不用说完善对GPU的支持这种细节问题了。
另一方面，谷歌自己的内部研究，不用想肯定都集中在TPU上，这就导致谷歌失去了对GPU使用的良好反馈回路。
此外，更长的调试时间、并未与Windows兼容、未跟踪副作用的风险等等，都增加了Jax的使用门槛以及友好程度。
现在，PyTorch已经快6岁了，但完全没有TensorFlow当年显现出的颓势。
如此看来，想要后来者居上的话，Jax还有很长一段路要走。
参考资料：
https://www.businessinsider.com/facebook-pytorch-beat-google-tensorflow-jax-meta-ai-2022-6
往期精彩回顾





          
浏览
                    23
点赞
    
评论
    
收藏
    
分享
        
手机扫一扫分享
举报
评论
图片
表情
推荐
私人影院 “美女陪侍” 被曝光！摸胸摸腿可外出…
在中国，我们都清楚黄赌毒一直是严打对象。尤其是那些涉黄活动，虽然禁止，但还是有人铤而走险。最近，长沙的一家私人影院被曝光涉及黄色事件。这到底怎么了？一个叫王某的消费者揭露了这一事件。他一直单身，看到影院推出的“恋爱体验”套餐就心动不已，结果去了之后发现踩空了，令人心寒。听说，基础服务要369元，包括
逆锋起笔
0
一女子与一男子在阳台上打扑克，被邻居偷拍后...
近日网络上又发生了一起疑似黄色谣言的事件：一女子与一男子在阳台上打扑克，被邻居偷拍后上传到网上，引发广泛舆论讨论。根据网传视频显示，一名穿着吊带睡衣的女子与一名光着上身的男性在阳台上交谈，随后开始打起扑克牌。这一幕被邻居拍下并上传至网络后，引发了许多网友的关注和猜测，其中大部分涉及到了不当的假设。当
逆锋起笔
0
谷歌员工爆料 Python 基础团队原地解散
转自 | 机器之心编辑 | 蛋酱什么？谷歌解雇了整个 Python 基础团队？「当与你直接共事的每个人，包括你的主管，都被裁员 —— 哦，是职位被削减，而你被要求安排他们的替代者入职，这些人被告知在不同的国家担任同样的职位，但他们并不为此感到高兴，这是很艰难的一天。」发布这一动态的 Tho
机器学习算法与Python实战
0
深度解读RoCE v2网络技术
在日新月异的网络技术领域中，远程直接内存访问（RDMA）技术已成为优化数据传输流程、提升整体网络效能的关键驱动力。其中，以太网融合RDMA技术——RoCE（RDMA over Converged Ethernet），其第二代版本RoCE v2凭借显著的性能提升与更强的灵活性脱颖而出。本文来自“深度解
架构师技术联盟
0
阿里P9被裁，赔偿82w
上一篇：人到中年， 发现同学间差距了，学医的高薪且稳定，进国企的工资不高但稳定，考公的工资不高，却生活滋润一女生发帖称：阿里老公被裁了。阿里巴巴公司的裁员消息如同晴天霹雳，打破了我们原本宁静的生活。那天，微信上突然弹出的消息，让我们感到震惊，仿佛一道闪电划破了平静的天空。“震惊”这个词，远远不足以描
开发者全社区
0
王宝弱搭配牛蓉？无底线模仿被索赔650万
如今的短视频领域，不管是处罚规则还是用户群体，已经相当成熟了。所以，不管是普通人想要成为网红，还是网红们想要吸引更多流量，都面临一定的挑战。要么内容得很吸引人，要么话题要足够受欢迎，不然想要持续吸引流量可不容易。于是，一些网红就想着走点歪门邪道，没流量就创造流量，没话题就自己制造话题...

这种行
逆锋起笔
0
学习开放日：开放复杂科学、AI+X 海量学习资源！
 Datawhale干货 学习开放日：4月27-28日1. 什么是学习开放日？以AI为代表的技术突飞猛进，人类知识森林快速扩张，仅凭一人之力不仅难以覆盖，更是难以串联知识线索。唯有像蚂蚁探索最优路径一样，我们才能在信息爆炸的知识森林中探索出更好的方向！因此，今年集智斑图联合国内最
Datawhale
1
字节员工：35岁以后被裁员的，后来都走了哪条路？现在2-2，要不要利用最后一年拼命上个岸。

                    架构师大咖
                    架构师大咖，打造有价值的架构师交流平台。分享架构师干货、教程、课程、资讯。架构师大咖，每日推送。
                  公众号该公众号已被封禁在当今竞争激烈的职场环境中，年龄并不总是一个决定性
源码共读
0
三年前端还不会配置Nginx，被老板打了，今天一口气学完
大厂技术  高级前端  Node进阶点击上方 程序员成长指北，关注公众号回复1，加入高级Node交流群引言先来看看为何需要做请求负载。   早期的业务都是基于单体节点部署，由于前期访问流量不大，因此单体结构也可满足需求，但随着业务
程序员成长指北
4
你只是卡住了，你并没有被击垮
一旦思维僵化了，那就很难跟上这个真实世界的快节奏，更不可能自发地去发现自身问题，进而打破自己。思维僵化，会导致我们无法“活在当下，开放和接纳，并去做自己觉得重要的事情”。觉察自己思维僵化的特征，是改变的第一步。思维僵化导致了你的选择都是错误的。思维方式的不同，才是人跟人之间的不同。有的人遇到挫折了，
小Q聊产品
1
点赞
    
评论
    
收藏
    
分享
        
手机扫一扫分享
举报