BytePS高性能分布式深度学习训练框架
BytePS 是字节跳动开源的高性能分布式深度学习训练框架，官方宣称 BytePS 在性能上颠覆了过去几年 allreduce 流派一直占据上风的局面，超出目前其他所有分布式训练框架一倍以上的性能，且同时能够支持 Tensorflow、PyTorch、MXNet 等开源库。
BytePS 通过实现一个通用的抽象层，抽象层可以被各种通用框架引用，实现了同时支持多个框架的可能性，因此能够支持 Tensorflow、PyTorch、MXNet 等行业主流训练框架。
BytePS 提供了 TensorFlow、PyTorch、 MXNet 以及 Keras 的插件，用户只要在代码中引用 BytePS 的插件，就可以获得高性能的分布式训练。
BytePS 的核心逻辑则实现在 BytePS core 里。具体的通信细节完全由 BytePS 完成，用户完全不需要操心。
评论
词向量(更新) | 使用MD&A2001-2022语料训练Word2Vec模型
buTips: 公众号推送后内容只能更改一次，且只能改20字符。 如果内容出问题，或者想更新内容， 只能重复推送。 为了更好的阅读体验，建议阅读本文博客版， 链接地址https://textdata.cn/blog/2023-03-24-load-w2v-and-expand-your-concpe
大邓和他的Python
0
【深度学习】人人都能看懂的LSTM
熟悉深度学习的朋友知道，LSTM是一种RNN模型，可以方便地处理时间序列数据，在NLP等领域有广泛应用。在看了台大李宏毅教授的深度学习视频后，特别是介绍的第一部分RNN以及LSTM，整个人醍醐灌顶。本文就是对视频的记录加上了一些个人的思考。0. 从RNN说起循环神经网络（Recurrent Neur
机器学习初学者
0
科普：深度学习训练，不同预算GPU选购指南
以下文章来源于微信公众号：DeepHub IMBA作者：Mike Clayton本文仅用于学术分享，如有侵权，请联系后台作删文处理导读购买显卡第一个要考虑的问题是什么？当然是预算。本文提供了不同预算的显卡选购指南，希望能对各位读者有所帮助。在进行机器学习项目时，特别是在处理深度学习和神经网络时，最好
机器学习初学者
0
深度解读RoCE v2网络技术
在日新月异的网络技术领域中，远程直接内存访问（RDMA）技术已成为优化数据传输流程、提升整体网络效能的关键驱动力。其中，以太网融合RDMA技术——RoCE（RDMA over Converged Ethernet），其第二代版本RoCE v2凭借显著的性能提升与更强的灵活性脱颖而出。本文来自“深度解
架构师技术联盟
0
学习开放日：开放复杂科学、AI+X 海量学习资源！
Datawhale干货 学习开放日：4月27-28日1. 什么是学习开放日？以AI为代表的技术突飞猛进，人类知识森林快速扩张，仅凭一人之力不仅难以覆盖，更是难以串联知识线索。唯有像蚂蚁探索最优路径一样，我们才能在信息爆炸的知识森林中探索出更好的方向！因此，今年集智斑图联合国内最
Datawhale
1
GPT的风也吹到了CV，详解自回归视觉模型的先驱！ ImageGPT：使用图像序列训练图像 GPT模型
作者丨科技猛兽编辑丨极市平台导读 在 CIFAR-10 上，iGPT 使用 linear probing 实现了 96.3% 的精度，优于有监督的 Wide ResNet，并通过完全微调实现了 99.0% 的精度，匹配顶级监督预训练模型。本文目录1 自回归视觉模型的先驱 ImageGPT：
机器学习初学者
0
国产算力训练大模型的经验与教训
本文来自“国产算力训练大模型的经验与教训”。本文介绍大模型的计算特征（国产平台介绍、系统挑战、算子实现、容错）、框架的并行性支持、未来算法等。随着ChatGPT的横空出世，人工智能大模型成为各行各业热议的焦点，国内外各种大模型如雨后春笋般涌现，引发了新一轮人工智能热潮。但在看到大模型取得巨大进步的同
架构师技术联盟
1
【深度学习】图解自注意力机制(Self-Attention)
一、注意力机制和自注意力机制的区别Attention机制与Self-Attention机制的区别传统的Attention机制发生在Target的元素和Source中的所有元素之间。简单讲就是说Attention机制中的权重的计算需要Target来参与。即在Encoder-Decoder 模型中，At
机器学习初学者
0