Petastorm深度学习分布式训练库认领

0粉丝

Petastorm 是由 Uber ATG(Advanced Technologies Group) 开发的开源数据访问库。这个库可以直接基于数 TB

简介

Petastorm 是由 Uber ATG(Advanced Technologies Group) 开发的开源数据访问库。这个库可以直接基于数 TB Parquet 格式的数据集进行单机或分布式训练和深度学习模型评估。Petastorm 支持基于 Python 的机器学习框架，如 Tensorfl... 更多

其它信息

地区

不详

开发语言

Python

开源组织

Uber

所属分类

神经网络/人工智能、机器学习/深度学习

授权协议

Apache-2.0

操作系统

Linux

收录时间

2023-09-26

软件类型

开源软件

适用人群

未知

时光轴

里程碑1

LOG0

2023

2023-09

轻识收录

打卡

评价

0.0（满分 10 分）0 个评分

什么是点评分

图片

表情

全部评价( 0)

推荐率 100%

推荐

Deeplearning4j分布式深度学习库

Deeplearning4j（简称DL4J）是为Java和Scala编写的首个商业级开源分布式深度学习库。DL4J与Hadoop和Spark集成，为商业环境（而非研究工具目的）所设计。Skymind是

PatrickStar分布式深度学习训练工具

PatrickStar是一款腾讯开发的分布式深度学习训练工具，它的设计目标是支持以GPT、Bert为代表的超大预训练模型训练。用法PatrickStar基于PyTorch，这使得迁移pytorch项目

BytePS高性能分布式深度学习训练框架

BytePS是字节跳动开源的高性能分布式深度学习训练框架，官方宣称BytePS在性能上颠覆了过去几年allreduce流派一直占据上风的局面，超出目前其他所有分布式训练框架一倍以上的性能，且同时能够支

BytePS高性能分布式深度学习训练框架

BytePS 是字节跳动开源的高性能分布式深度学习训练框架，官方宣称 BytePS 在性能上颠覆了过

CaffeOnSpark分布式深度学习

该项目已归档许多现有的DL框架需要一个分离的集群进行深度学习，而一个典型的机器学习管道需要创建一个复杂的程序（如图1）。分离的集群需要大型的数据集在它们之间进行传输，从而系统的复杂性和端到端学习的延迟

CaffeOnSpark分布式深度学习

该项目已归档许多现有的DL框架需要一个分离的集群进行深度学习，而一个典型的机器学习管道需要创建一个复

HorovodTensorFlow 分布式深度学习框架

Horovod是Uber开源的针对 TensorFlow 的分布式深度学习框架，旨在使分布式深度学习更快速，更易于使用。Horovod吸取了Facebook的 TrainingImageNetin1H

HorovodTensorFlow 分布式深度学习框架

Horovod 是 Uber 开源的针对 TensorFlow 的分布式深度学习框架，旨在使分布式深

Gluon API深度学习库

Gluon 是微软联合亚马逊推出的一个开源深度学习库，这是一个清晰、简洁、简单但功能强大的深度学习

HebelGPU 加速深度学习库

Hebel是一款用Python编写的支持GPU加速的深度学习库。Hebel是一个通过PyCUDA库使用GPUCUDA来加速建立神经网络的深度学习库。它实现了几类最重要的神经网络模型，提供各种激活函数和