搜索

Colossal-AI大模型并行训练系统

0粉丝
ColossalAI 是一个具有高效并行化技术的综合大规模模型训练系统。旨在无缝整合不同的并行化技术范式，包括数据并行、管道并行、多张量并行和序列并行
知识
简介
ColossalAI 是一个具有高效并行化技术的综合大规模模型训练系统。旨在无缝整合不同的并行化技术范式，包括数据并行、管道并行、多张量并行和序列并行。Colossal-AI 的目标是支持人工智能社区以与他们正常编写模型相同的方式编写分布式模型。这使得他们可以专注于开发模型架构，并将分布式训练的问题... 更多
其它信息
授权协议
Apache-2.0
开发语言
Python
操作系统
跨平台
软件类型
开源软件
所属分类
神经网络/人工智能、 机器学习/深度学习
开源组织
无
地区
国产
适用人群
未知

时光轴

里程碑1
LOG0
2023
09-26
轻识收录
打卡
我要打卡
我要打卡
评价
0.0（满分 10 分）0 个评分
10分
什么是点评分
图片
表情
全部评价( 0)
推荐率 100%
推荐
Pai-Megatron-Patch灵骏大模型训练工具
Pai-Megatron-Patch工具是阿里云机器学习平台PAI算法团队研发，基于阿里云智算服务P
Pai-Megatron-Patch灵骏大模型训练工具
Pai-Megatron-Patch工具是阿里云机器学习平台PAI算法团队研发，基于阿里云智算服务PAI-灵骏平台的大模型最佳实践解决方案配套工具，旨在帮助大模型开发者快速上手灵骏产品，完成大语言模型
ModelarORM 模型系统
Modelar 是一个基于 Node.js 平台的、富于表现的 ORM 模型系统，它使用 SQL 查
ModelarORM 模型系统
Modelar是一个基于Node.js平台的、富于表现的ORM模型系统，它使用SQL查询构造器来产生数据库查询语句，并且使用Promise机制来进行流程控制。Modelar是轻巧的，因此也使得开发更为
HPX并行 C++ 运行时系统
HPX–一个用于一般目的的并行C++运行时系统，用于任意规模的应用开发。
HPX并行 C++ 运行时系统
HPX – 一个用于一般目的的并行 C++ 运行时系统，用于任意规模的应用开发。
parallel-preprocessorCAD 模型并行预处理器框架
用于工程设计数值模拟（CAE）的计算机辅助设计CAD模型并行预处理器（parallel-preprocessor）软件框架，针对科研，航空航天领域的超大规模产品整体模型（一万个零件以上的装备体asse
anvil-build管道内容并行构建系统
anvil-build是一个管道内容并行构建系统，提供了丰富的可扩展构建文件格式和内置规则。同时采取许多概念，比如谷歌内部构建系统的文件语法规则，来缓解管道的建设内容。通常它用来填补大型游戏鲁棒性中内
OSGi动态模型系统
OSGi技术是面向Java的动态模型系统。OSGi服务平台向Java提供服务，这些服务使Java成为软件集成和软件开发的首选环境。Java提供在多个平台支持产品的可移植性。OSGi技术提供允许应用程序
DELTA自然语言理解模型训练平台
滴滴正式宣布开源基于深度学习的语音和自然语言理解模型训练平台 DELTA，以进一步帮助 AI 开发者