搜索

AutoGPTQ大语言模型量化工具包

0粉丝
AutoGPTQ 是一个基于 GPTQ 算法，简单易用且拥有用户友好型接口的大语言模型量化工具包。性能对比推理速度以下结果通过这个脚本生成，文本输入的
知识
简介
AutoGPTQ 是一个基于 GPTQ 算法，简单易用且拥有用户友好型接口的大语言模型量化工具包。性能对比推理速度以下结果通过这个脚本生成，文本输入的 batch size 为1，解码策略为 beam search 并且强制模型生成512个 token，速度的计量单位为 tokens/s（越大越好）... 更多
其它信息
授权协议
MIT
开发语言
C/C++ Python
操作系统
跨平台
软件类型
开源软件
所属分类
神经网络/人工智能、 LLM（大语言模型）
开源组织
无
地区
国产
适用人群
未知

时光轴

里程碑1
LOG0
2023
09-25
轻识收录
打卡
我要打卡
我要打卡
评价
0.0（满分 10 分）0 个评分
10分
什么是点评分
图片
表情
全部评价( 0)
推荐率 100%
推荐
FlagAI大模型工具包
FlagAI飞智是一个快速、易于使用和可扩展的大模型工具包。目标是支持在多模态的各种下游任务上训练、微调和部署大规模模型。优点：可通过API快速下载模型提供API方便你快速下载模型，并在给定（中/英文
FlagAI大模型工具包
FlagAI 飞智是一个快速、易于使用和可扩展的大模型工具包。目标是支持在多模态的各种下游任务上训练
RedPajama大语言模型
RedPajama项目旨在创建一套领先的全开源大语言模型。目前，该项目已完成了第一步，成功复制了LLaMA训练数据集超过1.2万亿个数据token。该项目由Together、Ontocord.ai、E
LLaMA大语言模型
LLaMA 语言模型全称为 "Large Language Model Meta AI"，是 Met
LLaMA大语言模型
LLaMA语言模型全称为"LargeLanguageModelMetaAI"，是Meta的全新大型语言模型（LLM），这是一个模型系列，根据参数规模进行了划分（分为70亿、130亿、330亿和650亿
OPT-175B大语言模型
OPT-175B 是 Meta 开源的大语言模型，拥有超过 1750 亿个参数——和 GPT-3 相
OPT-175B大语言模型
OPT-175B是Meta开源的大语言模型，拥有超过1750亿个参数——和GPT-3相当。相比GPT-3，OPT-175B的优势在于它完全免费。Meta还公布了代码库、开发过程日志、数据、研究论文和其
CurieC语言工具包
Curie是一个非常小的C语言程序库。它支持基本的I/O、基本的网络连接、S-expression基础的I/O，信号处理，进程处理，以及I/O复用等功能。如果目标架构是明确支持，静态链接的二进制文件很
CurieC语言工具包
Curie 是一个非常小的C语言程序库。它支持基本的I / O 、基本的网络连接、S-express
BBT-2通用大语言模型
BBT-2 是包含 120 亿参数的通用大语言模型，在 BBT-2 的基础上训练出了代码，金融，文生