AutoGPTQ大语言模型量化工具包认领

0粉丝

AutoGPTQ 是一个基于 GPTQ 算法，简单易用且拥有用户友好型接口的大语言模型量化工具包。性能对比推理速度以下结果通过这个脚本生成，文本输入的

简介

AutoGPTQ 是一个基于 GPTQ 算法，简单易用且拥有用户友好型接口的大语言模型量化工具包。性能对比推理速度以下结果通过这个脚本生成，文本输入的 batch size 为1，解码策略为 beam search 并且强制模型生成512个 token，速度的计量单位为 tokens/s（越大越好）... 更多

其它信息

地区

国产

开发语言

C/C++ Python

开源组织

无

所属分类

神经网络/人工智能、 LLM（大语言模型）

授权协议

MIT

操作系统

跨平台

收录时间

2023-09-25

软件类型

开源软件

适用人群

未知

时光轴

里程碑1

LOG0

2023

2023-09

轻识收录

打卡

评价

0.0（满分 10 分）0 个评分

什么是点评分

图片

表情

全部评价( 0)

推荐率 100%

推荐

FlagAI大模型工具包

FlagAI飞智是一个快速、易于使用和可扩展的大模型工具包。目标是支持在多模态的各种下游任务上训练、微调和部署大规模模型。优点：可通过API快速下载模型提供API方便你快速下载模型，并在给定（中/英文

FlagAI大模型工具包

FlagAI 飞智是一个快速、易于使用和可扩展的大模型工具包。目标是支持在多模态的各种下游任务上训练

RedPajama大语言模型

RedPajama项目旨在创建一套领先的全开源大语言模型。目前，该项目已完成了第一步，成功复制了LLaMA训练数据集超过1.2万亿个数据token。该项目由Together、Ontocord.ai、E

LLaMA大语言模型

LLaMA 语言模型全称为 "Large Language Model Meta AI"，是 Met

LLaMA大语言模型

LLaMA语言模型全称为"LargeLanguageModelMetaAI"，是Meta的全新大型语言模型（LLM），这是一个模型系列，根据参数规模进行了划分（分为70亿、130亿、330亿和650亿

OPT-175B大语言模型

OPT-175B 是 Meta 开源的大语言模型，拥有超过 1750 亿个参数——和 GPT-3 相

OPT-175B大语言模型

OPT-175B是Meta开源的大语言模型，拥有超过1750亿个参数——和GPT-3相当。相比GPT-3，OPT-175B的优势在于它完全免费。Meta还公布了代码库、开发过程日志、数据、研究论文和其

CurieC语言工具包

Curie是一个非常小的C语言程序库。它支持基本的I/O、基本的网络连接、S-expression基础的I/O，信号处理，进程处理，以及I/O复用等功能。如果目标架构是明确支持，静态链接的二进制文件很

CurieC语言工具包

Curie 是一个非常小的C语言程序库。它支持基本的I / O 、基本的网络连接、S-express

BBT-2通用大语言模型

BBT-2 是包含 120 亿参数的通用大语言模型，在 BBT-2 的基础上训练出了代码，金融，文生