简介
AutoGPTQ 是一个基于 GPTQ 算法,简单易用且拥有用户友好型接口的大语言模型量化工具包。性能对比推理速度以下结果通过这个脚本生成,文本输入的 batch size 为1,解码策略为 beam search 并且强制模型生成512个 token,速度的计量单位为 tokens/s(越大越好)... 更多
其它信息
地区
国产
开发语言
C/C++
Python
开源组织
无
所属分类
神经网络/人工智能、 LLM(大语言模型)
授权协议
MIT
操作系统
跨平台
收录时间
2023-09-25
软件类型
开源软件
适用人群
未知
评价
0.0(满分 10 分)0 个评分
什么是点评分
全部评价(
0)
推荐率
100%