ExllamaLlama HF 转换器重写
Exllama 是对 Llama 的 HF 转换器实现进行更高效的内存重写,以用于量化权重。
- 设计用于量化权重
- 快速且节省内存的推理(不仅仅是注意力)
- 跨多个设备映射
- 内置(多)LoRA 支持
- funky 采样函数的配套库
注意,该项目处于概念验证&预览阶段,可能发生大型变更。
硬件/软件要求
作者在 RTX 4090 和 RTX 3070-Ti 上进行开发。两种卡都支持 CUDA 内核,但可能与旧卡不兼容。
作者没有更低的显卡,所以不知道老显卡行不行。
另外,不知道这是否适用于 Windows/WSL。
依赖关系
此列表可能不完整:
-
torch
使用 cu118 在 2.1.0(nightly)上进行测试,也可能适用于较旧的 CUDA 版本 -
safetensors
0.3.1 sentencepiece
ninja
限制
截至目前(正在处理):
- 不支持没有 groupsize 的 v1 模型
- 遇到过具有非标准布局和数据类型的模型(例如 float32 嵌入表)。确保支持所有可能的排列需要一段时间。
评论
svg2pngSVG-to-PNG 转换器
svg2png是一个使用PhantomJS将SVG转换为PNG的工具。constfs=require("pn/fs");//https://www.npmjs.com/package/pnconsts
svg2pngSVG-to-PNG 转换器
0
Regenerator转换器
Regenerator是用来转换ECMAScript6的yield语法到现今的浏览器的一个转换器最简单使用:regeneratores6.js>es5.js#Justthetransform.r
Regenerator转换器
0
Word转换器
程序说明:1.依赖:Windows操作系统,.NetFrameWork3.5,OfficeWord2.Word另存为HTML有几种格式可以选:单个网页mht,网页htm以及筛选过的网页htm。我选择的
Word转换器
0