ExllamaLlama HF 转换器重写认领

0粉丝

Exllama 是对 Llama 的 HF 转换器实现进行更高效的内存重写，以用于量化权重。设计用于量化权重快速且节省内存的推理（不仅仅是注意力）跨多

简介

Exllama 是对 Llama 的 HF 转换器实现进行更高效的内存重写，以用于量化权重。设计用于量化权重快速且节省内存的推理（不仅仅是注意力）跨多个设备映射内置（多）LoRA 支持funky 采样函数的配套库注意，该项目处于概念验证&预览阶段，可能发生大型变更。硬件/软件要求作者在 RT... 更多

其它信息

授权协议

MIT

开发语言

Python

操作系统

跨平台

软件类型

开源软件

所属分类

神经网络/人工智能、 LLM（大语言模型）

开源组织

无

地区

不详

适用人群

未知

时光轴

里程碑1

LOG0

2023

09-25

轻识收录

打卡

评价

0.0（满分 10 分）0 个评分

10分

什么是点评分

图片

表情

全部评价( 0)

推荐率 100%

推荐

svg2pngSVG-to-PNG 转换器

svg2png 是一个使用 PhantomJS 将 SVG 转换为 PNG 的工具。const fs

svg2pngSVG-to-PNG 转换器

svg2png是一个使用PhantomJS将SVG转换为PNG的工具。constfs=require("pn/fs");//https://www.npmjs.com/package/pnconsts

Regenerator转换器

Regenerator是用来转换ECMAScript6的yield语法到现今的浏览器的一个转换器最简单使用：regeneratores6.js>es5.js#Justthetransform.r

程序说明：1. 依赖：Windows操作系统，.Net FrameWork 3.5， Office

Regenerator转换器

Regenerator 是用来转换 ECMAScript 6 的 yield 语法到现今的浏览器的一

程序说明：1.依赖：Windows操作系统，.NetFrameWork3.5，OfficeWord2.Word另存为HTML有几种格式可以选：单个网页mht，网页htm以及筛选过的网页htm。我选择的

mmlsharpMathML转换器

mmlsharp(MathMLtoC#)是一个用来将MathML数学公式标识语言转换成C#计算代码的工具。界面如下图所示：例如下面公式将转成C#代码：p=rho*R*T+(B_0*R*T-A_0-((

TranspecRSpec 语法转换器

Transpec 是一种可通过静态和动态代码分析将你的规范转换为最新的 RSpec 语法的工具。使用

JODConverterOpenDocument文档转换器

JODConverter一個Java的OpenDocument 文件轉換器，可以進行許多文件格式的轉

JODConverterOpenDocument文档转换器

JODConverter一個Java的OpenDocument文件轉換器，可以進行許多文件格式的轉換，它利用OpenOffice所提供的轉換介面來進行轉換工作，它能進行底下的轉換工作：Microsof