简介
QLoRA 是华盛顿大学提出的一种有效的微调方法，可以减少内存使用量，足以在单个 48GB GPU 上微调 65B 参数模型，同时保留完整的 16 位微调任务性能。QLoRA 通过冻结的 4 位量化预训练语言模型将梯度反向传播到低阶适配器 (LoRA)。项目团队同时还发布了一个命名为 Guanaco... 更多
其它信息
地区
不详
开发语言
Python
开源组织
无
所属分类
神经网络/人工智能、 LLM（大语言模型）
授权协议
MIT
操作系统
跨平台
收录时间
2023-09-25
软件类型
开源软件
适用人群
未知
时光轴
里程碑1
LOG0
2023
2023-09
轻识收录
评价
0.0（满分 10 分）0 个评分
什么是点评分
全部评价(
0)
推荐率
100%
推荐
ChatGLM Efficient Tuning基于 PEFT 的高效 ChatGLM 微调
ChatGLM Efficient Tuning 是基于 PEFT 的高效 ChatGLM-6B 微
ChatGLM Efficient Tuning基于 PEFT 的高效 ChatGLM 微调
0
ChatGLM Efficient Tuning基于 PEFT 的高效 ChatGLM 微调
ChatGLMEfficientTuning 是基于 PEFT 的高效 ChatGLM-6B 微调。目前实现了针对以下数据集的支持：StanfordAlpacaStanfordAlpaca(Chine
ChatGLM Efficient Tuning基于 PEFT 的高效 ChatGLM 微调
0
BLOOMChat176B 的多语言聊天 LLM
BLOOMChat是一个1760亿参数的多语言聊天模型。它是由BLOOM(176B)在助理式的对话数据集上进行指导调整的，并支持多种语言的对话、问题回答和生成性答案。BLOOMChat是一个新的、开放
BLOOMChat176B 的多语言聊天 LLM
0
LanceML 和 LLM 的列式数据格式
Lance是一种现代的列式数据格式，针对ML工作流和数据集进行了优化。只需两行代码即可从parquet转换为100倍更快的随机访问、向量索引、数据版本控制等。与pandas、duckdb、polars
LanceML 和 LLM 的列式数据格式
0
Marsha基于 LLM 的编程语言
Marsha是一种基于LLM的编程语言。用简单的语法描述你想要完成的任务，提供使用示例，Marsha编译器将指导LLM生成经过测试的Python软件。可通过终端或JupyterNotebook使用pi
Marsha基于 LLM 的编程语言
0