LoRA大型语言模型的低秩适应认领

0粉丝

LoRA 是 Low-Rank Adaptation of Large Language Models 的简写，即大型语言模型的低秩适应。它冻结了预训

简介

LoRA 是 Low-Rank Adaptation of Large Language Models 的简写，即大型语言模型的低秩适应。它冻结了预训练模型的权重，并将可训练的秩分解矩阵注入到 Transformer 架构的每一层中，大大减少了下游任务的可训练参数数量。与使用 Adam 微调的 GP... 更多

其它信息

地区

不详

开发语言

Python

开源组织

无

所属分类

神经网络/人工智能、 LLM（大语言模型）

授权协议

MIT

操作系统

跨平台

收录时间

2023-09-25

软件类型

开源软件

适用人群

未知

时光轴

里程碑1

LOG0

2023

2023-09

轻识收录

打卡

评价

0.0（满分 10 分）0 个评分

什么是点评分

图片

表情

全部评价( 0)

推荐率 100%

推荐

MPT-30B大型语言模型

MPT-30B是MosaicPretrainedTransformer(MPT)模型系列的一部分，它使用了一个为高效训练和推理而优化的transformer架构，并在1Ttokens的英文文本和代码上

GPT-2基于 transformer 的大型语言模型

GPT-2 是一种基于 transformer 的大型语言模型，具有 15 亿个参数，在 800 万

GPT-2基于 transformer 的大型语言模型

GPT-2是一种基于transformer 的大型语言模型，具有15亿个参数，在800万网页数据集上进行训练。它是论文《语言模型是无人监督的多任务学习者》（LanguageModelsareUnsup

Lit-Parrot大型语言模型的可破解实现

Lit-Parrot 是基于 nanoGPT 的 StableLM/Pythia/INCITE 语言

Lit-Parrot大型语言模型的可破解实现

Lit-Parrot是基于nanoGPT的StableLM/Pythia/INCITE语言模型的实现。支持flashattention、LLaMA-Adapter微调、预训练。最先进的开源大型语言模型

Jigsaw Datase提高大型语言模型性能的工具

Jigsaw 是微软推出的一种可以提高大型语言模型性能（如 GPT-3、Codex 等）的新工具。J

PaLM 2谷歌下一代大型语言模型

PaLM 2 是谷歌推出的下一代大型语言模型。擅长高级推理任务，包括代码和数学、分类和问答、翻译和多

白泽Baize使用 LoRA 训练的大语言模型

白泽是使用 LoRA 训练的开源聊天模型，它改进了开源大型语言模型 LLaMA，通过使用新生成的聊天

白泽Baize使用 LoRA 训练的大语言模型

白泽是使用LoRA训练的开源聊天模型，它改进了开源大型语言模型LLaMA，通过使用新生成的聊天语料库对LLaMA进行微调，该模型在单个GPU上运行，使其可供更广泛的研究人员使用。白泽目前包括四种英语模

Jigsaw Datase提高大型语言模型性能的工具

Jigsaw是微软推出的一种可以提高大型语言模型性能（如GPT-3、Codex等）的新工具。Jigsaw部署了理解程序语法和语义的后处理技术，然后利用用户反馈来提高未来的性能；该工具旨在使用多模式输入