白泽Baize使用 LoRA 训练的大语言模型认领

0粉丝

白泽是使用 LoRA 训练的开源聊天模型，它改进了开源大型语言模型 LLaMA，通过使用新生成的聊天语料库对 LLaMA 进行微调，该模型在单个 GP

简介

白泽是使用 LoRA 训练的开源聊天模型，它改进了开源大型语言模型 LLaMA，通过使用新生成的聊天语料库对 LLaMA 进行微调，该模型在单个 GPU 上运行，使其可供更广泛的研究人员使用。白泽目前包括四种英语模型：白泽 -7B、13B 和 30B（通用对话模型），以及一个垂直领域的白泽 - 医疗... 更多

其它信息

地区

国产

开发语言

Python

开源组织

无

所属分类

神经网络/人工智能、 LLM（大语言模型）

授权协议

GPLv3

操作系统

跨平台

收录时间

2023-09-25

软件类型

开源软件

适用人群

未知

时光轴

里程碑1

LOG0

2023

2023-09

轻识收录

打卡

评价

0.0（满分 10 分）0 个评分

什么是点评分

图片

表情

全部评价( 0)

推荐率 100%

推荐

TRL使用强化学习来训练语言模型

TRL (Transformer Reinforcement Learning) 是 Hugging

LoRA大型语言模型的低秩适应

LoRA是 Low-RankAdaptationofLargeLanguageModels的简写，即大型语言模型的低秩适应。它冻结了预训练模型的权重，并将可训练的秩分解矩阵注入到Transformer

TRL使用强化学习来训练语言模型

TRL(TransformerReinforcementLearning)是HuggingFace推出的一个具有强化学习功能的全栈Transformer语言模型。TRL是一个完整的堆栈库，Huggin

PERT基于 BERT 的预训练语言模型

在自然语言处理领域中，预训练语言模型（Pre-trainedLanguageModels，PLMs）已成为非常重要的基础技术。在近两年，哈工大讯飞联合实验室发布了多种中文预训练模型资源以及相关配套工具

LLaMA大语言模型

LLaMA 语言模型全称为 "Large Language Model Meta AI"，是 Met

LLaMA大语言模型

LLaMA语言模型全称为"LargeLanguageModelMetaAI"，是Meta的全新大型语言模型（LLM），这是一个模型系列，根据参数规模进行了划分（分为70亿、130亿、330亿和650亿

PERT基于 BERT 的预训练语言模型

在自然语言处理领域中，预训练语言模型（Pre-trained Language Models，PLM

RedPajama大语言模型

RedPajama项目旨在创建一套领先的全开源大语言模型。目前，该项目已完成了第一步，成功复制了LLaMA训练数据集超过1.2万亿个数据token。该项目由Together、Ontocord.ai、E

OPT-175B大语言模型

OPT-175B是Meta开源的大语言模型，拥有超过1750亿个参数——和GPT-3相当。相比GPT-3，OPT-175B的优势在于它完全免费。Meta还公布了代码库、开发过程日志、数据、研究论文和其

OPT-175B大语言模型

OPT-175B 是 Meta 开源的大语言模型，拥有超过 1750 亿个参数——和 GPT-3 相