Lit-LLaMA ️基于 nanoGPT 的语言模型认领

0获赞0粉丝0关注

Lit-LLaMA 是一个基于 nanoGPT 的 LLaMA 语言模型的实现，支持量化、LoRA 微调、预训练。设计原则简单：单一文件实现，没有样板

简介

Lit-LLaMA 是一个基于 nanoGPT 的 LLaMA 语言模型的实现，支持量化、LoRA 微调、预训练。设计原则简单：单一文件实现，没有样板代码正确：在数值上等同于原始模型优化：在消费者硬件上或大规模运行开源：无附加条件设置克隆仓库git clone https://github.com/... 更多

其它信息

地区

不详

开发语言

Python

开源组织

无

所属分类

神经网络/人工智能、 LLM（大语言模型）

授权协议

Apache-2.0

操作系统

跨平台

收录时间

2023-09-25

软件类型

开源软件

适用人群

未知

时光轴

里程碑1

LOG0

2023

2023-09

轻识收录

打卡

评价

0.0（满分 10 分）0 个评分

什么是点评分

图片

表情

全部评价( 0)

推荐率 100%

推荐

GPT-2基于 transformer 的大型语言模型

GPT-2 是一种基于 transformer 的大型语言模型，具有 15 亿个参数，在 800 万

GPT-2基于 transformer 的大型语言模型

GPT-2基于 transformer 的大型语言模型

GPT-2是一种基于transformer 的大型语言模型，具有15亿个参数，在800万网页数据集上进行训练。它是论文《语言模型是无人监督的多任务学习者》（LanguageModelsareUnsup

GPT-2基于 transformer 的大型语言模型

Chinese-Vicuna基于 LLaMA 的中文大语言模型

Chinese-Vicuna 是一个中文低资源的 LLaMA+Lora 方案。项目包括finetun

Chinese-Vicuna基于 LLaMA 的中文大语言模型

PERT基于 BERT 的预训练语言模型

在自然语言处理领域中，预训练语言模型（Pre-trained Language Models，PLM

PERT基于 BERT 的预训练语言模型

WizardLM基于 LLaMA 的微调大语言模型

WizardLM 是一个经过微调的 7B LLaMA 模型。它通过大量具有不同难度的指令跟随对话进行

WizardLM基于 LLaMA 的微调大语言模型

Chinese-Vicuna基于 LLaMA 的中文大语言模型

Chinese-Vicuna是一个中文低资源的LLaMA+Lora方案。项目包括finetune模型的代码推理的代码仅使用CPU推理的代码(使用C++)下载/转换/量化Facebookllama.ck

Chinese-Vicuna基于 LLaMA 的中文大语言模型

LaWGPT基于中文法律知识的大语言模型

LaWGPT是一系列基于中文法律知识的开源大语言模型。该系列模型在通用中文基座模型（如Chinese-LLaMA、ChatGLM等）的基础上扩充法律领域专有词表、大规模中文法律语料预训练，增强了大模型

LaWGPT基于中文法律知识的大语言模型

WizardLM基于 LLaMA 的微调大语言模型

WizardLM是一个经过微调的7BLLaMA模型。它通过大量具有不同难度的指令跟随对话进行微调。这个模型的新颖之处在于使用了LLM来自动生成训练数据。WizardLM模型使用一种名为Evol-Ins

WizardLM基于 LLaMA 的微调大语言模型

LaWGPT基于中文法律知识的大语言模型

LaWGPT 是一系列基于中文法律知识的开源大语言模型。该系列模型在通用中文基座模型（如 Chine

LaWGPT基于中文法律知识的大语言模型

PERT基于 BERT 的预训练语言模型

在自然语言处理领域中，预训练语言模型（Pre-trainedLanguageModels，PLMs）已成为非常重要的基础技术。在近两年，哈工大讯飞联合实验室发布了多种中文预训练模型资源以及相关配套工具

PERT基于 BERT 的预训练语言模型