搜索

Lit-LLaMA ️基于 nanoGPT 的语言模型

0粉丝
Lit-LLaMA 是一个基于 nanoGPT 的 LLaMA 语言模型的实现，支持量化、LoRA 微调、预训练。设计原则简单：单一文件实现，没有样板
知识
简介
Lit-LLaMA 是一个基于 nanoGPT 的 LLaMA 语言模型的实现，支持量化、LoRA 微调、预训练。设计原则简单：单一文件实现，没有样板代码正确：在数值上等同于原始模型优化：在消费者硬件上或大规模运行开源：无附加条件设置克隆仓库git clone https://github.com/... 更多
其它信息
授权协议
Apache-2.0
开发语言
Python
操作系统
跨平台
软件类型
开源软件
所属分类
神经网络/人工智能、 LLM（大语言模型）
开源组织
无
地区
不详
适用人群
未知

时光轴

里程碑1
LOG0
2023
09-25
轻识收录
打卡
我要打卡
我要打卡
评价
0.0（满分 10 分）0 个评分
10分
什么是点评分
图片
表情
全部评价( 0)
推荐率 100%
推荐
GPT-2基于 transformer 的大型语言模型
GPT-2 是一种基于 transformer 的大型语言模型，具有 15 亿个参数，在 800 万
GPT-2基于 transformer 的大型语言模型
GPT-2是一种基于transformer 的大型语言模型，具有15亿个参数，在800万网页数据集上进行训练。它是论文《语言模型是无人监督的多任务学习者》（LanguageModelsareUnsup
Chinese-Vicuna基于 LLaMA 的中文大语言模型
Chinese-Vicuna 是一个中文低资源的 LLaMA+Lora 方案。项目包括finetun
PERT基于 BERT 的预训练语言模型
在自然语言处理领域中，预训练语言模型（Pre-trained Language Models，PLM
WizardLM基于 LLaMA 的微调大语言模型
WizardLM 是一个经过微调的 7B LLaMA 模型。它通过大量具有不同难度的指令跟随对话进行
Chinese-Vicuna基于 LLaMA 的中文大语言模型
Chinese-Vicuna是一个中文低资源的LLaMA+Lora方案。项目包括finetune模型的代码推理的代码仅使用CPU推理的代码(使用C++)下载/转换/量化Facebookllama.ck
LaWGPT基于中文法律知识的大语言模型
LaWGPT是一系列基于中文法律知识的开源大语言模型。该系列模型在通用中文基座模型（如Chinese-LLaMA、ChatGLM等）的基础上扩充法律领域专有词表、大规模中文法律语料预训练，增强了大模型
WizardLM基于 LLaMA 的微调大语言模型
WizardLM是一个经过微调的7BLLaMA模型。它通过大量具有不同难度的指令跟随对话进行微调。这个模型的新颖之处在于使用了LLM来自动生成训练数据。WizardLM模型使用一种名为Evol-Ins
LaWGPT基于中文法律知识的大语言模型
LaWGPT 是一系列基于中文法律知识的开源大语言模型。该系列模型在通用中文基座模型（如 Chine
PERT基于 BERT 的预训练语言模型
在自然语言处理领域中，预训练语言模型（Pre-trainedLanguageModels，PLMs）已成为非常重要的基础技术。在近两年，哈工大讯飞联合实验室发布了多种中文预训练模型资源以及相关配套工具