搜索

TinyLlama-1.1B小型但强大的语言模型

0粉丝
TinyLlama 项目旨在在 3 万亿 tokens 上进行预训练，构建一个拥有11亿参数的Llama模型。经过精心优化，"仅"需16块A100-40G的GPU，便可在90天内完成这个任务。训练已于2023-09-01开始。该项目采用了与Llama 2完全相同的架构和分词器。这意味着TinyLla
知识
简介
TinyLlama 项目旨在在 3 万亿 tokens 上进行预训练，构建一个拥有11亿参数的Llama模型。经过精心优化，"仅"需16块A100-40G的GPU，便可在90天内完成这个任务。训练已于2023-09-01开始。该项目采用了与Llama 2完全相同的架构和分词器。这意味着TinyLla... 更多
其它信息
授权协议
Apache-2.0
开发语言
Python
操作系统
跨平台
软件类型
开源软件
所属分类
神经网络/人工智能、 LLM（大语言模型）
开源组织
无
地区
国产
适用人群
未知

时光轴

里程碑1
LOG0
2023
09-26
轻识收录
打卡
我要打卡
我要打卡
评价
0.0（满分 10 分）0 个评分
什么是点评分
图片
表情
全部评价( 0)
推荐率 100%
推荐
CleverCSS小型的标记语言
CleverCSS是 一个用于css的受Python启发的小型的标记语言，它可用于以整洁的和结构化的
CleverCSS小型的标记语言
CleverCSS是一个用于css的受Python启发的小型的标记语言，它可用于以整洁的和结构化的方式创建一个样式表。在很多方面它都比CSS2整洁和强大。与CSS最明显的区别是句法：它基于缩进而且不单
ZERO-UI小巧但强大的C界面库
Zui起源于duilib,却独立与duilib,主要目的为了弥补duilib功能上的不足,以及简化开发流程.Zui由C开发,具有良好的可扩展性,各种语言调用方便支援的特性:XML布局自动布局调整控件容
Lit-LLaMA ️基于 nanoGPT 的语言模型
Lit-LLaMA是一个基于nanoGPT的LLaMA语言模型的实现，支持量化、LoRA微调、预训练。设计原则简单：单一文件实现，没有样板代码正确：在数值上等同于原始模型优化：在消费者硬件上或大规模运
StableLMStability AI 开发的语言模型
StableLM项目仓库包含StabilityAI正在开发的StableLM系列语言模型，目前StabilityAI发布了初始的StableLM-alpha模型集，具有30亿和70亿参数。150亿和3
Mo+面向模型的编程语言
Mo+ 是首个完全支持面向模型开发的编程语言和集成开发环境。Model Oriented Devel
StableLMStability AI 开发的语言模型
StableLM 项目仓库包含 Stability AI 正在开发的 StableLM 系列语言模型
Mo+面向模型的编程语言
Mo+是首个完全支持面向模型开发的编程语言和集成开发环境。ModelOrientedDevelopment(MOD)可以让你通过简单、模型聚焦的方法进行开发。你可以将模型信息转换成源码。模型示例：&l
Lit-LLaMA ️基于 nanoGPT 的语言模型
Lit-LLaMA ️基于 nanoGPT 的语言模型
0
RedPajama大语言模型
RedPajama项目旨在创建一套领先的全开源大语言模型。目前，该项目已完成了第一步，成功复制了LLaMA训练数据集超过1.2万亿个数据token。该项目由Together、Ontocord.ai、E