PERT基于 BERT 的预训练语言模型认领

0粉丝

在自然语言处理领域中，预训练语言模型（Pre-trained Language Models，PLMs）已成为非常重要的基础技术。在近两年，哈工大讯飞

简介

在自然语言处理领域中，预训练语言模型（Pre-trained Language Models，PLMs）已成为非常重要的基础技术。在近两年，哈工大讯飞联合实验室发布了多种中文预训练模型资源以及相关配套工具。作为相关工作的延续，在本项目中，我们提出了一种基于乱序语言模型的预训练模型（PERT），在不引... 更多

其它信息

地区

国产

开发语言

Python

开源组织

无

所属分类

神经网络/人工智能、 LLM（大语言模型）

授权协议

Apache-2.0

操作系统

跨平台

收录时间

2023-09-25

软件类型

开源软件

适用人群

未知

时光轴

里程碑1

LOG0

2023

2023-09

轻识收录

打卡

评价

0.0（满分 10 分）0 个评分

什么是点评分

图片

表情

全部评价( 0)

推荐率 100%

推荐

Chinese BERT中文预训练语言模型

在自然语言处理领域中，预训练语言模型（Pre-trained Language Models）已成为

Chinese BERT中文预训练语言模型

在自然语言处理领域中，预训练语言模型（Pre-trainedLanguageModels）已成为非常重要的基础技术。为了进一步促进中文信息处理的研究发展，我们发布了基于全词遮罩（WholeWordMa

鹏程·盘古α中文预训练语言模型

鹏程·盘古α是业界首个2000亿参数以中文为核心的预训练生成语言模型，目前开源了两个版本：鹏程·盘古α和鹏程·盘古α增强版，并支持NPU和GPU两个版本，支持丰富的场景应用，在知识问答、知识检索、知识

鹏程·盘古α中文预训练语言模型

鹏程·盘古α是业界首个2000亿参数以中文为核心的预训练生成语言模型，目前开源了两个版本：鹏程·盘古

YaLM 100B千亿参数预训练语言模型

YaLM100B是一个类似GPT的神经网络，用于生成和处理文本。该模型利用了1000亿个参数，在800个A100显卡和1.7TB在线文本、书籍以及海量其他英文和俄文资源的集群上训练该模型花了65天时间

FinGPT金融领域大型预训练语言模型

FinGPT是金融领域大型预训练语言模型。它能理解和生成财经新闻，分析社交媒体上的公众情绪，解读金融报告如年度报告、季度收益报告等，进行市场预测，以及通过学习用户的个人偏好，提供个性化的投资建议。Fi

VLE视觉-语言多模态预训练模型

VLE (Vision-Language Encoder)是一种基于预训练文本和图像编码器的图像-文本多模态理解模型，可应用于如视觉问答、图像-文本检索等多模态判别任务。特别地，在对语言理解和推理能力

VLE视觉-语言多模态预训练模型

VLE (Vision-Language Encoder) 是一种基于预训练文本和图像编码器的图像-

YaLM 100B千亿参数预训练语言模型

YaLM 100B是一个类似 GPT 的神经网络，用于生成和处理文本。该模型利用了 1000 亿个参

FinGPT金融领域大型预训练语言模型

FinGPT 是金融领域大型预训练语言模型。它能理解和生成财经新闻，分析社交媒体上的公众情绪，解读金