GPT-4V危？又一个SOTA多模态大模型Reka Core来了！
共 2589字，需浏览 6分钟
· 2024-04-16
点蓝色字关注“机器学习算法工程师”
设为星标，干货直达！
RekaAILabs最新发布了他们目前SOTA的多模态模型Reka Core。Reka Core在权威的评估指标上与OpenAI、Anthropic和Google的SOTA模型不相上下。
Reka Core在多模态模型评估集MMMU上与GPT-4V相当，在由独立第三方机构进行的多模态人类评估中，其性能超过了Claude-3 Opus，并且在视频任务上超越了Gemini Ultra。在语言任务方面，Core在广为接受的基准测试中与其他前沿模型具有竞争力。
Reka Core具有以下能力：
多模态（图像和视频）理解：Core不仅仅是一个前沿的大型语言模型。它对图像、视频和音频有着强大的情境理解能力，并且是市场上仅有的两个商用全面的多模态解决方案之一。
128K上下文窗口：Core能够摄取并准确地召回更多的信息。
推理能力：Core具有出色的推理能力（包括语言和数学），使其适合需要复杂分析的复杂任务。
编程和代理性工作流程：Core是顶尖的代码生成器。它的编码能力与其他能力结合，可以赋能代理性工作流程。
多语言：Core在32种语言的文本数据上进行了预训练。它不仅精通英语，还流利掌握几种亚洲和欧洲语言。
部署灵活性：Core可以通过API、本地部署或设备上部署，以满足客户和合作伙伴的部署限制。
Reka Core在架构上采用Encoder-Decoder结构，如下所示，它可以支持图像，文本，视频和音频作为输入，但只支持文本输出。更多信息见Reka Core的技术报告。
Reka官方也展示了Reka Core和其它模型的具体例子对比，见https://showcase.reka.ai/。
推荐阅读
使用PyTorch 2.0加速Transformer：训练推理均拿下！
机器学习算法工程师
一个用心的公众号