大消息来了!Grok开源了!314B的MOE大模型!马斯克大格局!水木人工智能学堂关注共 2106字,需浏览 5分钟 ·2024-04-11 22:52 前段时间马斯克诉讼OpenAI并且称其已然违背创始人协议,指责OpenAI应当开源,并且在3.11号时承诺的一周内开源Grok,并嘲讽OpenAI是CloseAI。 而现在,美国东部时间3月17日下午16点,马斯克在美国周的最后一天兑现了承诺!将314B的Gork-1超大模型开源了! 项目地址:https://github.com/xai-org/grok 博客地址:https://x.ai/blog/grok-os 模型权重下载磁力链接: magnet:?xt=urn:btih:5f96d43576e3d386c9ba65b883210a393b68210e&tr=https%3A%2F%2Facademictorrents.com%2Fannounce.php&tr=udp%3A%2F%2Ftracker.coppersurfer.tk%3A6969&tr=udp%3A%2F%2Ftracker.opentrackr.org%3A1337%2Fannounce 博客内容如下: 我们正在发布我们的大型语言模型 Grok-1 的基本模型权重和网络架构。Grok-1 是一个 3140 亿参数的专家混合模型,由 xAI 从头开始训练。 这是 2023 年 10 月结束的 Grok-1 预训练阶段的原始基础模型检查点。这意味着该模型不会针对任何特定应用(例如对话)进行微调。 我们将在 Apache 2.0 许可下发布权重和架构。 要开始使用该模型,请按照 github.com/xai-org/grok 中的说明进行操作。 型号详细信息 基础模型在大量文本数据上训练,未针对任何特定任务进行微调。 314B 参数 Mixture-of-Experts 模型,其中 25% 的权重在给定令牌上处于活动状态。 2023 年 10 月,xAI 使用 JAX 和 Rust 之上的自定义训练堆栈从头开始训练。 — 完 — 版权声明:本号内容部分来自互联网,转载请注明原文链接和作者,如有侵权或出处有误请和我们联系。 浏览 21点赞 评论 收藏 分享 手机扫一扫分享分享 举报 评论图片表情视频评价全部评论推荐 又一个数学大模型开源了~NLP从入门到放弃0TransGPT开源交通大模型TransGPT是开源交通大模型,主要致力于在真实交通行业中发挥实际价值。它能够实现交通情况预测、智能咨询助手、公共交通服务、交通规划设计、交通安全教育、协助管理、交通事故报告和分析、自动驾驶辅助系统baichuan-7B开源中英文大模型baichuan-7B是开源的大规模预训练模型,基于Transformer结构,在大约1.2万亿tokens上训练的70亿参数模型,支持中英双语,上下文窗口长度为4096。整体模型基于标准的Transbaichuan-7B开源中英文大模型baichuan-7B 是开源的大规模预训练模型,基于 Transformer 结构,在大约 1.2TransGPT开源交通大模型TransGPT 是开源交通大模型,主要致力于在真实交通行业中发挥实际价值。它能够实现交通情况预测、大模型榜单再次刷新,比Llama 2更强的大模型来了人工智能与算法学习0太强了!10大开源大模型!新机器视觉0llama.unity开源大语言模型插件开源大语言模型 llama 的 unity 插件。系统WindowsMacOS...参考llama.BELLE开源中文对话大模型BELLE:BeEveryone'sLargeLanguagemodelEngine(开源中文对话大模型)本项目目标是促进中文对话大模型开源社区的发展,愿景做能帮到每一个人的LLMEngine。现阶段llama.unity开源大语言模型插件开源大语言模型llama的unity插件。系统WindowsMacOS...参考llama.cpp:https://github.com/ggerganov/llama.cppFreeAvatar:h点赞 评论 收藏 分享 手机扫一扫分享分享 举报