挑战OpenAI!以色列AI21 Labs推最新语言模型:侏罗纪-X视学算法关注共 2021字,需浏览 5分钟 ·2022-07-31 02:41 视学算法报道 编辑:Lichtung【导读】近日,以色列初创公司AI21 Labs完成了6400万美元的B轮融资,总额达到1.185亿美元。最近,AI21 Labs完成了6400万美元的B轮融资,公司估值为6.64亿美元。本轮融资由阿伦创新资本基金牵头,Mobileye首席执行官兼联合创始人Amnon Shashua、Walden Catalyst、Pitango、TPY Capital和Mark Leslie参与,使得A21 Labs的总融资额达到1.185亿美元。AI21 Labs由Goshen、Shashua和斯坦福大学教授Yoav Shoham于2017年共同创立。该公司的第一款产品是Wordtune,这是一种人工智能驱动的写作辅助工具,旨在与Grammarly竞争,它在用户输入内容时给予新的措辞建议。去年8月,AI21发布了平台AI Studio,并推出了对于Jurassic-1模型「即用即付 」的服务-开发者可以根据其要求的独特数据集进行定制模型以及微调。Jurassic-1系列模型可用于转述(如从产品描述中生成简短的产品名称),从文本中提取数字,按主题或类别标记电子邮件和笔记。这些模型还可以通过Wordtune中被称为Wordtune Read的功能来总结内容,包括文章、报告和PDF文件的片段。然而由于语言模型是被互联网上的大量数据(包括社交媒体)训练出来的,因此它们能够根据在训练过程中遇到的类似语言生成有毒和有偏见的文本。AI21 Labs的模型也不例外。虽然AI21 Labs要求客户同意使用条款政策和使用指南,但它还没有对其API产生的潜在有毒内容实施过滤。对此,AI21 Labs表示其模型比GPT-3「略微少一些偏见」,并说他们在手动审查并微调模型以打击滥用。而据Goshen说,Jurassic-1模型的最新版本Jurassic-X使用了所谓的「模块化推理知识系统」,用在线计算器和货币转换器等「离散推理专家」来增强其答案。Jurassic-X可以回答用自然语言表述的「非平凡」数学运算,以及简化可能绊倒其他语言模型的「复杂」问题。相较于Jurassic-1,Jurrasic-X克服了前身模型不擅于推理、更新昂贵、不能有效处理时序数据等缺点。当然,值得注意的是,AI21 Labs还没有委托对其Jurassic-X模型与其他商业语言模型进行比较,所以目前的全部依据仅来自声明。该公司最近的营销噱头并没有给人带来巨大的信心,相反令人质疑。6月,AI21 Labs推出了一个以已故最高法院法官露丝-巴德-金斯伯格(Ruth Bader Ginsburg)的法律意见为模型的聊天机器人。然而一些人工智能技术专家将其定性为误导。AI21 Labs在回应批评时表示,该聊天机器人「只是一个实验」,并承认它可以给出不准确的回答,应该「谨慎对待」。对于此轮融资,Goshen表示,新资金将用于研发,特别是开发更大、更复杂的语言模型,以及招聘人才。AI21 Labs目前拥有120名员工,他们计划在今年年底前再招聘约50名员工,以对抗宏观经济趋势。当被问及收入时,Goshen拒绝透露确切的数字,以及对增长的估计。他表示,Studio有数百个「付费客户和设计合作伙伴」,但他也不愿意透露这些人的名字。此外他还说有超过1万名免费计划的用户,而Wordtune则有「数百万」用户。鉴于训练复杂模型的成本,投资者可能面临巨大的扩张压力。AI21 Labs自己的研究表明,开发一个具有15亿个参数(即模型用于生成和分析文本的变量)的文本生成模型的费用高达160万美元。而Jurassic-1模型包含了1780亿个参数,这还不包括为模型提供服务的托管费用;AI21 Labs 表示,它保留了美国和国外「几家」第三方云提供商的服务。「缺乏市场知识是因为语言模型技术还是新生并且刚被采用。」Goshen说,「有了新的资金,AI21 Labs将继续履行其使命来建立具有前所未有的自然语言理解和生成能力的AI系统。」「随着越来越多的公司迁移到远程工作,人们需要用文字传达他们通常会口头分享的内容。我们专有的大型语言模型的核心能力允许摄取大量的企业数据使用......自定义的内容创建、总结和分类。」你看好AI21吗?参考资料:https://techcrunch.com/2022/07/12/openai-rival-ai21-labs-raises-64m-to-ramp-up-its-ai-powered-language-services/http://transtech.lingosail.com/news/detail/188209/cnhttps://hub.baai.ac.cn/view/9199点个在看 paper不断! 浏览 49点赞 评论 收藏 分享 手机扫一扫分享分享 举报 评论图片表情视频评价全部评论推荐 挑战OpenAI!以色列AI21 Labs推最新语言模型:侏罗纪-X新智元0LLaMA大语言模型LLaMA 语言模型全称为 "Large Language Model Meta AI",是 Met统计语言模型浅谈统计语言模型浅谈从属于笔者的程序猿的数据科学与机器学习实战手册,其他相关阅读Python语法速览与机器学习开发环境搭建,Scikit-Learn 备忘录,基于 Gensim 的 Word2Vec 实践。 统计语言模型 统计语言模型(Statist...Baichuan-13B大规模语言模型Baichuan-13B 是由百川智能继 Baichuan-7B 之后开发的包含 130 亿参数的开LLaMA大语言模型LLaMA语言模型全称为"LargeLanguageModelMetaAI",是Meta的全新大型语言模型(LLM),这是一个模型系列,根据参数规模进行了划分(分为70亿、130亿、330亿和650亿编程语言内存模型云原生实验室0RedPajama大语言模型RedPajama项目旨在创建一套领先的全开源大语言模型。目前,该项目已完成了第一步,成功复制了LLaMA训练数据集超过1.2万亿个数据token。该项目由Together、Ontocord.ai、E6000字解读:当前大语言模型LLM研究的10大挑战Mix Lab味知实验室0MPT-30B大型语言模型MPT-30B是MosaicPretrainedTransformer(MPT)模型系列的一部分,它使用了一个为高效训练和推理而优化的transformer架构,并在1Ttokens的英文文本和代码上OPT-175B大语言模型OPT-175B是Meta开源的大语言模型,拥有超过1750亿个参数——和GPT-3相当。相比GPT-3,OPT-175B的优势在于它完全免费。Meta还公布了代码库、开发过程日志、数据、研究论文和其点赞 评论 收藏 分享 手机扫一扫分享分享 举报