能写论文,能聊天,能翻译,能上天的 GPT-3 | Mixlab 技术前沿

Mix Lab味知实验室

共 1558字,需浏览 4分钟

 ·

2021-03-25 17:16



#GPT-3#



GPT-3


生成型已训练变换模型3,是由在旧金山的人工智能公司 OpenAI 训练与开发,模型设计基于谷歌开发的变换语言模型。


GPT-3 英文全称是:Generative Pre-trained Transformer 3,是一个自回归语言模型,目的是为了使用深度学习分类,或产生人类可以理解的自然语言(参考自:维基百科)


重要的是,此过程中无需人工干预,程序在没任何指导的情况下查找,然后将其用于完成文本提示



GPT-3 的过人之处

—— 调用 OpenAI 开放的API接口


出色地完成

翻译(语言、语法)、

问答(医疗等专业)、


能够很好执行

两位、三位的数学加减运算;


还可以

基于文本的描述生成代码、网站。



GPT-1 于 2018 年发布,包含1.17亿个参数; 
GPT-2 2019 年发布,包含15亿个参数;
GPT-3 拥有 1750 亿个参数,是 GPT-2 的 116 倍,比之前最大的同类 NLP 模型要多 10 倍



将自然语言生成了代码和图形按钮

文本的风格化迁移:
把繁冗的法律语言变成日常语言

给个标题和开头,论文就完成了

自动完成图片


商业尝试

>>> 语义搜索
>>> 客服机器人
>>> 文本生成
>>> 自动内容审核
>>> 生产力工具
>>> 机器翻译等


面临的商业化困境


不懂装懂?
一位匿名的在 Google 资深 AI 研究人员说:他们认为 GPT-3 仅能自动完成一些琐碎任务,较小、更便宜的 AI 程序也可以做到,而且程序的绝对不可靠性,最终会破坏其商用。


性价比不够高?
有网友尝试用 GPT-代替谷歌的关键词搜索,但信息的全面度还是很难得到保证,尝试几次之后,大家自然会对各平台工具进行取舍。


剔除敏感数据?
人工智能伦理学家 Timnit Gebru 与 Emily Bender 等人合著了「On the Dangers of Stochastic Parrots:Can Language Models Be Too Big?」/ 《随机鹦鹉的危险:语言模型会太大吗?》 。

论文作者

论文仔细研究了使用大型语言模型相关的风险,例如环境、种族主义,以及基于性别,种族和其他特征的各种持久性的偏见因为如果技术在社会中普及,边缘群体可能会经历不正当手法引诱


而AI 研究人员、纽约大学副教授 Julian Togelius 说:“ GPT-3的表现常常像是一个聪明的学生,没有读完书,试图通过废话,比如一些众所周知的事实,和一些直率的谎言交织在一起,让它看起来像是一种流畅的叙述。”


Julian Togelius


比如,当用户和 GPT-3 创造的“乔布斯”交谈时,询问他现在何处,这个“乔布斯”回答:“我在加州库比蒂诺的苹果总部内。”这是一个连贯的答案,但很难说是一个值得信赖的答案。



*

GPT-3 GitHub 项目页面:
https://github.com/openai/gpt-3


- END - 



欢迎大家加群告诉我们,你喜欢和关注的主题
只要关注人数足够多,Mixlab 随时为大家特邀发起 『 专场主题讨论』!(编辑:春FANG)


一个人的探索有些孤单,
一群人的探索会更有意思。

  扫码加入vip社群
参与更多跨界交流



浏览 109
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报