GPT-3论文解读(视频)
GiantPandaCV
共 647字,需浏览 2分钟
· 2020-11-29
转载自油管:
https://www.youtube.com/watch?v=SY5PvZrJhLE&t=458s&ab_channel=YannicKilcher
B站链接:
https://www.bilibili.com/video/BV1aK4y1f7Nm/
点击小程序观看视频,时长1小时05分
视频太长不看版:
总的来说讲者对于 GPT-3 的看法是:
GPT-3 在模型结构上就是 transformer 的多层堆叠,并没有提出什么新的结构。
且 GPT-3 因为模型足够大,所以讲者猜测它是以某种方式记住了所有的训练数据。
而训练数据是用了互联网上和维基百科等的超大量文本数据。
在训练数据上完成训练之后是直接用去做下游任务的,并没有 finetuning 的过程。
对于下游任务,比如问题回答。
GPT-3 就是单纯从它记住的训练数据中,筛选出与输入问题类似的训练样本,
然后通过插值(原文 interpolate)融合生成答案而已。GPT-3 其实并不具备推理能力。
最后讲者提到,GPT-3 的一个可能应用是可以做模糊搜索
比如可以给 GPT-3 输入一个研究的 idea,作为开头然后让它生成文章的摘要。
还有更多有趣的实验结果可以阅读文章或者视频解读。
评论
深度解读RoCE v2网络技术
在日新月异的网络技术领域中,远程直接内存访问(RDMA)技术已成为优化数据传输流程、提升整体网络效能的关键驱动力。其中,以太网融合RDMA技术——RoCE(RDMA over Converged Ethernet),其第二代版本RoCE v2凭借显著的性能提升与更强的灵活性脱颖而出。本文来自“深度解
架构师技术联盟
0
Open-Sora全面开源升级:支持16s视频生成和720p分辨率
机器之心发布 机器之心编辑部Open-Sora 在开源社区悄悄更新了,现在单镜头支持长达16秒的视频生成,分辨率最高可达720p,并且可以处理任何宽高比的文本到图像、文本到视频、图像到视频、视频到视频和无限长视频的生成需求。我们来试试效果。生成个横屏圣诞雪景,发b站再生成个竖屏,发抖音还能
机器学习算法与Python实战
0
AI论文写作工具和生成器(一)
随着人工智能和大模型的迅猛发展,AI对研究人员和学生提供了极大的写作便利。本文将介绍市面上常用的AI论文写作工具,帮助你提高论文写作效率并遵循学术道德。请仅将AI论文生成器视为辅助参考手段,切勿直接挪用全文。XPaper AlXPaper AI是由点击式创作工具晓语台推出的一款论文写作生成平台,只需
IQ前端
0
大视频周报|全国酒店电视操作复杂专项治理动员部署电视电话会在京召开
小美播报本 期 看 点广电总局发4K超高清机顶盒技术新标准;总局公示《智能电视操作系统 第8部分:分类分级》等两项行业标准;工信部组织开展今年5G轻量化(RedCap)贯通行动;全国酒店电视操作复杂专项治理动员部署电视电话会在京召开......(今日流媒体vip可免费获取报告PDF版,详情请见文末。
流媒体网
0
炸裂!最新CVPR2024、ACL2024、AAAI2024、ICML2023论文+Code大合集!
我花了3个月的时间整理了包括CVPR 2023/2024、ECCV 2023、ICML 2023、ICLR 2024/2023、NeurIPS 2023、ACL 2024、EMNLP 2023、AAAI 2024/2023、WWW 2023/2024等顶会在内的超过20000篇人工智能优质论文,今天
小白学视觉
10
最新大模型论文合集!谷歌/微软/Meta/苹果/英伟达/阿里最新研究报告!
清华团队推出 MiniCPM:利用可扩展的训练策略挖掘小模型潜力;苹果MM1大模型:30B参数,多模态,在预训练指标上达到SOTA;亚马逊提出大规模视频语言对齐方法VidLA;英伟达参与,高效视频扩散模型CMD发布;谷歌、Stability AI新研究:由文本引导生成纹理3D服装;港大、阿里新研究:
公众号CVer
0
斯坦福发文:AI写论文比例激增,CS专业是重灾区,现状堪忧!
大数据文摘授权转载自夕小瑶科技说作者:谢年年自从2022年底ChatGPT发布以来,用大模型辅助写学术论文已经不是什么稀罕事,各种“超详细ChatGPT论文写作、润色指南”一搜一大把。但有些学者可能用得太过火,甚至还有一些一眼假的论文被发表。比如下面这篇论文,在论文开篇第一句,就暴露了ChatGPT
大数据文摘
0