李飞飞高徒新作!30万小时视频教会AI在《我的世界》里打败末影龙

新智元

共 2204字,需浏览 5分钟

 ·

2022-07-04 11:42



  新智元报道  

编辑:袁榭 桃子

【新智元导读】近日,李飞飞高徒和团队研究人员提出了基于《我的世界》游戏新框架MineDojo,可以让AI自由探索程序生成的3D世界。


上周,OpenAI让AI看完海量视频后,学会玩《我的世界》。
在这之前,来自英伟达团队的研究人员还构建了一个游戏新框架MineDojo。
MineDojo包含了1000多种不同的开放式任务的模拟套件。
在这里,AI智能体可以自由探索程序生成的3D世界。
李飞飞在社交媒体上称赞了其得意门生,也是这篇论文的一作,Linxi Fan(范麟熙)的最新研究成果。

MineDojo:打开AI新世界


说来,这些AI究竟能做什么?
能在主世界、下界、末日中进行开放式探索,比如:
对战末影龙
寻找沙漠中的金字塔
还能探索海洋纪念碑
可以穿越不同地形,开采材料
能够制作并使用多样化工具,比如,用栅栏围住骆驼
种植小麦...

省事儿了!AI自学自励


目前为止,《我的世界》玩家已经有1亿多人,他们是构建大量数据的基础。
MineDojo从网上收集了海量数据:
  1. 73万YouTube视频,带有标记2.2亿个单词的英文脚本,这些视频总时长大概有30万个小时;
  2. 6735个Wiki页面,其中包括交互式的文本、图像、表格和图表;
  3. 34万条在「r/Minecraft」上的 Reddit帖子,还有660万条评论。


视频素材分两类:
逐步演示、配音详解的教程视频,研究团队用教程视频做出了大量程序基准。
不按特定任务与步骤进行的普通游戏录播视频,给AI智能体提供了内容更多元、素材更丰富的各种学习与训练信号。
由于不管是教程视频还是游戏录播视频,大多数视频库素材都是按时间轴配脚本的。如此就让AI智能体可以低障碍地将自然语言与像素级的图像数据对应,不用大量人工标注就能自行理解各种活动的自然语义对应物。
由于Reddit文本数据库中的内容结合了文字、图片、短视频片段,将精细调试的大语言模型在其中使用后,AI智能体就能获得大量特定的内化概念和复杂策略。
MineDojo现有基准任务库中包含3131个任务,其中有1572个可编程任务、1558个创造性任务、1个通关性任务。
可编程任务按固定步骤和任务目标完成,分四种:
1.生存:AI玩家在初始游戏环境中生存若干天
2.采集:发现、获取、培育、制造数百种材料和物体
3.科技树:按游戏进程目录解锁各种等级的工具与技能
4.基础战斗:AI玩家在游戏中打各种普通小怪,测试智能体反应灵活度和战斗技能
创造性任务就没有可编程任务的精细定义、自动完成的标准了,由AI智能体自由发挥。
通关任务的要求是让AI玩家「打败末影龙并获取龙蛋奖励」。这对人类新手玩家来说都是个游戏初期的里程碑成就。
对于AI智能体而言,这是个验收性任务,考验了AI智能体自行准备、探索、试错等等完成游戏的能力。
研究团队将所有任务都附带了自然语言叙述的提示,很多任务还有用GPT-3生成的逐步指南。
为了用强化学习训练AI智能体玩《我的世界》、完成必备的奖惩功能,研究团队自行开发了模型MineCLIP。
MineCLIP是在海量Youtube数据库上预训练的对比视频语言模型,利用大型预训练的视频语言模型作为学习奖励函数。
比较有特点的是,这个智能体可以解决各种用自由形式的语言指定的开放任务。
同时,它不需要任何人工设计的密集设计奖励。
其奖励效果在可编程任务上与人工编写的逐条奖励程序不相上下,在创造性任务上胜过了OpenAI的预训练CLIP模型。
MineCLIP模型也是MineDojo中AI将图像对应自然语言的核心组件,包含了文本编码器和图像编码器,参数1.5亿。
研究团队在论文中称MineCLIP模型的神经架构很类似CLIP4Clip,但比其多了两层图-文适应处理层。
研究团队在视频数据库中抽取了64万16秒短视频片段抽样,来训练这两层来对应图像和文字,效果可与人工判定的真实值媲美。

网友点评


一位网友称,OpenAI和英伟达基于《我的世界》做的研究方向有些不同。
并对这两项研究进行了对比。
OpenAI试图训练一个《我的世界》中的通才智能体,就像此前DeepMind训练星际争霸那样:
先通过模仿大量演示来学习,然后再通过精心化设计的奖励让智能体去进行强化学习。

问题是,智能体想要进行模仿学习得知道个所以然,然而很多视频并没有标记动作,根本不知道玩家执行了哪些动作来生成这些视频。
于是OpenAI提出了视频与训练模型(VPT)解决方案,在训练7万个小时后,模型就学会了怎么砍树、收集木头。
值得注意的是,预训练的智能体仍然在执行任务时是有限的。
如果想要让其学习更复杂的动作,那就需要精心设计的奖励函数来引导智能体完成必要的步骤。
相比之下,英伟达提出了不同的观点。
他们通过利用YouTube上的视频里的知识学习各种想得到的任务,包括GPT-3生成的任务。
为此,研究者并没有通过手动设计无数奖励,而是设计了一种算法MineCLIP,利用了大型与训练视频模型作为学习奖励函数。

作者介绍


这项最新研究团队共有十个人。
其中论文一作是李飞飞门下得意弟子Linxi Fan(范麟熙)。
他毕业于上海实验中学,本科就读于纽约哥伦比亚大学,目前在斯坦福大学攻读博士,主修计算机视觉、强化学习以及机器人技术。


参考资料:

https://minedojo.org/


浏览 21
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报