斯坦福和Google联合推出iGibson比赛:挑战真实模拟场景,交互式导航
共 2276字,需浏览 5分钟
·
2021-04-18 14:58
新智元报道
新智元报道
来源:google AI
编辑:LZY
【新智元导读】由Google Research的软件工程师Anthony Francis和Alexander Toshev提出的有关互动和社交导航的iGibson挑战引发了轩然大波,到底是什么挑战呢,让我们一起来看看!
在过去的十年中,研究者做了大量大规模的基准测试(benchmark),计算机视觉也有了很大的提升和发展。
像ImageNet(面向图片分类)和COCO(面向对象监测)这些基准不仅提供了巨大的数据集,还提出了关于评估模型的标准。
一般来说,传统的基准测试是相对比较被动的,这样的测试主要是靠感知来评估任务,而最新的计算机视觉研究的是如何相对主动地去评估任务,这就需要对象不仅依靠感知还需要行动。
那iGibson到底挑战什么?
CVPR 2020举办的首届Embeded AI研讨会上,相关学者提出了一些基准任务的挑战。
其中包括斯坦福大学和Google联合提出的iGibson挑战,它选用了一些真实世界的场景,为了测试在不同环境中哪些互动和社交导航的策略更占优势。
每个人可以制定不同的模拟策略,在不断重复的导航实验中运行该策略,从而查看和评估“模拟与实际的差距”,即模拟与真实世界之间的差异。
许多研究团队在疫情期间纷纷提交了解决方案。
今年斯坦福大学和谷歌又自豪地宣布了新版本的iGibson挑战,这个挑战在CVPR 2021上也是作为10个视觉挑战之一亮相。
今年的Embodied AI Workshop由Google和其他9个研究组织共同组织,探讨了诸如模拟实验;从模拟到真实的转换问题;视觉导航;语义映射和更改检测;对象重排和还原;听觉导航以及跟踪等等问题。
特别值得一提的是,关于导航和互动任务的探讨又有了新的创新。
今年的iGibson挑战探讨了互动导航和社交导航系统-----如何通过iGibson模拟器让机器人与现实生活中的人和环境沟通交流;还有就是,借助Google的数据集如何将机器人与人类环境中的一切更紧密地结合和交互。
社交导航面临的新挑战
社交导航面临的新挑战
如何让机器人又可以感知环境又可以对环境做出行为,这是非常具有挑战性的。不过一些例子已经做了很好的阐释。
标点导航(point navigation)是涉及在地图里的导航。例如驾驶机器人数公里路过居民楼的这段过程中,机器人能否同时识别并避开障碍物。
类似地,对象导航(object navigation)涉及寻找建筑物里的某个对象,搜索能力很重要。
此外,视觉语言指令导航(visual language instruction navigation)需要基于视觉图像和自然语言的命令在建筑物中进行搜索。
在这些不同的环境中,机器人可以处理各种情况,和动态的建筑物产生交互作用。
在今年的iGibson挑战赛中,如下图所示,我们重点关注以下两个设置:
1、交互式导航(Interactive Navigation):在混乱的环境中,机器人通过导航与对象成功进行物理交互的事件。例如,机器人应该把鞋子放到一边,且过程中不能移动沙发和茶几。
2、社交导航( Social Navigation):在拥挤的环境中人们会四处走动,机器人需要在人们的周围移动,尽可能减少干扰。
iGibson Challenge 2021的数据集提供了很多可以训练的模拟交互式场景。数据集包括8个真实完全交互式的公寓场景,如下图所示,以及另外七个用于测试和评估的场景。
该数据集已通过Creative Commons的许可并进行了3D扫描,所以我们今后可以免费的运用该数据集,做出更多关于机器人仿真和计算机视觉方面的研究。
上图展示了在谷歌3D扫描的对象数据集中的几种常见对象,对象大都是人类日常生活中的一些物品。
iGibson挑战其实在斯坦福大学自己开源的仿真平台中展示过,该平台是一种基于Bullet系统的交互式机器人模拟器,不仅运行快速还很逼真。
为了应对今年的挑战,iGibson还基于ORCA人群模拟算法扩展了完全交互式的环境和行人行为的展示方式。
上图生动的展示了ORCA人群模拟和可移动对象。
小编!我想参加挑战赛呢
小编!我想参加挑战赛呢
iGibson挑战赛已经启动,除了其排行榜还在开发阶段,其他内容都处于开放状态所以每个人都可以查看。
测试的阶段将于5月16日开放,并于5月31日结束。
每个团队到时可以提交最终的解决方案,获奖者的颁奖演示计划于2021年6月20日举行。有关参与的更多详细信息,请查看iGibson挑战页面。
参考资料: