平价训练AI机器人:谷歌大脑&伯克利联合推出低成本机器人训练平台...
新智元
共 3334字,需浏览 7分钟
· 2019-10-10
【新智元导读】让机器人研究走向大众。加州大学伯克利分校和谷歌大脑的研究人员联合打造低成本机器人学习平台ROBEL,支持机器人实验扩展和强化学习,兼具稳健性、灵活性和可重复性。该平台现已发布至开源社区。快来新智元 AI 朋友圈参与讨论吧~
ROBEL由D’Claw和D'Kitty组成,D'Claw是一个有三只手臂的机械臂型机器人,可以帮助学习灵巧的操作任务.
D'Claw
D'Kitty是一个有四条腿的机器人,可以帮助学习灵活的腿部运动任务。
D'Kitty
这个机器人平台是低成本的,模块化的,易于维护,足够强大,能够支持从零开始的硬件强化学习。左:十二自由度D'Kitty;中:9 自由度D'Claw;右:功能齐全的 D'Claw 装置D’Lantern。
针对这些基准任务,研究人员评估了几种深度强化学习方法(on-policy, off policy, demo-accelerated, supervised),评估结果和最终策略被作为baseline包含在软件包中以供比较。具体的任务细节和基线性能请查看论文。
在不同实验室开发的两个真实D'Claw机器人执行任务的训练性能
重要的是,D'Claw平台是高度模块化的,而且具备高度可重复性,便于进行扩展实验。通过扩展设置,我们发现多个D'Claws可以通过共享经验更快地对任务进行集体学习。通过共享SAC的分布式版本的硬件训练流程,可以面向多个目标任务实现任意角度的结合。在多任务定制中,完成五个任务只需要单个任务经验的2倍即可。在视频中,五只D'Claws机器人将不同的物体旋转180度(这是出于视觉呈现的考虑,实际策略可以实现任意角度的旋转) 我们还成功地在D’Kitty平台上部署了强大的移动策略。下图中为D'Kitty在“盲眼”条件下在室内和室外地形上稳定行走,在“看不见”这一干扰条件下展现了步态的稳健性。
上图:在杂乱的室内环境行走:通过MuJoCo模拟通过自然策略梯度训练的Sim2Real策略,机器人可以在随机扰动的条件下实现行走,并跨过障碍物。中图:室外环境:碎石和树枝-通过自然策略梯度在MuJoCo模拟中训练的Sim2Real策略具有随机的高度场,可以学习在分布着碎石和树枝的户外环境中行走。下图:室外–斜坡和草丛:通过自然策略梯度在MuJoCo模拟中训练的Sim2Real策略具有随机高度场,机器人可以学习在缓坡上行走。 当D’Kitty收到有关其躯干和场景中目标的信息时,就可以学会与表现出复杂行为的目标进行交互。 左:躲避移动的障碍物:通过Hierarchical Sim2Real训练的策略可以学习躲避移动障碍物,到达目标位置。中:向移动目标推动另一目标。通过Hierarchical Sim2Real训练的策略学习将目标推向移动目标(由手中的控制器标记)。右图:双机器人协同-通过Hi-Herarchical Sim2Real训练的策略可以学习协调两个D'Kitty机器人,将沉重的障碍物推向目标位置(地板上标出的两个+号)
总之,ROBEL平台成本低、性能强大、可靠性高,可以满足新兴的基于学习范式的需求,这些范式需要高度的可扩展性和弹性。我们已经将ROBEL发布到开源社区中,相信可以推动相关研究和实验的多样性的提升。 要使用ROBEL平台和ROBEL基准测试,请访问roboticsbenchmarks.org
参考链接:https://ai.googleblog.com/2019/10/robel-robotics-benchmarks-for-learning.html
评论
英伟达Blackwell平台网络配置分析
本文来自“英伟达Blachwell平台网络配置详解”。GTC大会英伟达展示了全新的 Blackwell 平台系列产品,包括 HGX B100 服务器、NVLINK Switch、GB200Superchip Computer Node、Quantum X800 交换机和 CX8 网卡(InfiniB
架构师技术联盟
0
CXL:破解AI时代“内存墙”新途径
AI大模型的快速发展推动“算力”和“存力”需求快速增长,“内存墙”问题由来已久,在 AI 时代表现的愈发明显,“算力”和“运力”之间的差距越来越大。Transformer 类的模型参数的数量呈现指数增长,每两年增加 410 倍,而 GPU 内存仅以每两年 2 倍的速度扩展。1、AI时代“内存墙”问题
架构师技术联盟
0
词向量(更新) | 使用MD&A2001-2022语料训练Word2Vec模型
buTips: 公众号推送后内容只能更改一次,且只能改20字符。 如果内容出问题,或者想更新内容, 只能重复推送。 为了更好的阅读体验,建议阅读本文博客版, 链接地址https://textdata.cn/blog/2023-03-24-load-w2v-and-expand-your-concpe
大邓和他的Python
0
科普:深度学习训练,不同预算GPU选购指南
以下文章来源于微信公众号:DeepHub IMBA作者:Mike Clayton本文仅用于学术分享,如有侵权,请联系后台作删文处理导读购买显卡第一个要考虑的问题是什么?当然是预算。本文提供了不同预算的显卡选购指南,希望能对各位读者有所帮助。在进行机器学习项目时,特别是在处理深度学习和神经网络时,最好
机器学习初学者
0
谷歌员工爆料 Python 基础团队原地解散
转自 | 机器之心编辑 | 蛋酱什么?谷歌解雇了整个 Python 基础团队?「当与你直接共事的每个人,包括你的主管,都被裁员 —— 哦,是职位被削减,而你被要求安排他们的替代者入职,这些人被告知在不同的国家担任同样的职位,但他们并不为此感到高兴,这是很艰难的一天。」发布这一动态的 Tho
机器学习算法与Python实战
0
OpenAI的Sora竟然造假:生成的AI大片只有1%的AI,剩下的99%是人工!
点蓝色字关注“机器学习算法工程师”设为星标,干货直达!啊?Sora火爆短片《气球人》,也“造假”了???背后艺术家团队的最新揭秘,可谓一石激起千层浪:原来,视频画面并非完全由AI生成,其中有大量视觉效果需要人类后期实现。be like:这下网友不干了,合着大家伙儿跟OpenAI玩真心,OpenAI背
机器学习算法工程师
1
谷歌员工爆料Python基础团队原地解散
机器之心报道编辑:蛋酱什么?谷歌解雇了整个 Python 基础团队?「当与你直接共事的每个人,包括你的主管,都被裁员 —— 哦,是职位被削减,而你被要求安排他们的替代者入职,这些人被告知在不同的国家担任同样的职位,但他们并不为此感到高兴,这是很艰难的一天。」发布这一动态的 Thomas Wouter
机器学习初学者
0
聊一聊我最常关注的9个计算机视觉、自动驾驶、AI方向高质量圈子
随着计算机视觉(2D/3D)、SLAM、自动驾驶、AI技术的快速迭代更新,可落地的技术也成为人们争先学习的重点。这使得从业者对于最前沿技术的获取能力变得至关重要。微信公众号便是一个非常有效的前沿信息分享平台。这里给大家推荐9个最常打开的计算机视觉、自动驾驶、SLAM、机器学习和AI方向的优质公众号平
机器学习初学者
0