“国产莱卡狗”走进谷歌AI Lab, 强化学习算法让机器狗漫步溜达似真狗

  新智元报道  

来源：techcrunch

编辑：王芳、白峰

【新智元导读】目前的四足机器狗已经可以灵活完成跑、跳、后空翻等灵活动作，但都是研究人员不断改进控制器的结果，谷歌AI团队近日开发出一个新框架，可以通过强化学习算法，让机器狗完美复制真狗狗的运动形态，让机器狗动起来更像真的狗。「新智元急聘主笔、高级主任编辑，添加HR微信（Dr-wly）或扫描文末二维码了解详情。」

无论是狗狗追球玩，还是飞马翻越障碍，动物可以毫不费力地展现出丰富敏捷的运动技能。如果能开发出能复制动物敏捷动作的机器人，就可以在很多复杂艰巨的任务中部署机器人。然而想得美简单，做得美难，设计能使腿式机器人执行敏捷动作的控制器相当之难。

强化学习一直都是自动化学习技能的好算法，但还存在很多技术障碍，比如说奖励机制怎么设计？习得不同的动作技能如何进行复杂的奖励机制调整？机器人如果太笨老是摔倒怎么减少人工干预？这一个个问题的背后都隐藏着巨大的人工开销。

谷歌AI部门又来秀了

论文地址：

https://xbpeng.github.io/projects/Robotic_Imitation/2020_Robotic_Imitation.pdf

谷歌AI 研究团队近日发表论文《通过模仿动物学习敏捷的机器人运动技巧》（Learning Agile Robotic Locomotion Skills by Imitating Animals）介绍了一个新框架，实现了真狗狗的运动形态到机器狗的同步迁移，机器狗学会了真狗狗一系列敏捷流畅的动作，如小跑、跳跃、追尾巴这些。

而且，这次谷歌AI使用的机器狗来自国产机器狗初创公司“宇树科技”，是宇树科技的招牌“莱卡狗”（ Laikago）。宇树科技作为一个成立于2016年的初创公司，已经在机器狗领域颇具名声，甚至被媒体称为“中国的波士顿动力”，在算法控制上展现了极高的能力，跑、跳、爬坡、后空翻这些技能早已不再话下，此前宇树科技发布的视频中，8只莱卡狗可拉动一台载人的五菱荣光。

强化学习起到了核心作用

研究人员首先从真狗狗的一系列运动剪辑中获取各种动作数据。有了运动数据，便进入运动模仿过程，整个运动模仿过程可以分为三个阶段：

1、动作重新定位（motion retargeting）。真实动物的形态往往与机器人不同，因此在机器狗模仿真狗狗动作之前，必须先将动作重新定位到机器狗上。为了重新定位动作，首先要在真狗狗身上确定关键动作点，如脚、屁股这些部位，然后将这些关键动作点对应到模拟机器狗身上；在每一帧真狗狗运动剪辑片段中均提取这些关键动作点，然后通过逆运动学（inverse-kinematics）计算出运动姿势轨迹，让模拟机器狗能成功get这些关键点。由此，便生成了参照动作。

2、动作模仿（motion imitation）。动作重新定位生成参照动作后，强化学习算法便通过这些参照动作训练框架策略从而在模拟环境中复制出这些动作。同时，为减少参考动作与模拟动作之间的动作偏差，研究人员又引入了奖励机制。

3、领域自适应（domain adaptation）。动作模仿要点掌握之后，为了能让机器狗完美复刻动作，像真狗狗一样灵活自如，防止机器狗出现站不稳、摔倒等情况，研究人员又通过一个有效样本的领域自适应过程，将框架策略迁移真的机器狗上。为方便将动作迁移到真机器狗上，研究人员还在训练过程中将模拟动作形态随机化，其中的动作变量包括质量、惯性、运动作用力、运动摩擦力等。

让机器狗变的更像真狗

通过这种方法，机器狗学会了从真狗狗动作中模仿各种运动形态，如慢步溜达、快步小跑、追尾巴、倒着走等动作。

除此之外，机器狗也可根据生成的关键动作帧画面模仿出运动形态，比如侧着走、转身、回旋跳这些动作。

参考链接：

https://youtu.be/lKYh6uuCwRY

https://ai.googleblog.com/2020/04/exploring-nature-inspired-robot-agility.html