如何搭建基于视觉的自主导航移动抓取机器人？

移动抓取机器人是移动底盘、机械手臂与多传感器融合而成的复杂的机器人系统。既然是复杂的系统，我们不妨先将其分解成多个系统，然后再逐个聊聊。

根据上图可以知道，移动底盘就是移动抓取机器人系统的【腿脚】，负责“行走”；机械手臂则是机器人系统的【手】，而这个【手】是一个子系统，集成了手臂、执行末端（一般为电动夹爪）、视觉相机。整个机器人系统“相互来电”，共融协作，最终实现移动抓取。

在移动抓取机器人整个大系统中，移动底盘归属于驱动层，底盘本身有独立的运动控制系统，可以控制底盘的前后运动、转向。除基本的前后运动、转向功能外，在接入上位机以及相关传感器后可实现2D-SLAM、3D-SLAM以及视觉SLAM导航规划功能。下面以3D-SLAM为例，简要介绍下移动底盘如何实现路径规划、智能避障等功能的。

▍硬件搭建

主要组件清单如下图（示意）：

硬件安装效果参考下图。（PS:后期需要加装机械臂，实际安装需要合理布局工控机、及RTK天线）

▍导航过程

导航过程首先需要进行环境建模生成环境地图，然后利用该环境地图进行定位，及路径规划。

建模过程使用点云ICP 匹配算法，融合 3D Lidar、IMU、GPS 数据，实时构建环境 3D 点云地图。

完成建模后，根据建好的地图，指定目标点，移动底盘就可以进行智能路径规划了！

▍机器人的手臂“系统”

如前文所述，实现抓取的手臂是移动抓取机器人的一个小系统，下面就介绍下该子系统是如何实现从目标识别到实现抓取的。

视觉识别可通过深度学习的方法来实现。即在可能的场景下预先对大量包含识别目标的数据集进行标注，并加入干扰项得到完整的训练集。对训练集的样本实例按照一定策略进行缩放与分割后利用卷积神经网络迭代训练生获得特征图。后续利用这些特征图在实际画面中进行特征锚的匹配，最后用边框回归算法修正特征边缘以得到特征候选区域。

相机识别到目标物体后将其坐标点发给机械臂控制器，最终实现对目标物体的精准抓取。

经过以上对移动抓取机器人系统详细的剖析，我们可以知道移动抓取机器人系统并不是简单的“堆料”，而是以移动底盘的智能路径规划、视觉识别、移动底盘与抓取系统、多传感器融合为核心的高度复杂的机器人系统。

在移动抓取机器人系统中，移动底盘赋予了传统只能在固定点位工作的机械臂无限的应用可能。因此，无论是在传统的工业领域还是在科教市场，都不乏专业的厂家在朝这个方向努力。在工业领域，移动抓取机器人可以让机械臂的应用场景更多元，可以说是让它从固定点位解放出来，而不止局限于码垛、上下料等传统应用。

在科教领域更是如此，移动抓取作为复杂的机器人系统，其涵盖了机器人的运动控制、环境感知、导航规划、ROS学习、机械臂运动规划、计算机视觉等机器人相关领域的多个方面，一套机器人系统可以供研究人员研究不同的方面，真正实现一机多用。

但是一套移动抓取机器人，从硬件选型，到集成安装，再到 SLAM算法优化，最后真正实现移动抓取，需要付出高昂的成本。

“从零开发一套完整的移动抓取机器人成本还是很高的，而且也偏离了很多科研团队、学生团队研究、学习的目的。基于我司自主研发的ROS机器人平台，我们开发了多套移动抓取机器人，涵盖了国内外多种主流的机械臂、激光雷达、深度相机等。用户可以按需选配，从事ROS研究、运动控制研究、农业采摘研究、巡检研究、视觉研究的个人、研究院所、高校团队都可以采用我们的产品，这样可以节省大量的时间和成本，从而可以更便捷、更高效、更专注的投入研究和开发工作。”Robot++深圳团队总经理宋章军博士说道。

据悉，Robot++深圳团队（深圳史河机器人）是一家专业的移动机器人制造商，该公司深耕科教领域，对科教市场有着敏锐的嗅觉，早在成立之初就开始投入研发力量开发移动抓取机器人，如今已与KUKA、Kinova、睿科智联、速腾等机械臂及传感器厂商建立了深度合作关系，并推出了多套拥有多机协同、自主路径规划、视觉识别等多种功能的移动抓取机器人。

作者：Ken Shirriff
文章来源：面包板社区
仅用于学术分享，版权属于原作者。
若有侵权，请联系微信号:yiyang-sy 删除或修改！

—THE END—