一文读懂海康机器人3D视觉引导拆码垛系统-技术圈

技术来自于点击下方卡片，关注“新机器视觉”公众号

视觉/图像重磅干货，第一时间送达

视觉是人类最重要的感觉器官，占据了80%以上的人类信息获取。机器视觉作为替代人眼的强大技术，日益取得重大突破和广泛应用。机器视觉系统可以代替人眼完成测量、定位、识别和检测等工作，在制造、安防、文化等产业中具有大量的应用商机。

机器视觉不仅可以克服人眼标准的不一致性、非重复性和主观性等问题，为行业制定品质管控的数字标准，还能在高速、高光谱、高分辨率、高可靠性以及工作持续性、环境适应性等方面全面超越人眼极限。

背景介绍及案例概述

近些年，随着工业自动化与物流技术的不断发展，如何使用自动化设备提高物流效率，减少人工，成为目前物流行业最关心的问题。机器视觉系统可以迅速获取大量图像信息，并进行自动处理，该特点使得机器视觉帮助物流行业快速向智能化、自动化方向迈进。目前在工业自动化应用中，机器视觉广泛应用于缺陷检查、扫描识别、定位判断和位置测量等领域。在节省人力成本提高整体作业效率的同时可以极大的提高空间利用率，从而降低运输成本。

随着电商、物流行业的快速发展，分拣方式的发展迫在眉睫，人工分拣存在效率低，错误率高，成本高等缺点，特别是在拆码垛应用中，由于作业强度大，工作内容单一，人工作业的质量及效率普遍低下，自动化拆码垛系统应运而生，而传统自动化拆码垛应用中，“拆”和“码”的对象往往要求是规则且尺寸单一的货物，这就限制了自动化应用的范围，尤其是拆码垛作业环节中，来料完全随机的情况下。该情境下，用传统的人工示教的方式难度大且效率低下，为了解决此问题，海康机器人研发了一套基于机器视觉引导的机械臂拆码垛方案，可以解决多SKU且来料无序的问题。

海康机器人采用自主研发的高精度3D相机配合机器人运动控制平台软件同时搭配智能算法的方案，将AI算法，深度学习紧密结合，突破传统自动化拆码垛的使用场景限制，可应对垛形复杂多变，箱体种类繁多且随机的场景。

方案介绍

该方案中，3D相机负责获取作业范围内，如托盘或传送带上箱体的深度信息及高清2D图像，并将深度信息及2D图像信息发送给机器人控制平台软件，平台软件中内置3D视觉算法和智能轨迹规划算法，3D视觉算法通过AI深度学习+3D点云分割的方法将箱体在托盘或皮带线上的位置快速且准确的定位到，智能轨迹规划算法提供准确的抓取点位、放置点位和轨迹点位，引导机械臂快速抓取和码放动作。

3D视觉引导拆码垛系统

方案中使用的3D相机为海康机器人最新推出的大视野双目结构光立体相机，兼具高精度、大景深、大视野的特点，相机检测精度达到±3mm, 检测范围达到1800mm，近视场为1350mm×1200mm，远视场为3650mm×2750mm（如图2所示），轻松适配1.2m*1m*1.8m等主流垛形。同时具备极高的检测效率和稳定性，从拍照到轨迹算法输出抓取点位的时间小于1.5s。

3D相机视野示意图

为了客户更方便的自主搭建机械臂拆码垛控制系统，海康机器人专门研发了一款机器人运动控制平台软件。软件采用图形化，无代码式的编程界面，简单易用（如图3所示）。软件内置轨迹规划、碰撞检测及抓取规划等多种智能算法，同时软件可适配国内外各种主流品牌机器人。

拆码垛视觉定位模块采用AI深度学习+3D点云分割的方案。利用RGBD相机实时对堆垛进行拍照，获取包裹、托盘的三维数据（深度图+RGB图）。定位处理流程如图4所示，首先利用深度学习网络对RGB图进行包裹的粗定位；然后利用物体表面纹理特征和点云边缘特征进行包裹精定位，并基于包裹表面点云计算出最优的抓取点坐标；最后利用预先获取到的手眼标定关系将视觉位姿转换到机械臂坐标系下执行抓取处理。

视觉定位技术路线

海康机器人3D相机拥有卓越的抗环境光能力，在典型厂房光照条件下（>20000lx），海康机器人3D相机的点云数据明显优于其他相机，对比图片如图5所示。同时海康机器人3D相机对高反光及黑色物体的点云呈现效果上也优于其他相机，对比图像如图6所示。实际测试样本中在高反光金属和黑色纸箱处，其他3D相机在这部分区域的点云数据已有较大程度的损失，而海康机器人3D相机仍能保证相对完整的呈现。

抗环境光对比

高反光和黑色物体对比测试

本方案采用2D+3D联合视觉定位处理，具有精度高、鲁棒性强、抗环境光能力强、无惧深色物体的特点，能准确适用于各种箱体、包装盒、料盒、编织袋、工件等物件，且定位效果与精度不受物体摆放位姿的影响。

定位效果图

智能轨迹规划算法包含对拆垛流程及码垛流程的点位规划，如图8所示，由拆垛分析/码垛分析决策出路径规划的终点构型，再依据感知信息、环境配置等进行碰撞检测，规划出一条安全的拆/码垛路径，其中，拆跺分析及码垛分析的大致流程如下：

拆垛分析是基于3D视觉分类好的点云，通过平面拟合并计算出其对应的法向量、重心位置等信息，以获得每类点云的拆垛点位置；同时由外接矩形确定物体尺寸，用以在路径规划过程中进行碰撞检测；随后通过基坐标/托盘变换关系、机器人状态及拆垛方式等对拆垛位姿的代价进行评估，最终确定最优拆垛构型。

码垛分析是对由用户编辑或自动生成的垛型（如图9所示）进行解码，并通过基坐标/托盘变换关系计算等对各放置位姿的代价进行评估排序，获得放置构型序列，并根据输入的放置索引及机械臂逆运动学位姿获得最终的放置构型，同时内部储存已码垛箱子信息用于路径规划过程中的碰撞检测。

拆码垛整体流程

码垛规则定义示意图

总结

海康机器人3D视觉引导拆码垛系统旨在解决在非结构化环境中对未知形状物体无法抓取或抓取成功率低的问题。基于高精度3D相机对抓取物和环境的2D彩色图像信息，同时结合3D点云数据，精确提取抓取物边缘轮廓，依靠智能算法，筛选最优抓取点位，并基于软件中设定的环境约束，输出最优轨迹点位，提高了整体系统的准确性和可靠性。通过使用该系统，用户可以轻松应对多SKU且来料完全随机的拆码垛场景，在满足自动化拆码垛需求的同时，进一步提高生产效率，降低生产成本。

本文仅做学术分享，如有侵权，请联系删文。

—THE END—