目标检测系统在自动化码头中的应用
点击左上方蓝字关注我们
转载自 | 起重运输机械杂志社
0 引言
近年来，自动化集装箱码头因其环保、高效、节能、稳定、标准和经济被越来越多的港口所接受，从新加坡、荷兰、日本、美国、德国、英国、澳大利亚到上海、厦门以及青岛[1]，国内外大型港口逐步自动化智能化促进了全球港口集装箱自动化的发展，使港口不再是传统的地域上的综合物流枢纽，更是一个动态化的拉动区域增长的支撑和引擎[2]。
目标检测系统（Target Detection System， 简称TDS）利用3D 激光技术，配合转动马达，对目标物体进行精确扫描，达到目标定位和设备保护的目的。无人自动化码头兴起以来，对轨道式集装箱起重机（以下简称轨道吊）自动化技术研究越来越深入，为满足堆场和无人集卡自动抓放箱要求，对自动化堆场的“眼睛”——自动目标检测系统进行升级改进。其主要利用Sick 激光器的扫描功能，通过多个激光器协同配合，与轨道吊控制器相互配合，完成作业任务。其作业环境主要分为两种，一种是在堆场中进行抓放箱任务，主要是通过在吊具高点对吊具两侧下方的堆场环境进行扫描，判断出下方原有集装箱位置，再通过与控制器交互进行命令交流，确保正常完成堆场任务。第二种是车道抓放箱任务，主要是在车道最上方对下方车辆进行激光扫描，当有车辆时，可通过扫描判断是否为空车、集装箱在车板的相对位置和车头方向等，配合车辆引导系统对集卡进行精确引导定位，再进行收提箱操作。
自20 世纪70 年代以来，国内外对视觉识别和图像检测等问题进行不断研究探索[3]Subramanian 联合视觉系统和坐标测量机，将工件位置通过视觉系统测定发送给坐标测量器[4]，实现了视觉识别的作业应用。Ballard 提出广义霍尔变换的概念，通过目标检测。对边觉与工业融合，使理论与实践相适应并用科技推动生产进步。
1 结构原理
在轨道吊的小车架上安装两个转动机构，分别是远端转动机构（司机室侧）和近端转动机构（非电气房侧）。具体转动机构如图1 所示。
转动机构和激光器一起安装于小车平台下方，其工作模式分为静待扫描和动态扫描两种。静态扫描时当吊具在最高点，将要抓放箱时，对下部环境进行扫描，并将结果反馈给轨道吊控制器，判断是否安全，同时对轨道吊进行位置调整，准备动作；动态扫描时，吊具下降到临近着箱，激光器再对下方环境进行扫描，比对当前位置是否安全，是否已满足着箱外部条件，当条件满足时着箱，不满足需配合吊具姿态调整模块控制微动电机调整，再次扫描着箱。3D 转动机构通过CAN 通信进行转动马达控制，通过以太网与工控机进行信息交互。通过CAN 光转和以太网光转进行光电信号转换完成信息远距离传输。整个系统由两个3D 转动机构组成，分为近端和远端，分别安装在大车中线并距离小车中线1500 mm 的位置上，便于对整个工作环境同时扫描。
1）实时监控
如图2 所示，TDS 监控与激光器相对应，分为近端监控和远端监控，分别对两个转动机构发回的数据进行显示处理，并配合图像一起显示在监控画面右上方。集装箱定位只需确定两个参考点，即边长方向中心线上距离宽边等距两点，通过两点的相对位置变化可明显判断集装箱水平位置偏移情况。TDS 激光器采集的数据，通过处理拟合出两条边线，计算出规定距离的坐标点。在软件监控界面显示的为每个激光器数据计算点LeftCtrl和RigehtCtrl，为集装箱一侧的两点，经处理后可得到最终两点反馈给控制器。集卡定位同样只需两点，边长中线上距离车头和车尾固定位置的两点。车尾宽度边线由集卡引导系统给出确切点，配合TDS 的拟合中线计算出坐标，由监控软件显示。
当有故障发生时，由于控制器反馈的局限性，有些实时具体故障无法显示，需要TDS 监控界面显示故障并记录，且显示在右下区域便于在维修时进行故障分析。在轨道吊接收到总控制器发出的命令后，通过PLC 控制大车小车到达指定贝位，此时TDS 开始作业，所以在监控界面最下方加入各运动机构的位置信息，便于判断TDS 的工作状态。由于以太网和CAN 双通信，需要对通信网络进行实时反馈，便于对故障点进行查找，在监控软件左侧分别进行显示。
为方便调试标定，在监控软件内加入模拟指令，通过控制器和工控机的信息交流计算，对不同的指令设置给出相应数据支持。
2）激光器污染监控
如图3 所示，TDS 激光器安装在小车上架的露天位置，当遇到粉尘、大雾、大雪等极端天气时，会使其外壳吸附杂物变脏，影响激光器作业。此时需要对激光器的污染程度进行实时监控，便于维保保证设备正常运行。
SOPAS ET 软件是与TDS 激光器摄像头相匹配的检测软件，既可对激光器污染程度进行显示，还可对不同参数等进行配置。
通过软件登录许可，可对激光器参数进行修改，需要观察污染程度时， 由Parameter的Contaminationmeasurement可观察曲面激光器屏幕的5 °、35 °、70°、110°、145°和175°等不同方位的清晰度百分比，进而准确了解激光器污染状态。
由于TDS 系统工作时需要较高的准确度，所以在标定时要保证标定环境的稳定，严禁在大风大雨大雾的情况下标定。由于识别问题，标定时不可选用箱顶为深蓝色或有水覆盖的箱体，在TDS 系统标定前应确保各设备正常且地面平整。
1）TDS 转动机构调平
将40 尺标准集装箱放到地面贝位标志内，从工控机对TDS 基本参数数值按规定修改，打开TDS 监控软件，发送模拟抓箱指令，此时TDS 正常工作，并计算出远近端抽象坐标点LeftCtrl 和RigehtCtrl（见图4）。
对比两坐标点数据，因一侧坐标Y 值相差不大，当左右两数值差大于25 mm 时，须对转动机构进行机械调整，直到数值满足条件为止。
2）马达零位以及大车方向角度修正在转动机构调整完成后，吊具上行至上停止点，对小车不动并记录此时位置。发送模拟指令抓一层箱，记录此时TDS 远近端LeftCtrl 和RigehtCtrl 坐标点（见表1）。
此后与场桥司机配合手动放二、三和四层箱，不需要数据记录。手动放第五层箱时，小车尽量与第一层箱作业时位置相近，完成后吊具上升至上停止位。通过TDS 监控软件发送第五层抓箱指令，并记录小车位置和数据点同上。填入表格计算出马达零点以及大车角度修正值，对原有参数进行修改完成调试。
3）设置马达扫描范围和数据采集抓箱、放箱和叠箱因工况不同对马达扫描范围要求不同，对应的扫描范围需通过数据库数据进行设置，分成3D 扫描范围、小车扫描范围和叠箱扫描范围。远近端位置和参数设置相匹配，在表格中修改后可正常运行。正常运行后对3D 扫描数据和小车移动数据进行采集记录。
4）TDS 数据标定和高度匹配补偿TDS 标定以标定程序为准，通过在标定程序输入对应采集数据，并在多次重复自动生成后，对吊具姿态调整控制不再发生变化，证明标定完成。此时完成某一列标定，对于其他位置通过对吊具最低位置和最高位置姿态调整控制点，与实际偏差进行比较，自动生成不同列的标定数据。
当同一次抓箱时，TDS 计算高度H 与起升位置高度h 明显存在偏差时，需对数据进行重新配置。当H 与h 的差值大于100 mm 时，将初始数据Highoffest 赋0 值，数据清零，再自动抓箱一次，打开软件监控界面记录箱高container Height，找到起升实际位置Hoistland，通过两者相减得到新Highoffest 值，再赋给初始参数。当重启TDS 监控软件自动作业后H 与h 差值数据正常，调试完毕。
2 应用及故障分析
1）安全保护
在堆场自动化作业过程中，因无人操控而使目标检测尤为重要，安全位置的目标检测可避免危险事故发生，保证生产安全。自动化设备的关键便是能自行判断工况环境并加以处理，其中传感器系统可完成系统中的信息采集和处理任务，能准确判断外部环境进行作业。目标检测技术的3D 转动机构就是典型传感器系统，可辅助轨道吊自动化系统完成复杂工况的作业任务。TDS 的安全保护功能主要通过对集装箱箱高和箱子类型尺寸检测加以实现。在扫描完成后，将目标高度和集装箱尺寸等信息发送给轨道吊控制器，根据控制策略可完成不同任务动作并进行风险规避。当目标位置高度接近策略要求高度时，会对起升机构进行限速处理，当目标箱尺寸发生变化时，可通知控制器更改吊具尺寸来完成相应作业任务。
对于特殊工况，当有人工需求需要手动抓放箱时，因个人习惯和人眼判断等因素影响，很难将集装箱贝位位置放置准确，此时将会出现歪箱或斜箱的现象。当转为自动作业后，TDS 会对堆场再次进行扫描，并规划出保护区域，当歪箱、斜箱不能正常作业或无法判断是否有安全事故隐患时，将会切换远程故障台由人工进行详细判断，避免了盲目自动抓箱造成集装箱相撞或其他安全事故的发生（见图5）。
如图6 所示，由于轨道吊等定位故障且未报警时，自动轨道吊正常作业，但因定位问题或指令错发，造成在吊具运行过程中存在与其他列高层箱相撞的情况。此时TDS 会对周围集装箱进行扫描，在发现路径方向有集装箱不能正常作业时，同样会切换远程故障台由人工解决，防止继续作业造成安全事故。
2）精确定位
如图7 所示，TDS 系统有精确的定位功能，其通过转动机构的配合，可较全面准确地对目标区域进行扫描，并对目标进行确认。主要检测对象有集装箱位置、集卡车位置和双箱间隙等。当集装箱因地面不平或人工作业等因素造成位置不规范时，可通过数据处理对目标位置进行重新定位。具体定位通过监控软件进行显示，并由工控机进行数据处理与控制器交互。
1）设备运行状态
异常具体现象：TDS 工控机通信问题、激光器和马达硬件故障。
影响程度：严重。
解决措施：联系现场维修检查线路问题或重启TDS工控机，检查激光器的硬件是否受损，马达转动是否灵敏，如有卡顿情况需更换。
2）算法限制
具体现象：当激光器污染较轻时，虽未达到污染报警程度，但对数据采集产生一定干扰，导致算法处理受限；当集装箱为黑色或深蓝色，受条件限制，扫描数据存在误差。
影响程度：严重。
解决措施：检查激光器污染情况，须擦拭时联系现场擦拭。限制颜色偏深集装箱进入堆场，当因太脏或外界环境因素导致算法错误时，人工抓箱。
3）等待超时
具体现象：TDS系统工控机与控制器指令通信故障，等待超时。
影响程度：一般。
解决措施：检查TDS 系统监控软件，异常时导致与控制器指令交互问题，检查工控机与控制器交互通道。
4）激光器摄像头脏
具体现象：当大雾、大雨、大雪和大风等天气时，激光器外罩极易附着空气中漂浮颗粒，会导致激光器模糊不能作业。在使用一定周期后，激光器变脏需处理。
影响程度：严重。
解决措施：参照SOPAS 激光器监控软件对受污染情况分地址查看，当百分比小于80% 时，其对应角度需要擦拭。定期对TDS 激光器外壳进行有规律擦拭。
5）周围有障碍物
具体现象：在堆场作业时，TDS 通过检测发现周围距离小于25 cm，在安全位置内。
影响程度：一般。
解决措施：临时手动进行抓放。导致的原因可能是人工放箱或设备位置偏差，需对人工作业时进行严格要求，检查小车位置是否准确，与大车起升位置是否匹配，如有问题需对准贝位重新标定。
6）指令不匹配
具体现象：20 尺、40 尺箱子与吊具对应不匹配。
抓放箱层高与实际不匹配。
影响程度：一般。
解决措施：存在吊具卡顿导致无法切换尺寸或箱子信息与指令任务信息不符。堆场地图信息不匹配需重新更新地图。
7）TDS 与控制器通信无心跳
具体现象：具体体现在监控软件中CAN 和以太网通讯故障。
影响程度：严重。
解决措施：需对光转和Hub 进行检查，对各通信端口接线进行插拔重连，重启工控机。
3 总结
目标检测系统涉及激光器的信息采集和处理，通过对目标信息判断结合轨道吊完成作业任务。随着智能化码头的发展，目标检测技术在不断发展成熟。3D 激光识别技术，通过对周围物体的立体扫描进行环境识别，其优点是可实现实时监控，检测距离精确，判断位置准确，受工作环境影响小。对于目标物体以外的无关物体也可进行扫描，可能存在因周围杂物影响而导致检测不准情况发生。同时，由于对颜色的敏感性问题，对深色集装箱信息采集困难。过于标准化的设定使其难以灵活处理复杂工况。这些都是此类目标检测系统优化的方向，通过不断实践和完善，目标检测系统对工作环境适应能力会越来越强，使其在港口集装箱作业中成为关键核心。
[1] 罗勋杰. 全自动化集装箱码头关键装备技术与发展[J].港口装卸，2019(1)：1-5.
[2] 张炳汉. 建设第三代港口实现跳跃式发展[J]. 中国港口，2004(1)：10-12.
[3] 匡家喜，柴佳祺. 基于图像分析的自动化码头集装箱边缘检测与定位问题研究[J]. 港口装卸，2019(5)：51-56.
[4] Subramanian R，Germain H，Drake S.Integrating a Vision System with a Coordinate Measuring Machine to Automate the Datum Alignment Process[C].Proc.Int.Des.Eng.Techn.Conf.Compu.Inf.Eng.Conf.Long Beach，CA，United states．American Society of Mechanical Engineers，2005：655-661．
[5] Ballard D H.Generalizing the hough transform to detectarbitrary shapes[J].Pattern Recognition，1981，13(2) ：111-122．
END
整理不易，点赞三连↓