【学术前沿】直观的机器人遥操作与虚拟现实和深度学习场景重建土木工程操作

机器人遥操作，即远距离操纵机器人系统，在各种工业应用中得到了广泛的应用，包括建筑作业。远程操作机器人系统成功的关键是人机界面的精致设计，这有助于加强操作者的态势感知。传统的机器人遥操作人机界面通常基于图像数据(如视频流)，造成了有限的视场(FOV)，增加了处理额外空间信息的认知负担。探索基于扫描技术(如深度相机、激光雷达等)获取的点云模型的三维场景重建方法，为操作者提供身临其境、直观的反馈。本文提出了一种智能机器人遥操作界面，该界面可以采集、处理、传输和重建虚拟现实(VR)中工作空间的沉浸式场景模型，并实现机器人的直观控制。该系统基于自动重建的远程场景(TOARS)，利用深度学习算法，根据点云数据自动检测捕获场景中的目标及其物理属性。处理后的信息然后被转移到游戏引擎，在那里渲染的虚拟对象取代了虚拟现实环境中的原始点云模型。TOARS有望显著提高机器人遥操作中人类操作人员的三维场景重建效率和态势感知能力。

随着技术的快速发展，机器人的应用已经渗透到建筑行业的各个操作领域，如用于建筑现场扫描的乌龟机器人和无人机，自主砌砖机器人，用于日常工业操作的类人机器人。值得注意的是，施工作业面临着开放且不断演变的工作环境、动态且不断变化的工作流程以及难以定义的人-机器人合作需求的挑战。

在这样的环境下，机器人遥操作，即人类工人在距离上操纵机器人系统来完成复杂的任务，是一种很有前途的方法来收敛机器人系统和人类代理在不确定决策中的优势。

由于其显著的优势，机器人遥操作已广泛应用于各种工作要求复杂、对人类有潜在危险的领域，如医疗手术、空间探索、灾害响应。在土木工程操作方面也显示出了新兴的势头，如在测量和项目控制中使用无人机和海龟机器人的远程操作。

成功实现机器人遥操作的关键是提高操作者的态势感知能力的人机界面，增强操作者的态势感知能力，而不是增加额外的认知负担。

尽管基于虚拟现实的人机界面为这种全新的感觉重建沉浸式工作流带来了额外的好处，但仍然存在一些挑战。首先，扫描设备重建的点云模型通常包含大量数据。这使得实时场景建模、数据传输和渲染变得极其困难。其次，重建的3D场景通常以点云的形式出现，不提供内容的物理属性信息，只提供视觉渲染。对于有大量物理交互的远程操作，如在施工操作中操纵远程机器人与各种物体和材料交互，在控制界面中自动识别和再现物体的物理特性将大大提高人类操作员的态势感知能力。最后，如何将直观的机器人控制机制无缝集成到虚拟现实和内置物理引擎所支持的沉浸式人机界面中，这方面的研究还较少。

为了填补知识空白，本文介绍了一种智能机器人遥操作界面，它可以收集、处理、传输和重建VR工作空间的沉浸式场景模型，并使机器人能够利用现有的VR功能(运动跟踪和物理引擎模拟)进行直观的控制。

本文提出的机器人遥操作系统，基于自重构远端场景(TOARS)的遥操作系统，基于一种新的DNN重建了远端对象和场景，并采用了在机器人操作系统(ROS)和Unity game engine之间传输重构的远端场景的方法。它还可以通过手持控制器实现基于VR的机器人控制。

TOARS工作流程的第一步是捕获和重建机器人所处的远程3D场景，以及实时的机器人状态。为了实现TOARS的主要功能，使用ROS作为中心平台。

在3D场景捕获方面，采用RGB- d相机，将RGB图像和逐像素深度信息作为TOARS所需的3D点云数据，如图3所示。

如图4中所示,起源点(0,0,0)的点云模型(基于Kinect摄像头坐标系)可以是不同的从原点(0,0,0)的巴克斯特机器人的世界坐标,导致情况重建现场用户的视野不匹配的场景在现实世界中。

我们在佛罗里达大学的机器人远程操作实验中测试了TOARS。百特机器人和相应的ROS服务器位于机械与航空航天工程B;而Unity服务器和人工操作的VR系统则位于Weil Hall。两个系统都通过Weil Hall的WebSocket服务器进行无线连接。

• 场景捕获

  在搭建好工作环境和库后，同时启动机器人控制和远程机器人控制系统的场景捕捉。在机器人控制系统中采用了关节状态、期望关节状态、抓手状态、期望抓手状态和末端执行器姿态5个主题。

• PointNet DNN训练和目标检测

  然后我们训练和测试了我们的PointNet DNN，基于点云数据识别和替换对象。目标检测和替换包括训练数据收集、模型训练、模型测试、目标信息传递和目标替换。

• ROS-Unity数据传输和对象替换

  为了将关于工作场景、对象和Baxter的信息从ROS传输到Unity，通过WebSocket建立了一个网络连接。

  

  

• 增强的机器人遥操作

  最后，我们测试了TOARS是否能够实现直观的机器人反馈和远程操作。在虚拟现实中渲染了包含所有具有物理属性的物体的虚拟工作场景。
  

在机器人遥操作中，为了增强操作者对远程工作场所的态势感知能力，传统的基于图像的人机界面最近被扩展为一种更加身临其境的场景重建方法，特别是采用了VR控制界面。TOARS的开发是为了简化和减少远程场景重建中原始点云数据的处理和传输需求。

与现有的基于虚拟现实的机器人遥操作方法相比，TOARS在三个方面是独特的。

首先，它大大减少了通过网络传输的数据量。

其次，通过DNN的功能，TOARS可以检测到远程工作场景中的主要目标，从而为被识别的目标分配物理属性，从而在机器人远程操作中实现更好的交互。

第三，考虑到TOARS的上述两个特征，人工操作员的态势感知水平有望得到提高。TOARS使用虚拟对象来表示VR耳机视场中原始对象的状态。

设计一个有效的远程操作机器人系统的一个关键考虑因素是直观的人机界面，这有助于提高远程工作场所操作员的态势感知能力。

尽管基于场景重建的机器人遥操作界面有很多优点，但仍然存在一些挑战。

首先，大多数场景重建方法都是基于点云数据的。由于需要处理和传输的数据量很大，人工操作人员的刷新率和延迟通常较低。其次，基于点云的重构场景大多只侧重于提供远程工作场所的可视化模型。重要的对象信息，如语义分类和物理属性缺失。因此，基于物理引擎模拟的更丰富的控制机制是不可能的。目前仍迫切需要探索将远程机器人反馈和控制自然集成到虚拟现实环境中的方法。

本文提出了一种基于深度学习的场景重建方法，以及相应的机器人遥操作系统TOARS。本研究的主要贡献是提出和测试一种新的人-机器人协作(HRC)设计指南，以提高在复杂和动态的工作场所远程操作的效率。具体而言，本研究创建并测试了一种基于虚拟现实和深度学习的对象检测和替换方法，用于简化双侧机器人遥操作中的工作场所建模。