彩色点云在虚拟现实中的应用

点击下方卡片，关注“新机器视觉”公众号

视觉/图像重磅干货，第一时间送达

得益于 3D 制图技术的不断进步，获取 3D 点云的效率从未如此之高。可以使用测量级系统（例如车载移动激光扫描）和消费类技术（例如移动设备中的激光雷达传感器）获取彩色点云。同步定位和地图绘制 (SLAM) 系统使 3D 地图绘制在室内和室外都可使用。

当代的室内 SLAM 系统可以在几何复杂的环境中以高效率运行。除了激光扫描系统，摄影测量软件的不断发展不仅为市场带来了更先进的专业工具，而且还引入了更多友好的开源摄影测量3D重建软件。这在使用无人驾驶飞行器（UAV 或“无人机”）进行 3D 绘图时尤为重要；毕竟，相机仍然是他们最重要的传感器。如今，即使是消费级迷你无人机也配备陀螺稳定的高分辨率相机。

在消费类技术中，深度相机以及激光雷达传感器已集成到手持设备中，从而实现实时 3D 重建。它们还用于 3D 扫描仪和自主机器人设备。由于这些发展的结合，日常生活中遇到的大多数环境现在都可以在三维上进行数字化。

因此，使用 3D 传感技术的挑战正在从数据获取转向数据利用。点云仍然是 3D 传感中比较基础的，因此它们是最具吸引力的数据类型，可以利用点云的解决方案与各种传感技术兼容。最简单的应用形式是点云的可视化。在台式计算机和传统显示器上，这可以通过多种商用和开源软件解决方案来执行。同样，基于浏览器的点云可视化由许多公开可用的 Javascript 库和在线服务实现。

在过去十年中，使用头戴式显示设备 (HMD) 的虚拟现实 (VR) 可视化已成熟为消费技术。设备可从多个制造商处获得，但发布应用程序的商业生态系统正在围绕几个主要参与者进行融合。出现了可以支持多种 VR 头显的开发工具和开放标准，例如 OpenXR，简化了应用程序的开发。

为了构建超越单纯数据可视化的交互式 VR 应用程序和体验，商业游戏引擎是事实上的标准环境。在这里，VR 社区受益于庞大的开发人员库，这些开发人员可以将他们的游戏开发经验和热情转移到商业游戏引擎中。对于游戏开发者来说，

由于大多数用于 HMD 的 VR 应用程序都是使用游戏引擎构建的，因此这些游戏引擎能够支持点云非常重要。点云已通过内置功能或可用插件直接作为许多游戏引擎中的数据类型可用。

然而，VR 中的点云可视化由于对渲染的严格性能要求而变得更加复杂，尤其是对高帧率的要求。在通过普通显示器研究的交互式可视化中，低帧率至多令人讨厌。在 VR 中，降低的渲染速度会导致渲染图像与人类感官系统之间的不匹配。这会导致用户感到不适，并且在极端情况下会导致身体眩晕恶心。

VR 为探索点云提供了完整的六个自由度。

点云的 VR 可视化需要高效的系统来进行空间索引、细节级别处理以及从渲染（剔除）中剔除不可见点。这些系统允许引擎确定虚拟摄像机实际看到的点云部分，并仅渲染具有足够细节水平的部分。此外，渲染必须进行操作，以便在从云的更远部分渲染时最终确定的点更少，处理最少。通过将空间索引与剔除和多级细节（由距离决定）相结合，并通过调整光栅化点的大小，可以将要渲染的点总数保持在限制范围内。

由于 VR 可视化本身也提供第一人称视角，因此密度变化通常会产生潜在的透视效果和问题，尤其是非结构化的室内点云。因此，必须实现动态点大小调整。在游戏引擎中，这与用于实际绘制点的方法有关。最常见的是，点可以直接绘制为像素集，也可以通过几何对象（例如正方形或圆形）绘制，几何对象用于代替点并通过引擎的传统三角形渲染管道进行渲染。

虚拟环境和用户之间丰富的交互通常是对游戏引擎可视化感兴趣的关键驱动因素。传统的游戏引擎场景是由一组网格模型、摄像机、灯光、演员等构建的。通过动态脚本交互，这些将场景从静态渲染转变为交互式环境。为了尽量减少计算资源的使用，通常会组合虚拟场景，以便只有用户可以与之交互的对象才会对模拟碰撞、重力和更复杂的照明模型做出响应。简化的几何图形（例如原始形状和凸包）用于模拟碰撞和检测重叠。

如果点云的使用不仅仅是简单的可视化，还必须使点云与游戏引擎应用程序中常用的功能兼容，例如实时照明、模拟碰撞和交互对象。在这里，照明主要是渲染问题，与可视化系统相关。然而，实现单独的对象也对点云本身提出了要求。

因此，将密集的点云转变为有用的游戏引擎场景需要将点云分离为可交互的对象，并结合其简化版本以允许动态模拟。同时，所使用的索引和渲染解决方案必须与在场景中移动的对象兼容。

在研究文献和软件开发中，已经提出了许多解决方案，用于将源自 3D 映射的密集点云转变为有用的游戏引擎场景。许多类似游戏的属性，例如可交互对象和动态照明，已经通过点云实现。

然而，一些专题研究问题仍然存在。对于要在游戏引擎中应用的点云，将点分类为简单的对象类型（例如建筑物或植被）是不够的。生成交互式游戏引擎场景需要更精细的、面向对象的分割和语义理解。关于点云中对象的分类和分割，仍然需要更多的研究和更复杂的解决方案。

在现有的研究中，对使用不同 3D 映射技术获得的点云质量的大部分评估主要集中在其几何精度上。然而，作为 3D 传感的一部分，VR 应用还需要足够好的点着色才能实现。这强调点云的辐射质量，因为这在它们的可视化中起着重要作用。

从计算的角度来看，纹理网格模型是目前在游戏引擎可视化中表示几何的最有效方式。然而，点云的使用具有许多潜在的好处，例如简化了来自不同地图系统的数据集成以及提高了数字化现实生活环境的效率。

此外，VR 提供了一种自然的方式来探索具有完整六个自由度的几何复杂数据集，沉浸式导航它们甚至可能与点进行交互。因此，点云的 VR 可视化实验仍然是地理信息学社区的热门话题。

—版权声明—

仅用于学术分享，版权属于原作者。

若有侵权，请联系微信号:yiyang-sy 删除或修改！