深度感应和3D传感技术将机器视觉带进全新维度

点击左上方蓝字关注我们

全网搜集目标检测相关，人工筛选最优价值内容

编者荐语

在传感技术最新发展的助力之下，越来越多的机器被赋予了感知、行动及与环境交互的能力。EE Times Europe团队对当前3D视觉格局进行了研究，以期更清晰地了解其市场驱动因素、元器件供应商面临的机遇和挑战，以及实现更高级别深度敏感度的新兴技术。

转载自 | 电子工程专辑

什么是人类视觉能做到而计算机视觉所不能的？人类从三个维度感知世界，而深度传感器是实现更高级别机器视觉并释放自动驾驶功能的关键。

往纵深发展

根据 Yole Développement 的数据，在模块层面，3D 传感市场目前市值为 68亿美元，将以 15% 的复合年增长率增长，到 2026 年预计达到 150 亿美元。

“由于华为被禁，而且安卓阵营事实上放弃了3D传感技术，因此在移动和消费这类主要驱动市场的增长将有暂时的中断，”Yole Développement 光学和传感部门首席分析师Pierre Cambou告诉EE Times Europe。但另一方面，他又补充道，“苹果通过在 iPad 和 iPhone 中添加LiDAR 传感器又加速了这一趋势。”

3D在汽车领域的应用也在加速。LiDAR 传感器和座舱内 3D 摄像头越来越多地被采用，“我们对汽车市场的 3D 传感发展非常乐观，未来五年其市值应该会翻四倍。”(如图1)

图1：Yole预计汽车市场的3D传感市值将在未来五年内翻四倍。（来源：Yole Développement）

截至目前，较为流行的3D成像技术包括立体视觉、结构光和飞行时间（ToF）。

Cambou指出，立体视觉在10米以外的远程传感应用中表现极佳，例如大疆等公司提供的消费级无人机和梅赛德斯、捷豹和斯巴鲁等车型中的前视ADAS 摄像头。

结构光技术一直是1米以内短距离传感的首选方案。典型应用案例如苹果iPhone将其用于前置面部识别。该技术也用于某些工业应用中，如被Photoneo等公司采用。

Cambou还提到，TOF系统主要用于中程测距，目前主要有两种方法。一种是间接 ToF，2019 年和 2020 年，间接 ToF 被应用于来自华为、三星和 LG 等厂商的Android 手机的背面，主要用于拍照。另一种是直接ToF，苹果在其最先进的智能手机中采用了直接ToF方法。Cambou 指出，“直接ToF是LiDAR 中已经采用的技术（如Velodyne、Innoviz、Ibeo、Hesai 和 RoboSense等公司的产品），但最终可能会在接收侧使用矩阵形传感器。这类传感器由于来自自动驾驶市场的激励，正在取得进展。”

EELs 还是 VCSELs?

LiDAR 技术捕捉整个场景的能力使其在机器视觉应用中极具价值。获取三维点云最常用的两种系统为闪光LiDAR和扫描LiDAR。Ams-Osram全球营销经理 Matthias Hoenig 表示，在扫描 LiDAR 系统中，聚焦脉冲激光束通过机械旋转镜或微机电系统 (MEMS) 镜定向到某个小的立体角。由于高功率激光束可以被控制发射到很小的立体角，因此与使用 3D 闪光系统可达到的距离相比，使用光学功率器件可达到的距离要远得多。“边缘发射激光器 [EEL] 是这种系统架构的理想产品，它通过一个很小的发射区域在极小空间内提供大量的光，因此在功率和射程方面均表现出色。”Hoenig指出。

现在已成为Ams子公司的欧司朗宣布，随着封装温度在应用过程中上升，其激光器在波导稳定性方面最近取得了不少进展，该公司目前正在探索面向LiDAR 应用的具有更多波长的产品。

Yole 预测，就激光二极管而言，EEL是目前最大的市场机会，但垂直腔面发射激光器 (VCSEL) 将会在未来迅速赶上。VCSEL可以将红外 LED 的高功率密度和简单封装优点与激光器的光谱宽度和速度结合起来。

“这项技术的优势包括出色的光束质量、简单的设计和小尺寸，这也解释了 VCSEL市场增长的原因，”Hoenig说。“虽然它们比 EEL 发射器需要更多的板载空间，但在某些应用领域又具有优势。”他解释到，例如，VCSEL所具有的辐射特性使其尤其适用于闪光 LiDAR 系统以及工业应用（如机器人和物流车辆等）中的主动立体视觉。

至于VCSEL相关的技术挑战，Hoenig 表示，Ams-Osram 正在研究更高的光输出。继2018 年收购 Vixar 之后，欧司朗相继展示了比单结 VCSEL 效率更高、速度更快的双结和三结VCSEL技术。在今年的美国西部光电展（Photonics West）上，又推出了基于多结技术的 PowerBoost VCSEL 产品组合。该公司表示，他们还在探索改善散热的各种方法，例如，从顶部发射组件改为底部发射组件。

Ams-Osram高级营销经理 Lei Tu 表示，所有常见的 3D 传感方法都依赖于各种系统构建模块之间的顺畅交互。通常，这些系统由光源、特殊光学器件、检测器和相应处理检测信号的下游软件组成。她还说，未来，“对Ams-Osram这样的元件制造商来说，重点将在以最佳方式满足客户的要求。这包括组件的小型化、光学性能和使用寿命的优化，当然还有易用性。” Tu补充道，有些客户喜欢“现成的即插即用解决方案”，而另一些客户则更倾向于自己组装单个元件，或借助第三方将它们组装成完整的解决方案。

用于盲点检测的深度和侧面感应

深度感知是指从三个维度看物体并测量物体距离的能力。LiDAR无疑充当了自动驾驶汽车的眼睛，许多汽车制造商都利用它来构建车辆周围环境的 3D 地图。不过，开发工作主要还是集中在具有较长检测范围（超过 200 米）但视野相对狭窄（约 20°至30°）的前置 LiDAR 系统。

2019年从德国Fraunhofer硅技术研究所 (ISIT) 独立出来的OQmented 公司正在努力改变这种状况。该公司表示，他们已开发出一种 MEMS 镜技术，可以使侧面 LiDAR 具有 180°视野。

OQmented 创始人兼董事总经理 Ulrich Hofmann 表示，“侧视 LiDAR 系统主要针对短距离”盲点检测。盲点检测是一项重要的安全功能，它使短距离侧扫系统“比远视系统更有意义”。例如，“在进入一个十字路口时，您需要这些LiDAR观察系统在短距离范围进行观察，因为这种环境中的行人、骑自行车的人和汽车都很多，很容易混乱并发生意外。出于这个原因，不仅在广角上有清晰的视角很重要，较高的横向分辨率也很重要，它可以区分不同的物体，包括静态和移动的物体。”

与平面玻璃盖不同，OQmented 在其 MEMS 镜器件顶部放置了一个曲面玻璃盖，用来实现激光束出入的封装，并实现 180°激光扫描。（见图2）Hofmann称，这种Bubble MEMS专利技术不仅提供了“密封真空封装和保护”，可以免受环境污染物的影响，而且还确保了激光束成功地传入和传出封装，因为激光束与玻璃的角度始终垂直。而使用平面玻璃盖时，情况就并非总是理想了。当扫描角度较大时，部分光线会在盖子处反射回封装中。Hofmann指出，这对于任何类型的LiDAR 解决方案都是不可接受的。

图2：Bubble MEME 技术的命名来源于OQmented MEMS 镜器件上方的曲面玻璃盖（来源：OQmented）

更接近数据源

图像传感器会生成大量的数据。尽管目前大部分处理都在云端或中央处理单元完成，但其发展趋势是使计算更接近数据源，并将智能因素嵌入传感器内部或附近。

Yole 公司的 Cambou 表示，通常情况下，数据采用H264技术压缩，这意味着它可以通过 100 Mbps 的带宽传输。“但在传感领域，数据流通常要大 10 到 100 倍——典型机器视觉数据流可达到1 Gbps ——而且，如果同时使用 10 个摄像头，则很快会达到 10 Gbps 甚至更高。由于CPU 不堪重负，靠近传感器进行数据处理的必要性越来越大。如果需要，所有预处理、清理和 AI 增强都必须在更靠近传感器的位置进行，以减轻 CPU 的负担。”

但是，目前还几乎没有计算能够在传感器本身进行，因为这会产生热量，Cambou指出。

前景展望

图像传感器是推动自动驾驶的一个关键因素，但却不能无限制地添加；因为它所需要的计算能力也会激增。Yole的分析师表示，有一种解决方案是提高数据质量。“但如果真的想解决自动驾驶问题，我们很快就会需要更多样化的解决方案。”

新技术不断涌现，用以提高灵敏度并构建可以看得更清楚的机器。Cambou 指出了两个方向：神经拟态感知，即每个像素都充当神经元并嵌入一定程度的智能；以及量子成像，即单独检测每个光子。

总部位于法国的神经拟态初创公司 Prophesee 推出了基于事件的工业级视觉传感器：第三代 Metavision 传感器。Prophesee 产品营销和创新总监 Simone Lavizzari 表示：“如果将Metavision 传感器与 VCSEL 投影仪或其它可以投射合适图案的投影仪结合使用，就可以实现基于事件的结构光传感器。” 也就是说，当今最先进的深度传感技术在曝光时间、精确度和稳健性之间取得了平衡。

Lavizzari 说，将 IR 投影仪与 Prophesee 的 Metavision 传感器相结合，可为每个独立像素提供快速响应时间，进而允许直接在传感器内部进行时间模式识别和提取。“如果采用基于事件的传感器来做结构光，响应会非常快。我们可以将扫描时间提高 50 倍，只需1 毫秒就能获得完整的 3D 扫描，而传统基于帧的方法则需要10 到 33 毫秒。”其精确度也是最高标准的，但“软件复杂度已降至最低，因为不需要在后处理中做匹配工作。”

匹配不是在事件发生后在帧上完成，而是在传感器级逐个像素完成。Lavizzari说，其中一个优势是，“它没有运动模糊，因为可以非常快速地捕获点云，而且与户外应用兼容。” 超快脉冲检测不仅可以提高功率，同时还能保持该技术的人眼安全等级。

图3：（图片来源：Yole Développement）

在量子成像方面，Cambou 提到了 Gigajot Technology 的 Quanta Image Sensors (QIS)，这是一款具有光子计数能力的单光子图像传感器。Gigajot是一家总部位于美国加州的初创公司，他们声称可以每帧每像素 1个光子的光子级别从一系列帧中重建动态场景。

（参考原文：Depth Sensing Takes Machine Vision into Another Dimension）

END

双一流大学研究生团队创建，专注于目标检测与深度学习，希望可以将分享变成一种习惯！

整理不易，点赞三连↓