深度感应和3D传感技术将机器视觉带进全新维度

共 4523字,需浏览 10分钟

 ·

2021-07-11 19:55

点击左上方蓝字关注我们



全网搜集目标检测相关,人工筛选最优价值内容

编者荐语
在传感技术最新发展的助力之下,越来越多的机器被赋予了感知、行动及与环境交互的能力。EE Times Europe团队对当前3D视觉格局进行了研究,以期更清晰地了解其市场驱动因素、元器件供应商面临的机遇和挑战,以及实现更高级别深度敏感度的新兴技术。

转载自 | 电子工程专辑


什么是人类视觉能做到而计算机视觉所不能的?人类从三个维度感知世界,而深度传感器是实现更高级别机器视觉并释放自动驾驶功能的关键。

往纵深发展

根据 Yole Développement 的数据,在模块层面,3D 传感市场目前市值为 68亿美元,将以 15% 的复合年增长率增长,到 2026 年预计达到 150 亿美元。

“由于华为被禁,而且安卓阵营事实上放弃了3D传感技术,因此在移动和消费这类主要驱动市场的增长将有暂时的中断,”Yole Développement 光学和传感部门首席分析师Pierre Cambou告诉EE Times Europe。但另一方面,他又补充道,“苹果通过在 iPad 和 iPhone 中添加LiDAR 传感器又加速了这一趋势。”

3D在汽车领域的应用也在加速。LiDAR 传感器和座舱内 3D 摄像头越来越多地被采用,“我们对汽车市场的 3D 传感发展非常乐观,未来五年其市值应该会翻四倍。”(如图1)

图1:Yole预计汽车市场的3D传感市值将在未来五年内翻四倍。(来源:Yole Développement)

截至目前,较为流行的3D成像技术包括立体视觉、结构光和飞行时间(ToF)。

Cambou指出,立体视觉在10米以外的远程传感应用中表现极佳,例如大疆等公司提供的消费级无人机和梅赛德斯、捷豹和斯巴鲁等车型中的前视ADAS 摄像头。

结构光技术一直是1米以内短距离传感的首选方案。典型应用案例如苹果iPhone将其用于前置面部识别。该技术也用于某些工业应用中,如被Photoneo等公司采用。

Cambou还提到,TOF系统主要用于中程测距,目前主要有两种方法。一种是间接 ToF,2019 年和 2020 年,间接 ToF 被应用于来自华为、三星和 LG 等厂商的Android 手机的背面,主要用于拍照。另一种是直接ToF,苹果在其最先进的智能手机中采用了直接ToF方法。Cambou 指出,“直接ToF是LiDAR 中已经采用的技术(如Velodyne、Innoviz、Ibeo、Hesai 和 RoboSense等公司的产品),但最终可能会在接收侧使用矩阵形传感器。这类传感器由于来自自动驾驶市场的激励,正在取得进展。”

EELs 还是 VCSELs?

LiDAR 技术捕捉整个场景的能力使其在机器视觉应用中极具价值。获取三维点云最常用的两种系统为闪光LiDAR和扫描LiDAR。Ams-Osram全球营销经理 Matthias Hoenig 表示,在扫描 LiDAR 系统中,聚焦脉冲激光束通过机械旋转镜或微机电系统 (MEMS) 镜定向到某个小的立体角。由于高功率激光束可以被控制发射到很小的立体角,因此与使用 3D 闪光系统可达到的距离相比,使用光学功率器件可达到的距离要远得多。“边缘发射激光器 [EEL] 是这种系统架构的理想产品,它通过一个很小的发射区域在极小空间内提供大量的光,因此在功率和射程方面均表现出色。”Hoenig指出。

现在已成为Ams子公司的欧司朗宣布,随着封装温度在应用过程中上升,其激光器在波导稳定性方面最近取得了不少进展,该公司目前正在探索面向LiDAR 应用的具有更多波长的产品。

Yole 预测,就激光二极管而言,EEL是目前最大的市场机会,但垂直腔面发射激光器 (VCSEL) 将会在未来迅速赶上。VCSEL可以将红外 LED 的高功率密度和简单封装优点与激光器的光谱宽度和速度结合起来。

“这项技术的优势包括出色的光束质量、简单的设计和小尺寸,这也解释了 VCSEL市场增长的原因,”Hoenig说。“虽然它们比 EEL 发射器需要更多的板载空间,但在某些应用领域又具有优势。”他解释到,例如,VCSEL所具有的辐射特性使其尤其适用于闪光 LiDAR 系统以及工业应用(如机器人和物流车辆等)中的主动立体视觉。

至于VCSEL相关的技术挑战,Hoenig 表示,Ams-Osram 正在研究更高的光输出。继2018 年收购 Vixar 之后,欧司朗相继展示了比单结 VCSEL 效率更高、速度更快的双结和三结VCSEL技术。在今年的美国西部光电展(Photonics West)上,又推出了基于多结技术的 PowerBoost VCSEL 产品组合。该公司表示,他们还在探索改善散热的各种方法,例如,从顶部发射组件改为底部发射组件。

Ams-Osram高级营销经理 Lei Tu 表示,所有常见的 3D 传感方法都依赖于各种系统构建模块之间的顺畅交互。通常,这些系统由光源、特殊光学器件、检测器和相应处理检测信号的下游软件组成。她还说,未来,“对Ams-Osram这样的元件制造商来说,重点将在以最佳方式满足客户的要求。这包括组件的小型化、光学性能和使用寿命的优化,当然还有易用性。” Tu补充道,有些客户喜欢“现成的即插即用解决方案”,而另一些客户则更倾向于自己组装单个元件,或借助第三方将它们组装成完整的解决方案。

用于盲点检测的深度和侧面感应

深度感知是指从三个维度看物体并测量物体距离的能力。LiDAR无疑充当了自动驾驶汽车的眼睛,许多汽车制造商都利用它来构建车辆周围环境的 3D 地图。不过,开发工作主要还是集中在具有较长检测范围(超过 200 米)但视野相对狭窄(约 20°至30°)的前置 LiDAR 系统。

2019年从德国Fraunhofer硅技术研究所 (ISIT) 独立出来的OQmented 公司正在努力改变这种状况。该公司表示,他们已开发出一种 MEMS 镜技术,可以使侧面 LiDAR 具有 180°视野。

OQmented 创始人兼董事总经理 Ulrich Hofmann 表示,“侧视 LiDAR 系统主要针对短距离”盲点检测。盲点检测是一项重要的安全功能,它使短距离侧扫系统“比远视系统更有意义”。例如,“在进入一个十字路口时,您需要这些LiDAR观察系统在短距离范围进行观察,因为这种环境中的行人、骑自行车的人和汽车都很多,很容易混乱并发生意外。出于这个原因,不仅在广角上有清晰的视角很重要,较高的横向分辨率也很重要,它可以区分不同的物体,包括静态和移动的物体。”

与平面玻璃盖不同,OQmented 在其 MEMS 镜器件顶部放置了一个曲面玻璃盖,用来实现激光束出入的封装,并实现 180°激光扫描。(见图2)Hofmann称,这种Bubble MEMS专利技术不仅提供了“密封真空封装和保护”,可以免受环境污染物的影响,而且还确保了激光束成功地传入和传出封装,因为激光束与玻璃的角度始终垂直。而使用平面玻璃盖时,情况就并非总是理想了。当扫描角度较大时,部分光线会在盖子处反射回封装中。Hofmann指出,这对于任何类型的LiDAR 解决方案都是不可接受的。

图2:Bubble MEME 技术的命名来源于OQmented MEMS 镜器件上方的曲面玻璃盖(来源:OQmented)

更接近数据源

图像传感器会生成大量的数据。尽管目前大部分处理都在云端或中央处理单元完成,但其发展趋势是使计算更接近数据源,并将智能因素嵌入传感器内部或附近。

Yole 公司的 Cambou 表示,通常情况下,数据采用H264技术压缩,这意味着它可以通过 100 Mbps 的带宽传输。“但在传感领域,数据流通常要大 10 到 100 倍——典型机器视觉数据流可达到1 Gbps ——而且,如果同时使用 10 个摄像头,则很快会达到 10 Gbps 甚至更高。由于CPU 不堪重负,靠近传感器进行数据处理的必要性越来越大。如果需要,所有预处理、清理和 AI 增强都必须在更靠近传感器的位置进行,以减轻 CPU 的负担。”

但是,目前还几乎没有计算能够在传感器本身进行,因为这会产生热量,Cambou指出。

前景展望

图像传感器是推动自动驾驶的一个关键因素,但却不能无限制地添加;因为它所需要的计算能力也会激增。Yole的分析师表示,有一种解决方案是提高数据质量。“但如果真的想解决自动驾驶问题,我们很快就会需要更多样化的解决方案。”

新技术不断涌现,用以提高灵敏度并构建可以看得更清楚的机器。Cambou 指出了两个方向:神经拟态感知,即每个像素都充当神经元并嵌入一定程度的智能;以及量子成像,即单独检测每个光子。

总部位于法国的神经拟态初创公司 Prophesee 推出了基于事件的工业级视觉传感器:第三代 Metavision 传感器。Prophesee 产品营销和创新总监 Simone Lavizzari 表示:“如果将Metavision 传感器与 VCSEL 投影仪或其它可以投射合适图案的投影仪结合使用,就可以实现基于事件的结构光传感器。” 也就是说,当今最先进的深度传感技术在曝光时间、精确度和稳健性之间取得了平衡。

Lavizzari 说,将 IR 投影仪与 Prophesee 的 Metavision 传感器相结合,可为每个独立像素提供快速响应时间,进而允许直接在传感器内部进行时间模式识别和提取。“如果采用基于事件的传感器来做结构光,响应会非常快。我们可以将扫描时间提高 50 倍,只需1 毫秒就能获得完整的 3D 扫描,而传统基于帧的方法则需要10 到 33 毫秒。”其精确度也是最高标准的,但“软件复杂度已降至最低,因为不需要在后处理中做匹配工作。”

匹配不是在事件发生后在帧上完成,而是在传感器级逐个像素完成。Lavizzari说,其中一个优势是,“它没有运动模糊,因为可以非常快速地捕获点云,而且与户外应用兼容。” 超快脉冲检测不仅可以提高功率,同时还能保持该技术的人眼安全等级。

图3:(图片来源:Yole Développement)

在量子成像方面,Cambou 提到了 Gigajot Technology 的 Quanta Image Sensors (QIS),这是一款具有光子计数能力的单光子图像传感器。Gigajot是一家总部位于美国加州的初创公司,他们声称可以每帧每像素 1个光子的光子级别从一系列帧中重建动态场景。

(参考原文:Depth Sensing Takes Machine Vision into Another Dimension)


END



双一流大学研究生团队创建,专注于目标检测与深度学习,希望可以将分享变成一种习惯!

整理不易,点赞三连↓

浏览 39
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报