基于图像拼接的无人机自主导航实时SLAM

点击下方卡片，关注“新机器视觉”公众号
重磅干货，第一时间送达
大多数无人机利用全球导航卫星系统（GNSS）技术和惯性传感器（INS）来估计自己的地理空间定位。无人机通过GNSS接收器进行增强，这些接收器受益于从卫星发射的接收时间无线电信号来计算位置（经度，纬度和高度）。当GNS信号下降时，仅基于INS的位置估计就会漂移。因此，为了准确地自主导航航向，必须确保同时接收至少四颗卫星的无线电信号。当无人机任务包括GNSS信号变得不可靠的中间位置时，例如城市地区，室内环境，森林覆盖的景观，被山脉包围的山谷等，或者当无线电信号通过欺骗和游戏操作得到缓解时，这一点无法得到保证，特别是对于在民用频率上运行的GNSS接收器。

随着计算机视觉的快速发展，采用相机的SLAM方法被积极引入，并被称为视觉SLAM。图像拼接基本上是通过合并同一场景的两个或多个图像来形成具有高分辨率的单个全景图像，被广泛用于从数字地图和卫星图像中受益的特定区域的完整映射。使用图像拼接进行SLAM消除了选择地标和提取其特征的需要。每两张连续捕获的图像的特征用于确定飞行距离和方位角。仅在拼接图像和两个连续图像之间执行特征匹配，这两个图像是在相同条件下使用相同相机拍摄的。这降低了计算复杂性，减少了所需的内存空间，并提供了一种解决方案，可以将无人机定位在未知路径中并应对地标的修改。

无人机应该从具有已知坐标的初始位置开始导航。该方法使用图像拼接来确定两个连续捕获的图像之间的角度和距离。受益于无人机的高度，该高度由嵌入在自动驾驶仪中的气压计传感器确定，实际距离是使用地面采样距离（GSD）方法确定的。对于每个新捕获的图像，所有这些步骤都会不断重复。每当自动驾驶仪检测到GNSS接收器发生故障时，就会计算当前位置的坐标，并使用美国国家海洋电子协会（NMEA）格式将当前位置的坐标馈送到自动驾驶仪，该格式被大多数可用的GNSS接收器采用。

图像拼接是通过两种不同的方法实现的：（1）直接方法和（2）基于特征的方法。首先，像素到像素的差异最小化以进行图像拼接;然而，后者从图像中提取一组不同的特征，然后相互匹配。在这项工作中，图像拼接是通过基于特征的方法实现的，因为它更快，更健壮地对抗场景移动，并且能够自动发现与直接方法相比随机图像集之间的叠加关系。基于特征的图像拼接技术主要包括以下阶段：（1）图像采集，（2）特征检测，（3）使用随机样本共识（RANSAC）估计匹配关键点，（4）全局对齐和（5）图像混合。图1描述了所提出方法的总体框架。

①首先，使用SIFT从两个连续图像和中提取特征。

② 然后，使用FLANN特征匹配器，获得图像之间匹配区域的同源性。FLANN代表近似最近邻的快速库，这是一种自动算法配置，允许在近似最近邻匹配中实现高性能。

③最后，根据像素数计算两个中心之间的方位角和空间距离。


图1 所提出方法的框图

为了验证所提出的方法，已经进行了几种利用数据集的实现，这些数据集由senseFly提供，并由携带senseFly S.O.D.A.摄像头的eBee Plus无人机收集。与视频一起附上，提供了每个捕获帧的元数据，其中包括位置（纬度，经度和高度）。由于尺寸限制，图2中显示了使用所建议方法应用SLAM的一个示例。、 和分别如图2（a）、图2（b）和图2（c）所示。图2（d）和图2（e）分别表示和在中的同质性。在图2（f）中，方位角显示在代表原始航向的绿线和代表当前航向的红线之间。请注意，确定坐标所需的总执行时间小于飞行持续时间。


图2 所建议方法的样本应用

为了检查所提出方法的相关性，将元数据中的位置与获得的结果进行比较。如图3 所示，图示示例的误差为5米，方位角误差最多为4.6度，其中红线表示基于所提出方法的距离和角度，黄线表示基于帧元数据的距离和角度。请注意，元数据中提供的坐标由商业GPS提供，其等效用户误差为7米。


图3 方位角比较结果

此方法基于图像拼接，仅依赖于两个连续捕获的图像的特征。它允许在GNSS信号下降时确定当前位置的坐标。它的特点是能够确定未知路径中的位置并应对地标的修改。

源自：2020 IEEE International Conference on Artificial Intelligence Circuits and Systems (AICAS)