多传感器时空标定-技术圈

点击下方卡片，关注“新机器视觉”公众号

重磅干货，第一时间送达

来源：任乾@知乎

链接：https://zhuanlan.zhihu.com/p/156176570

一、概述

多传感器的外参标定和时间同步（统称时空标定）是融合的重要前提条件，前面介绍的所有融合都是默认已经标定好了的。但实际上，标定当然是需要在融合之前做的，之所以放在后面讲，是因为标定所用到的知识比融合多，或者可以讲，标定是一种更高级别的融合。

由于标定的方法多种多样，要标定的内容也十分的多，所以本篇文章无法对每一种方法进行详细的介绍，索性我们在这里把常见方法的思路汇总梳理一下，弄清楚什么情况下该选什么类型的方法，等真正用到再去了解它的细节，也未尝不可。

二、外参标定方法

相比于时间标定，外参的标定更简单一些，那么我们就先从简单的开始介绍。

外参标定方法可以按以下方式进行分类

之所以按有无共视进行区分，是因为二者在原理和精度上都有本质区别，而且在实际应用中，也会尽可能让传感器之间产生共视。

1.雷达和相机外参标定

这类任务中，主要是用的就是pnp方法，可参考的资料有：

论文1：LiDAR-Camera Calibration using 3D-3D Point correspondences

代码1：https://github.com/ankitdhall/lidar_camera_calibration

论文2：Automatic Extrinsic Calibration for Lidar-Stereo Vehicle Sensor Setups

代码2：https://github.com/beltransen/velo2cam_calibration

详细的公式和实现细节大家可以看论文和代码，这里更倾向于用文字描述直观地解释一下它的原理。有共视的视觉与雷达的标定原理很简单，从图片中可以看到，二者都可以扫到标定物，而且都能够提取物体的边缘(线或点)，建立一个残差模型，描述二者的边缘之间的距离，残差是以外参为自变量的，因此进行优化让残差最小，即可找到二者之间的外参。

2.多雷达外参标定

参考资料：

论文：A Novel Dual-Lidar Calibration Algorithm Using Planar Surfaces

代码：https://github.com/ram-lab/lidar_appearance_calibration

这类方案的核心思路是，在每个雷达各自的点云中提取平面特征，理论上，当外参已知且精确时，同一个平面在所有雷达中的扫描应该是重合的（转换到同一个坐标系下），反之，当二者不重合时，即说明外参有误差，以平面的不重合度为残差，以外参作为自变量，建立优化模型，进行优化，即可得到外参结果。

3. 手眼标定

手眼标定的名字最早来自于机械手的标定，机械手上有摄像头，标定摄像头和机械手之间外参的方法被叫做手眼标定。但是这种工作原理，可以应用在所有无共视且二者都能进行位姿解算的传感器标定任务中(比如相机与IMU、雷达与IMU、相机与雷达等等）。

它的原理很简单，就一个公式：

其中 X 就是要标定的外参，A和B分别为两个传感器各自解算的相对位姿。这个公式结合上面的图，我想应该就不用过多解释了。

4. 融合中标定

我们通过前面多篇文章的介绍，应该已经明白融合是怎么回事，也应该清楚融合的模型是什么样子，而在融合中标定，指的是把外参作为状态量加入到融合模型中去，一起进行状态估计。随着变量的增多，融合的精度、观测性要求都更高，因此前面才说标定是一种更高级别的融合。

在实际使用中，融合中标定方法的一个重要贡献是可以进行在线标定，即在融合任务执行的过程中，就把外参给搞定了，而不需要像其他方法一样先标定再融合。这方面的工作有很多，其中包含众多vio/lio系统，如vins、lio-mapping、M-Loam 等。由于都是很出名的工作，所以论文和代码就不一一列出了。