2D线扫描相机与3D结构光视觉测量系统的融合

首先我们设计了一种2D/3D复眼系统，如图1所示，两相机具有固定的空间关系和相近的视野范围。通过机械结构使二维线扫描相机的视平面与结构光光平面共面。如图2所示，我们建立了三个坐标系：结构光三维视觉系统坐标系（简称CS1），此坐标系的x轴和z轴建立在光平面上，y轴为运动方向且垂直于光平面；类似的，世界坐标系的x轴和z轴也建立在光平面内；二维线扫描相机的图像坐标为一维坐标系。

图3描述了本文方法的总体流程图，包括四个主要模块。在模块1中，我们首先利用标准的径向多项式畸变模型来消除面阵相机的畸变，该模型已经被证明能够较好的校正镜头畸变。完成畸变矫正后，下一步我们推导出激光平面和图像平面之间存在单应性关系，如公式1所述。其中（X，Z）是空间中某点在CS1坐标系中的坐标，s为比例因子，（u’，v’）为该点在图像中经过畸变校正后的图像像素坐标。最后我们可以基于单应性矩阵由结构光光条中心的图像像素坐标计算得到目标表面在结构光视觉系统坐标系中的三维坐标。

公式1

在模块2中，由于线扫描相机在y方向上没有失真，我们使用公式2中的三阶多项式模型来矫正失真。其中xu是校正后的坐标，xd是原始坐标，k0,k1,k2,k3是畸变系数。

公式2

在模块3中，我们需要进行联合标定来建立结构光视觉系统坐标系中的三维坐标和线扫描相机的图像坐标之间的关系。本模块的第一部分，我们需要从CS1坐标系转换到到世界坐标，由于这两个坐标系之间的变换是刚体变换，他们具有等式3中的关系。然后我们需要获得从世界坐标系到图像平面坐标的透视投影关系。我们可以根据二维线扫描相机的成像几何模型推导出等式4中的计算公式。Ui是线扫描相机的图像坐标。

公式3

公式4

综上所述，我们可以通过公式5将CS1中的坐标映射到相应的图像坐标中。换而言之，我们可以配准三维信息和二维图像，并找到二维相机和结构光视觉系统拍摄得到的公共视图区域。

公式5

图像配准后，由于三维信息的分辨率小于二维灰度图像，因此我们可以对三维信息与二维图像利用三角剖分的方法进行融合，使之具有与二维图像相同的分辨率，最后使用OpenGL构建目标表面的三维形貌。

为了验证我们的方法，我们按照如图1所示搭建了实验系统。在模块1中，我们使用张正友的方法[9]，利用MATLAB标定工具箱来矫正透镜畸变并计算了重投影误差，结果如图4所示。然后又设计了一个锯齿标定靶标来标定结构光视觉系统。标定得到的单应性矩阵如下。        

在模块2中，我们设计了一个黑白条纹靶标来矫正二维相机的镜头畸变。校正结果如图5、6所示。可以看出在矫正之后条纹具有相等的间隔，矫正效果良好。

Fig.5 distorted image of the zebra strips

Fig. 6 corrected image of the zebra strips

之后我们使用相同的锯齿靶标进行联合标定。将锯齿放置在合适的位置后，同步获取三维信息和二维图像。结果如下，7个特征点的重投影误差如图7所示。可以看到匹配误差小于一个像素。

图7

图8

匹配之后，使用我们的设备对车辆底部进行扫描，并且在图8中显示三维重建的结果。