2D线扫描相机与3D结构光视觉测量系统的融合
点击上方“小白学视觉”，选择加"星标"或“置顶”
重磅干货，第一时间送达
本文提出了一种获取高分辨率的三维视觉信息的方法，主要通过融合结构光视觉测量系统获得的三维信息和二维线扫描相机拍摄的高分辨率图像。
简介
由于目标物体表面三维信息的测量在机器视觉中越来越重要，研究人员已经提出了许多获取三维形貌的技术，例如：飞行时间法，立体视觉方法和结构光三维视觉技术等。在这些方法中，由面阵相机和结构光组成的结构光三维视觉测量系统具有结构简单以及图像处理信息量少、精度高等优点。结构光三维视觉技术主要是基于三角测量原理，在获得物体表面的三维全貌时，需要移动被测物体或移动测量系统从而能够沿着运动方向获得一系列的物体表面轮廓。虽然可以在测量结果中获取较高的精度，但是不能获得物体表面的灰度信息，纹理信息。与此同时，二维相机只能获取高分辨率的灰度图像而不能获得三维信息。我们提出了一种通过融合结构光视觉系统获得的三维信息和线扫描相机获取的二维图像来获取具有灰度、纹理信息的高分辨率三维重建结果。
实验证明，我们提出的方法既可以提供高分辨率的二维图像也能得到对应的三维空间信息，保留了二维相机获取图像分辨率高和结构光视觉测量系统获得三维信息精度高的优点。
原理
首先我们设计了一种2D/3D复眼系统，如图1所示，两相机具有固定的空间关系和相近的视野范围。通过机械结构使二维线扫描相机的视平面与结构光光平面共面。如图2所示，我们建立了三个坐标系：结构光三维视觉系统坐标系（简称CS1），此坐标系的x轴和z轴建立在光平面上，y轴为运动方向且垂直于光平面；类似的，世界坐标系的x轴和z轴也建立在光平面内；二维线扫描相机的图像坐标为一维坐标系。
图1. 复眼成像系统
图2. 坐标系转换示意图
图3描述了本文方法的总体流程图，包括四个主要模块。在模块1中，我们首先利用标准的径向多项式畸变模型来消除面阵相机的畸变，该模型已经被证明能够较好的校正镜头畸变。完成畸变矫正后，下一步我们推导出激光平面和图像平面之间存在单应性关系，如公式1所述。其中（X，Z）是空间中某点在CS1坐标系中的坐标，s为比例因子，（u’，v’）为该点在图像中经过畸变校正后的图像像素坐标。最后我们可以基于单应性矩阵由结构光光条中心的图像像素坐标计算得到目标表面在结构光视觉系统坐标系中的三维坐标。
公式1
在模块2中，由于线扫描相机在y方向上没有失真，我们使用公式2中的三阶多项式模型来矫正失真。其中xu是校正后的坐标，xd是原始坐标，k0,k1,k2,k3是畸变系数。
公式2
在模块3中，我们需要进行联合标定来建立结构光视觉系统坐标系中的三维坐标和线扫描相机的图像坐标之间的关系。本模块的第一部分，我们需要从CS1坐标系转换到到世界坐标，由于这两个坐标系之间的变换是刚体变换，他们具有等式3中的关系。然后我们需要获得从世界坐标系到图像平面坐标的透视投影关系。我们可以根据二维线扫描相机的成像几何模型推导出等式4中的计算公式。Ui是线扫描相机的图像坐标。
公式3
公式4
综上所述，我们可以通过公式5将CS1中的坐标映射到相应的图像坐标中。换而言之，我们可以配准三维信息和二维图像，并找到二维相机和结构光视觉系统拍摄得到的公共视图区域。
公式5
图像配准后，由于三维信息的分辨率小于二维灰度图像，因此我们可以对三维信息与二维图像利用三角剖分的方法进行融合，使之具有与二维图像相同的分辨率，最后使用OpenGL构建目标表面的三维形貌。
Fig. 3 general flow-chart
Fig. 4 reprojection error of the lens correction
实验过程
和结果
为了验证我们的方法，我们按照如图1所示搭建了实验系统。在模块1中，我们使用张正友的方法[9]，利用MATLAB标定工具箱来矫正透镜畸变并计算了重投影误差，结果如图4所示。然后又设计了一个锯齿标定靶标来标定结构光视觉系统。标定得到的单应性矩阵如下。
在模块2中，我们设计了一个黑白条纹靶标来矫正二维相机的镜头畸变。校正结果如图5、6所示。可以看出在矫正之后条纹具有相等的间隔，矫正效果良好。
Fig.5 distorted image of the zebra strips
Fig. 6 corrected image of the zebra strips
之后我们使用相同的锯齿靶标进行联合标定。将锯齿放置在合适的位置后，同步获取三维信息和二维图像。结果如下，7个特征点的重投影误差如图7所示。可以看到匹配误差小于一个像素。
图7
图8
匹配之后，使用我们的设备对车辆底部进行扫描，并且在图8中显示三维重建的结果。
结论
在本文中，我们提出了一种通过融合结构光视觉测量系统的三维信息和二维线扫描相机捕获的高分辨率图像来获取高质量三维视觉信息的方法。本方法具有较低的计算成本，匹配精度仅取决于结构光测量系统和线扫描相机的联合标定精度。实验结果表明我们的方法具有可行性和较好的准确性。
凌云光技术集团自 1996年6月9日 成立伊始，扎根于光纤光学，视觉与图像两大光电子技术方向，逐步发展形成光纤器件与仪器（FOCI），光通信接入网（FOAN），视觉器件（VIC）和工业视觉（IVS） 四大事业部，分别在四个业务单元开拓事业。
集团以推动行业用户发展为使命，为国际上五十多家知名光电子公司在中国内地与香港地区做市场拓展、产品推广和应用技术服务。自2000年起，开始在高端视觉图像和光通信领域进行专业研发和生产。至今，已经发展成为员工过1200人， 产值逾12亿 ，自主品牌研发生产和国外品牌代理服务相结合的现代高科技企业。
好消息！
小白学视觉知识星球
开始面向外开放啦👇👇👇
下载1：OpenCV-Contrib扩展模块中文版教程 在「小白学视觉」公众号后台回复：扩展模块中文教程，即可下载全网第一份OpenCV扩展模块教程中文版，涵盖扩展模块安装、SFM算法、立体视觉、目标跟踪、生物视觉、超分辨率处理等二十多章内容。 下载2：Python视觉实战项目52讲 在「小白学视觉」公众号后台回复：Python视觉实战项目，即可下载包括图像分割、口罩检测、车道线检测、车辆计数、添加眼线、车牌识别、字符识别、情绪检测、文本内容提取、面部识别等31个视觉实战项目，助力快速学校计算机视觉。 下载3：OpenCV实战项目20讲 在「小白学视觉」公众号后台回复：OpenCV实战项目20讲，即可下载含有20个基于OpenCV实现20个实战项目，实现OpenCV学习进阶。 交流群
欢迎加入公众号读者群一起和同行交流，目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群（以后会逐渐细分），请扫描下面微信号加群，备注：”昵称+学校/公司+研究方向“，例如：”张三 + 上海交大 + 视觉SLAM“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告，否则会请出群，谢谢理解~