光学三维测量技术及应用
点击上方“小白学视觉”，选择加"星标"或“置顶”
重磅干货，第一时间送达
本文转自|AI算法与图像处理
摘要：随着现代科学技术的发展，光学三维测量已经在越来越广泛的领域起到了重要作用。本文主要对接触式三维测量和非接触式三维测量进行了介绍。着重介绍了光学三维测量技术的各种实现方法及原理。最后对目前光学三维测量的应用进行了简单介绍。
随着科学技术和工业的发展，三维测量技术在自动化生产、质量控制、机器人视觉、反求工程、CAD/CAM以及生物医学工程等方面的应用日益重要。传统的接触式测量技术存在测量时间长、需进行测头半径的补偿、不能测量弹性或脆性材料等局限性，因而不能满足现代工业发展的需要。。
光学测量是光电技术与机械测量结合的高科技。光学测量主要应用在现代工业检测。借用计算机技术，可以实现快速，准确的测量。方便记录，存储，打印，查询等等功能。
光学三维测量技术是集光、机、电和计算机技术于一体的智能化、可视化的高新技术，主要用于对物体空间外形和结构进行扫描，以得到物体的三维轮廓，获得物体表面点的三维空间坐标。随着现代检测技术的进步，特别是随着激光技术、计算机技术以及图像处理技术等高新技术的发展，三维测量技术逐步成为人们的研究重点。光学三维测量技术由于非接触、快速测量、精度高的优点在机械、汽车、航空航天等制造工业及服装、玩具、制鞋等民用工业得到广泛的应用。
三维测量技术是获取物体表面各点空间坐标的技术，主要包括接触式和非接触式测量两大类。如图1所示。
图1.三维测量技术分类
2.1.接触式测量
物体三维接触式测量的典型代表是坐标测量机(CMM，Coordinate Measuring Machine)。CMM是一种大型精密的三坐标测量仪器[1]，它以精密机械为基础，综合应用电子、计算机、光学和数控等先进技术，能对三维复杂工件的尺寸、形状和相对位置进行高精度的测量。
三坐标测量机作为现代大型精密、综合测量仪器，有其显著的优点，包括：（1）灵活性强，可实现空间坐标点测量，方便地测量各种零件的三维轮廓尺寸及位置参数；（2）测量精度高且可靠；（3）可方便地进行数字运算与程序控制，有很高的智能化程度。
早期的坐标测量机大多使用固定刚性测头，它最为简单，缺点也很多[2]。主要为（1）测量时操作人员凭手的感觉来保证测头与工件的接触压力，这往往因人而异且与读数之间很难定量描述；（2）刚性测头为非反馈型测头，不能用于数控坐标测量机上；（3）必须对测头半径进行三维补偿才能得到真实的实物表面数据。针对上述缺陷，人们陆续开发出各种电感式、电容式反馈型微位移测头，解决了数控坐标测量机自动测量的难题，但测量时测头与被测物之间仍存在一定的接触压力，对柔软物体的测量必然导致测量误差。另外测头半径三维补偿问题依然存在。三维测头的出现可以相对容易地解决测头半径三维补偿的难题，但三维测头仍存在接触压力，对不可触及的表面（如软表面，精密的光滑表面等）无法测量，而且测头的扫描速度受到机械限制，测量效率很低，不适合大范围测量。
2.2.非接触式测量
非接触式测量技术是随着近年来光学和电子元件的广泛应用而发展起来的，其测量基于光学原理，具有高效率、无破坏性、工作距离大等特点，可以对物体进行静态或动态的测量。此类技术应用在产品质量检测和工艺控制中，可大大节约生产成本，缩短产品的研制周期，大大提高产品的质量，因而倍受人们的青睐。随着各种高性能器件如半导体激光器LD、电荷耦合器件CCD、CMOS图像传感器和位置敏感传感器PSD等的出现，新型三维传感器不断出现，其性能也大幅度提高，光学非接触测量技术得到迅猛的发展。
非接触式三维测量不需要与待测物体接触，可以远距离非破坏性地对待测物体进行测量。其中，光学非接触式测量是非接触式测量中主要采用的方法。
光学非接触式三维测量技术根据获取三维信息的基本方法可分为两大类：被动式与主动式。如图2所示[3]。
主动式是利用特殊的受控光源（称为主动光源）照射被测物，根据主动光源的已知结构信息（几何的、物体的、光学的）获取景物的三维信息。被动式是在自然光（包括室内可控照明光）条件下，通过摄像机等光学传感器摄取的二维灰度图像获取物体的三维信息。
图2.光学三维测量方法分类
3.1.光学被动式三维测量
由于被动式没有受控的主动光源，无需复杂的设备，并且与人类的视觉习惯比较接近。被动式测量技术主要用于受环境约束不能使用激光或特殊照明光的场合，或者由于保密需要的军事场合。一般是从一个或多个摄像系统获取的二维图像中确定距离信息，形成三维面形数据，即单目、多目视觉。当从一个摄像系统获取的二维图像中确定信息时，人们必须依赖对于物体形态、光照条件等的先验知识。如果这些知识不完整，对深度的计算可能产生错误。从两个或多个摄像系统获取的不同视觉方向的二维图像中，通过相关或匹配等运算可以重建物体的三维面形。当被测目标的结构信息过分简单或过分复杂，以及被测目标上各点反射率没有明显差异时，这种计算变得更加复杂。
以两个摄像机为例，双摄像机的系统又称为双目视觉系统，双目视觉系统的几何关系是非常简单明确的，但由于遮掩或阴影的影响，被测物体某些部分有可能只出现在立体点对的一个观察点上。有时CCD图像传感器由于能量被物体表面大量吸收而得不到足够的、由物体反射回来的能量，满足对应点匹配计算的候选点有可能出现假对应。因此，被动三维传感的方法常常用于对三维目标的识别、理解以及用于位置、形态分析，这种方法的系统结构比较简单，目前在机器视觉领域应用广泛。立体视觉的基本几何模型如图3[4]所示。
双目立体视觉 (Stereo Vision)根据同一空间点在不同位置的两个相机拍摄的图像中的视差，以及摄像机之间位置的空间几何关系来获取该点的三维坐标值。测量原理如图4[5]所示。一个完整的立体视觉系统通常可分为六大部分，包括：
（1）图像采集。即通过图像传感器如数码相机等获得图像并将其数字化。
（2）摄像机标定。就是通过实验和计算得到摄像机内外等参数。
（3）特征提取。它是指从立体图像对中提取对应的图像特征，以进行后面的处理。
（4）图像匹配。它将同一空间点在不同图像中的映像点对应起来，由此得到视差图像。
（5）三维信息恢复：由相机标定参数和两幅图像像点的视差关系，求出场景点的深度信息，把不同的深度信息量化为不同的灰度值来表示，进而恢复景物的三维信息。
（6）后处理：因恢复的三维信息有不连续性，所以要对恢复出的三维信息进行后处理。
立体视觉法广泛应用于航空测量、机器人的视觉系统中，双目、多目以及多帧图像序列等立体视觉问题已经成为国际学术研究的重点和热点。
3.2.光学主动式三维测量
目前，主动式光学三维测量测量技术已广泛用于工业检测、反求工程、生物医学、机器视觉等领域。例如，复杂的叶轮和叶片的面形检测，汽车车身的检测，人类口腔牙型测量，整形外科效果评价，用于制鞋CAD的鞋楦三维数据采集，各种实物模型的三维信息记录与仿形等。三维高速度、高精度测量技术将随着测量方法的完善和信息获取与处理技术的改进而进一步发展，在新的更加广阔的研究和应用领域中发挥重要作用。
主动式光学非接触测量技术大体上可分为飞行时间法、主动三角法、莫尔轮廓术、投影结构光法、自动聚焦法、离焦法、全息干涉测量法、相移测量法等。以下对几种主要的方法进行以下简单介绍。
3.2.1.飞行时间法
飞行时间法是基于三维面形对结构光束产生的时间调制，一般采用激光，通过测量光波的飞行时间来获得距离信息，结合附加的扫描装置使光脉冲扫描整个待测对象就可以得到三维数据。飞行时间法以对信号检测的时间分辨率来换取距离测量精度，要得到高的测量精度，测量系统必须要有极高的时间分辨率，常用于大尺度远距离的测量。
3.2.2.干涉法
干涉测量是将一束相干光通过分光系统分成测量光和参考光，利用测量光波与参考光波的相干叠加来确定两束光之间的相位差，从而获得物体表面的深度信息。这种方法测量精度高，但测量范围受到光波波长的限制，只能测量微观表面的形貌和微小位移，不适于大尺度物体的检测。
3.2.3.主动三角法
光学三角法是最常用的一种光学三维测量技术，以传统的三角测量为基础，通过待测点相对于光学基准线偏移产生的角度变化计算该点的深度信息。根据具体照明方式的不同，光学三角法可分为两大类：被动三角法和基于结构光的主动三角法。双目视觉是典型的被动三维测量技术，它的优点在于其适应性强，可以在多种条件下灵活地测量物体的立体信息，缺点是需要大量的相关匹配运算以及较为复杂的空间几何参数的校准等问题，测量精度低，计算量较大，不适于精密计量，常用于三维目标的识别、理解以及位形分析等场合，在航空领域应用较多。主动三维测量技术根据三维面形对于结构光场的调制方式不同，可分为时间调制和空间调制两大类。飞行时间法是典型的时间调制方法，激光逐点扫描法、光切法和光栅投射法是典型的空间调制方法。
3.2.4.相移测量法
相移测量法是一种重要的三维测量方法，它采用正弦光栅投影和相移技术，投影在物体上的光栅，根据物体的高度而产生变形，变形的光栅图像叫做条纹图，它包含了三维信息。
相移法是一种在时间轴上的逐点运算，不会造成全面影响，计算量少。另外，这种方法具有一定抗静态噪声的能力。缺点是不能消除条纹中高频噪声引起的误差。在传统相移系统中，精确移动光栅的需要增加了系统的复杂性。而在数字相移系统中，用软件控制精确地实现相位移动。某些应用场合不允许测量多幅图像，但只要没有以上限制，相移法仍然是首选方案。
相移测量法研究焦点在于不断提高测量的空间分辨率及测量精度、扩大物体的横向及纵向测量范围。
目前，相移测量法仍存在以下几个问题：
（1）阴影和盲区问题
相移测量法的测量受被测物表面散射特性的限制，必须满足“光线所及（光线能照到）和视线所及（能被观察到）”两个条件，对于光线不可及或视线不可及的地方，形状测量则无法实现，出现阴影和盲区问题。
（2）表面不连续问题
当表面不连续时，条纹相对级次不确定，就会造成解调相位不准确。
（3）图像的预处理
（4）相位去包裹
通过相移法求得的相位值都是折叠在-π~ +π的主值区间，必须对相位进行去包裹(Phase unwrapping)处理，正确地恢复出被折叠的2nπ才能求得真实的相位值。
（5）大曲面的测量
（6）系统的测量精度
由于测量系统的像差效应、透镜的畸变效应、CCD的非线性效应及图像采集板的量化效应等，都会给相移测量法带来很复杂的非线性系统误差，这些因素都降低了相移测量法的测量精度。
3.2.5 结构光法
结构光法基于光学双相机三角测量的原理，将双目立体视觉中的某一个像机用事先约定好的结构投影光来代替，利用投影系统和成像系统的几何信息来进行三维形貌测量。结构光编码类型主要有灰度编码、二进制编码、宽度编码、栅格编码、彩色编码、相位编码以及混合编码等。结构光法的优点是测量分辨率高、速度快，能够实现全场测量，图像传感器和投射器不需要遵守严格的几何位置关系；通过编码和解码确定出射点与成像点之间的对应关系可以很好的解决特征匹配问题。
图5.投影结构光三维测量系统原理图
结构光一般分为云纹法和投影结构光法，投影结构光法（如图5[3]）是一类面结构光三维测量技术，它采用光学投射器将光栅投影于被测物体表面，被表面形状所调制的光栅条纹由另一位置的相机拍摄，从而获得二维变形条纹图像。条纹的变形程度取决于投射器与摄像机之间的相对位置和物体表面的高度，条纹在法线方向的位移（或偏移）与物体表面高度成比例。当光学投射器与摄像机之间的相对位置一定时，由变形的条纹图像便可以重现物体表面形廓，即可以进行三维表面形貌测量。投影条纹法因具有测量速度快、易自动化、柔性好和全场测量的特点，成为国内外三维形貌测量技术研究发展的重点。
常见的投影结构光法有傅立叶变化轮廓术和位相测量轮廓术。
3.2.5.1傅里叶变化轮廓术
傅里叶变化轮廓术（FTP)相当于在把对空间信息的处理转化为对频率的处理。其基本原理是投影条纹于物体表面，摄像机摄取变形的条纹图，对条纹图进行傅里叶变换、滤波、逆傅里叶变换的步骤提取条纹相位信息。条纹的相位信息中包含了物体的形貌信息。流程图如图6[11]所示。
图6.FTP测量流程图
傅里叶变化轮廓术具有全场、快速的特点，且能自动判定物体的凸凹，无需指定条纹级次和采用插值运算就能获得物体的高度分布，在实时和动态三维面形测量领域具有广泛的应用前景。但是目前FTP的测量精度精度还不够高，在实际应用中还存在若干困难，比如不完善相位图无法展开的问题，频谱混叠的影响等。
未来的研究重点是进一步提高FTP的测量精度，克服频谱混叠，不断优化频域滤波和相位展开算法，尽量减少测量过程中外界各种因素的干扰，以满足相关领域对三维面形数据快速、自动、实时获取的要求。
实际上，傅里叶变换光学可借鉴通信原理中的调制与解调的概念加以理解，故FTP的工作原理大致可描述为：
（1）投影在被测物体三维面形(调制信号)表面的光栅结构光场(载波信号)受到调制得到连续分布的变形结构光场(已调信号)，光栅结构光场的相位因此也受到物体三维面形高度分布的调制；
（2）对连续分布的变形结构光场(己调信号)进行摄取(抽样)，获得离散信息送计算机处理，经过离散傅里叶变换、频域滤波、逆傅里叶变换，计算出变形结构光场的相位信息；
（3）根据相位与高度分布之间的映射关系，重建被测物体的三维面形。
3.2.5.2.相位测量轮廓术
相位测量轮廓术(PMP)是以测量投影到物体上的变形条纹像的相位为基础，通过相位与高度的映射关系得到被测物体的三维形貌。
相位测量轮廓术的基本思想：基本思想就是通过多幅相互间有一定相位差的条纹图来计算出相位，再按照相应的相位展开算法就可以精确地得到物体三维面形数据。其优点在于，采用了正弦光栅投影和相移技术，能以较低廉的光学、电子和数字硬件设备为基础，以较高的速度和精度获取和处理大量的三维数据。
光学三维测量技术的主要特点是实时性、主动性、适应性好。光学三维测量数据经过简单的处理就可以直接使用，无需复杂的数据后处理，由于无需和被测物体接触，可以在很多复杂环境下应用。
参考文献
[1] 邵双运. 光学三维测量技术与应用. 现代仪器, 2008.
[2] 罗春红. 基于数字相移条纹投影技术的三维测量, 2003.
[3] 傅世强. 面向光学三维测量的相位展开关键技术研究, 2010.
[4] 姚莉. 针对高光表面物体的三维形状获取技术的研究, 2007.
[5] 何海涛. 复杂面形的光学三维测量相关技术研究, 2005.
[6] 李中伟. 基于数字光栅投影的结构光三维测量技术与系统研究, 2009.
[7] 曲睿. 基于彩色编码方法实现物体的三维轮廓测量, 2008.
[8] 郑刚. 基于数字相移条纹投影三维测量的数据处理方法研究, 2004.
[9] 许平. 提高数字光投影傅里叶变换轮廓术精度的方法研究, 2006.
[10] 苑惠娟. 彩色条纹组合编码三维测量技术研究, 2006.
[11] 刘慧强. 傅里叶变换轮廓术应用问题的研究, 2005.
交流群
欢迎加入公众号读者群一起和同行交流，目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群（以后会逐渐细分），请扫描下面微信号加群，备注：”昵称+学校/公司+研究方向“，例如：”张三 + 上海交大 + 视觉SLAM“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告，否则会请出群，谢谢理解~