机器视觉系统的基础:相机、镜头、光源
共 10563字,需浏览 22分钟
·
2022-01-11 10:54
击上方“机器视觉”,选择“置顶/星标公众号”
![](https://filescdn.proginn.com/ef568902c941482df874966a102873a4/798e600cdc71d2f5d452a0ff13439407.webp)
一、机器视觉原理及终极目标
机器视觉的终极目标是什么?将“人眼”作为机器视觉的目标追求,是机器视觉行业的第一性原理吗?那么细分下去,人眼的特点又是什么?机器视觉该如何向人眼学习?机器视觉未来发展的方向和实施步骤是什么?
机器视觉就是用机器代替人眼来做测量和判断。机器视觉系统是指通过机器视觉产品(即图像摄取装置,分 CMOS 和CCD 两种)将被摄取目标转换成图像信号,传送给专用的图像处理系统,根据像素分布和亮度、颜色等信息,转变成数字化信号;图像系统对这些信号进行各种运算来抽取目标的特征,进而根据判别的结果来控制现场的设备动作。
一套完整的视觉检测系统主要包含图像采集部分和图像分析部分,而图像采集部分主要由工业相机、工业镜头以及机器视觉光源承担。
![](https://filescdn.proginn.com/e6fda68df78d3c416ad8b17b7fea8c18/5a94517963ae4e6591eb40f028b57bc6.webp)
二、机器视觉系统构成
视觉系统主要由以下部分组成
1.照明光源
2.镜头
3.工业摄像机
4.图像采集/处理卡
5.图像处理系统
6.其它外部设备
机器视觉的功能包括:物体定位、特征检测、缺陷判断、目标识别、计数和运动跟踪。正是由于机器视觉系统可以快速获取大量信息,而且易于自动处理,也易于同设计信息以及加工控制信息集成,因此,在现代自动化生产过程中,人们将机器视觉系统广泛地用于工况监测、成品检验和质量控制等领域。
机器视觉表面检测比较复杂,视觉感知在人工智能技术中扮演举足轻重的角色。机器视觉系统的目标是提高生产的柔性和自动化程度。
三、工业相机篇
1
工业相机又俗称摄像机,相比于传统的民用相机(摄像机)而言,它具有高的图像稳定性、高传输能力和高抗干扰能力等,目前市面上的工业相机大多是基于CCD(Charge
Coupled Device)或CMOS(Complementary Metal Oxide Semiconductor)芯片的相机。
CCD是目前机器视觉最为常用的图像传感器。它集光电转换及电荷存贮、电荷转移、信号读取于一体,是典型的固体成像器件。CCD的突出特点是以电荷作为信号,而不同于其它器件是以电流或者电压为信号。这类成像器件通过光电转换形成电荷包,而后在驱动脉冲的作用下转移、放大输出图像信号。典型的CCD相机由光学镜头、时序及同步信号发生器、垂直驱动器、模拟/数字信号处理电路组成。CCD作为一种功能器件,与真空管相比,具有无灼伤、无滞后、低电压工作、低功耗等优点。
CMOS图像传感器的开发最早出现在20世纪70 年代初,90 年代初期,随着超大规模集成电路 (VLSI) 制造工艺技术的发展,CMOS图像传感器得到迅速发展。CMOS图像传感器将光敏元阵列、图像信号放大器、信号读取电路、模数转换电路、图像信号处理器及控制器集成在一块芯片上,还具有局部像素的编程随机访问的优点。目前,CMOS图像传感器以其良好的集成性、低功耗、高速传输和宽动态范围等特点在高分辨率和高速场合得到了广泛的应用。
![](https://filescdn.proginn.com/c70a777c4c15ffa833c32dece8169d03/b2af9006ab9f6c8cf743c0763a9f4b3b.webp)
2
任何东西分类一定有它自己的分类标准,工业相机也不例外,按照芯片类型可以分为CCD相机、CMOS相机;按照传感器的结构特性可以分为线阵相机、面阵相机;按照扫描方式可以分为隔行扫描相机、逐行扫描相机;按照分辨率大小可以分为普通分辨率相机、高分辨率相机;按照输出信号方式可以分为模拟相机、数字相机;按照输出色彩可以分为单色(黑白)相机、彩色相机;按照输出信号速度可以分为普通速度相机、高速相机;按照响应频率范围可以分为可见光(普通)相机、红外相机、紫外相机等。
3
1、工业相机的性能稳定可靠易于安装,相机结构紧凑结实不易损坏,连续工作时间长,可在较差的环境下使用,一般的数码相机是做不到这些的。例如:让民用数码相机一天工作24小时或连续工作几天肯定会受不了的。
2、工业相机的快门时间非常短,可以抓拍高速运动的物体。
例如,把名片贴在电风扇扇叶上,以最大速度旋转,设置合适的快门时间,用工业相机抓拍一张图像,仍能够清晰辨别名片上的字体。用普通的相机来抓拍,是不可能达到同样效果的。
3、工业相机的图像传感器是逐行扫描的,而普通的相机的图像传感器是隔行扫描的, 逐行扫描的图像传感器生产工艺比较复杂,成品率低,出货量少,世界上只有少数公司能够提供这类产品,例如Dalsa、Sony,而且价格昂贵。
4、工业相机的帧率远远高于普通相机。
工业相机每秒可以拍摄十幅到几百幅图片,而普通相机只能拍摄2-3幅图像,相差较大。
5、工业相机输出的是裸数据(raw data),其光谱范围也往往比较宽,比较适合进行高质量的图像处理算法,例如机器视觉(Machine Vision)应用。而普通相机拍摄的图片,其光谱范围只适合人眼视觉,并且经过了mjpeg压缩,图像质量较差,不利于分析处理。
6、工业相机(Industrial Camera)相对普通相机(DSC)来说价格较贵。
4
1、根据应用的不同分别选用CCD或CMOS相机
CCD工业相机主要应用在运动物体的图像提取,如贴片机机器视觉,当然随着CMOS技术的发展,许多贴片机也在选用CMOS工业相机。用在视觉自动检查的方案或行业中一般用CCD工业相机比较多。CMOS工业相机由成本低,功耗低也应用越来越广泛。
2、分辨率的选择
首先考虑待观察或待测量物体的精度,根据精度选择分辨率。相机像素精度=单方向视野范围大小/相机单方向分辨率。则相机单方向分辨率=单方向视野范围大小/理论精度。
若单视野为5mm长,理论精度为0.02mm,则单方向分辨率=5/0.02=250。然而为增加系统稳定性,不会只用一个像素单位对应一个测量/观察精度值,一般可以选择倍数4或更高。这样该相机需求单方向分辨率为1000,选用130万像素已经足够。
其次看工业相机的输出,若是体式观察或机器软件分析识别 ,分辨率高是有帮助的;若是VGA输出或USB输出,在显示器上观察,则还依赖于显示器的分辨率,工业相机的分辨率再高,显示器分辨率不够,也是没有意义的;利用存储卡或拍照功能,工业相机的分辨率高也是有帮助的。
3、工业相机与镜头的匹配
传感器芯片尺寸需要小于或等于镜头尺寸,C或CS安装座也要匹配(或者增加转接口);
4、工业相机帧数选择
当被测物体有运动要求时,要选择帧数高的工业相机。但一般来说分辨率越高,帧数越低。
5、线阵工业相机的选型
第一步:计算分辩率。被检物体宽度(与运动方向垂直)除以最小检测精度得出每行所需要的像素值。
第二步:计算实际精度。根据上面像素值选择相机。然后用被检物体宽度除以像素数得出实际检测精度。
第三步:计算每秒扫描行数,也就是线扫描速率。每秒运动速度长度除以精度得出每秒的扫描行数。
根据以上数值就可以选定相机。
例如被检物体宽度为160mm、精度0.1mm、运动速度2200mm/s相机分辨率:160/0.1=1600像素应为2000像素左右,先选定为2K 相机
实际精度为:160mm/2048像素=0.08mm
线扫描速率:2200mm/0.08mm=27.5KHz
所以应选定相机为线扫描速率大约为28kHz 的2K 相机。
四、镜头篇
机器视觉系统非常复杂。即使在简单的系统中,硬件和软件也可以协同工作以产生结果。尽管有许多重要组成部分,但其中一个突出:镜头。该镜头至关重要,因为它可以捕获最终将由软件重新创建的数据。它可以定位图像特征,保持焦点并最大化对比度。但是,它在各种规格下运行,要实现机器视觉系统的优化呈现,必须使用能产生佳性能的镜头。镜头的基本功能就是实现光束变换(调制),在机器视觉系统中,镜头的主要作用是将成像目标在图像传感器的光敏面上。镜头的质量直影响到机器视觉系统的整体性能,合理地选择和安装镜头,是机器视觉系统设计的重要环节。
基础知识
1
大家如何选择合适镜头,镜头选配时需要选择与摄像机接口和CCD的尺寸相匹配的镜头。镜头C和CS的接口方式占主流。小型的安防用的CS接口摄像机得到普及、FA行业则大部分是C接口的摄像机与镜头的组合。对应的CCD尺寸、市场上一般根据用途使用2/3寸到1/3寸的产品。
2
C接口镜头可以与C接口摄像机、CS接口摄像机互用;
CS接口镜头不可以应用在C接口摄像机,只可以应用在CS接口摄像机。
3
摄像机如果使用配备小CCD尺寸的镜头,那么周边没有摄取到图像的部分呈现出黑色,我们称其为KERARE。
4
将折射率不同的各种硝材通过研磨,加工成高精度的曲面、把这些镜头进行组合,就是设计镜头。从伽利略时代开始使用的普遍技术是其基本原理。为得到更清晰的图像,一直在研究开发试制新的硝材和非球面镜片。
5
常见的线阵相机分辨率目前有0.5k、1K、2K、4K、6K、8K、12K、16K 等几种,像素大小有5um、7um、10um、14um 等几种,这样芯片的大小从 7..168mm (512x14um) 到 81.920mm (16Kx5um)不等。很显然,C 接口远远不能满足要求,因为C接口最大只能接 22 mm 的芯片,也就是1.3英寸。所以很多相机的接口为 F型,不同的镜头接口对应不同的后背焦(Flange distance),也就决定了镜头的工作距离不一样。
光学放大倍率(β,Magnification):确定了相机分辨率和像素大小,就可以计算出芯片尺寸(Sensor size);芯片尺寸除以视野范围(FOV)就等于光学放大倍率。β=CCD/FOV
接口(Mount):主要有 C、CS、F、M42x1 、T2、M72x0.75等几种,确定了之后,就可知道对应接口的长度。
后背焦(Flange Distance):后背焦指相机接口平面到芯片的距离,是一个非常重要的参数,由相机厂家根据自己的光路设计确定。不同厂家的相机,哪怕是接口一样,也可能有不同的后背焦。
有了光学放大倍率、接口、后背焦,就能计算出工作距离和节圈长度。选好这些之后,还有一个重要的环节,就是看 MTF 值是否足够好?很多机器视觉工程师不了解 MTF,而对高端镜头来说就必须用 MTF 来衡量光学品质。MTF 涵盖了对比度、分辨率、空间频率、色差等相当丰富的信息,并且非常详细地表达了镜头中心和边缘各处的光学质量。关于 MTF 表格,请自行了解,这里不再赘述。
镜头不仅只是工作距离、视野范围满足要求,边缘的对比度不够好,也要重新考虑是否选择更高分辨率的镜头。
五、光源篇--选择合适光源的重要性
机器视觉是用机器代替人眼来做测量和判断;机器视觉系统主要包含相机、镜头、光源、图像处理系统和执行机构。而光源作为其中重要组成部分,直接关系到系统的成败。在视觉系统中图像是核心,选择合适的光源能够呈现一幅好的图像,能够简化算法 提高系统稳定性,一幅图像如果曝光过度则会隐藏很多重要的信息;出现阴影则会引起边缘误判;图像不均匀则会导致阈值选择困难。因此要保证有较好的图像效果,就必须要选择一个合适的光源。
目前理想的视觉光源有高频荧光灯、光纤卤素灯、氙气灯、 LED光源。应用最多是 LED光源,主要有如下几个特点:
·可制成各种形状、尺寸及各种照射角度;
·可根据需要制成各种颜色,并可以随时调节亮度;
·通过散热装置,散热效果更好,光亮度更稳定;
·使用寿命长;
·反应快捷,可在10微秒或更短的时间内达到最大亮度;
·电源带有外触发,可以通过计算机控制,起动速度快,可以用作频闪灯;
·运行成本低、寿命长的LED,会在综合成本和性能方面体现出更大的优势;
·可根据客户的需要,进行特殊设计。
这里就详细介绍几种常见的 LED光源。
机器视觉照明技术基础知识
![](https://filescdn.proginn.com/2e6816e8af846c1727a229773f5dfa00/ebb025efd90ec269ff137472462c52f6.webp)
常见的光源类型及照明方式
![](https://filescdn.proginn.com/2e6816e8af846c1727a229773f5dfa00/ebb025efd90ec269ff137472462c52f6.webp)
LED光源按形状分类
1
高密度LED阵列,高亮度;多种紧凑设计,节省安装空间;LED灯珠排布成环形与圆心轴成一定夹角, 提供不同照射角度、不同颜色组合,更能突出物体的三维信息;解决多方向照明阴影问题;图像出现灯影情况可选配漫射板,让光线均匀扩散。
应用领域:螺丝尺寸缺陷检测,IC定位字符检测,电路板焊锡检查,PCB基板检测,IC元件检测,显微镜照明,液晶校正,塑胶容器检测等。
2
用高密度LED阵列面提供高强度背光照明,LED灯珠排布成一个面(底面发光)或者从光源四周排布一圈(侧面发光),常用于突出物体的外形轮廓特征,适用于大面积照射,背光一般放置于物体底部需要考虑机构是否适合安装,在较高的检测精度下可以加强出光平行性来提升检测精度。尤其适合作为显微镜的载物台。红白两用背光源、红蓝多用背光源,能调配出不同颜色,满足不同被测物多色要求。
应用领域:机械零件尺寸及边缘缺陷的测量,饮料液位及杂质检测、手机屏漏光检测,印刷海报缺陷检测,塑料膜边缘接缝检测,机械零件尺寸的测量,电子元件、IC的外型检测,胶片污点检测,透明物体划痕检测等。
3
LED灯珠排布成长条形。多用于单边或多边以一定角度照射物体。突出物体的边缘特征,可根据实际情况多条自由组合,照射角度与安装距离随有较好自由度。条形光源是较大方形结构被测物的首选光源;颜色可根据需求搭配,自由组合;照射角度与安装随意可调。
应用领域:电子元件缝隙检测,圆柱体表面缺陷检测,包装盒印刷检测,药水袋轮廓检测等。金属表面检查,图像扫描,表面裂缝检测,LCD面板检测等。
4
经面光源采用分光镜设计。适用于粗糙程度不同、反光强或不平整的表面区域,检测雕刻图案、裂缝、划伤、低反光与高反光区域分离、消除阴影等。需要注意的是同轴光源经过分光设计有一定的光损失需要考虑亮度,并且不适用于大面积照射。应用:玻璃和塑料膜轮廓和定位检测, IC字符及定位检测,晶片表面杂质和划痕检测等。
同轴光源可以消除物体表面不平整引起的阴影,从而减少干扰;部分采用分光镜设计,减少光损失,提高成像清晰度,均匀照射物体表面。
应用领域:系列光源最适宜用于反射度极高的物体,如金属、玻璃、胶片、晶片等表面的划伤检测,芯片和硅晶片的破损检测,Mark点定位,包装条码识别。
5
不同角度的三色光照明,照射凸显焊锡三维信息;外加漫射板导光,减少反光;不同角度组合;
应用领域:用于电路板焊锡检测。
6
具有积分效果的半球面内壁,均匀反射从底部360度发射出的光线,使整个图像的照度十分均匀。
应用领域:合于曲面,表面凹凸,弧形表面检测,或金属、玻璃表面反光较强的物体表面检测。
7
高亮 LED排布,超高亮度,采用导光柱聚光,光线呈一条亮带, 通常用于线阵相机,采用侧向照射或底部照射,线光源也可以不使用聚光透镜让光线发散,增加照射面积也可在前段添加分光镜,转变为同轴线光源。
应用领域:阵相机照明专用,AOI专用,适用于各种流水线连续检测场合。液晶屏表面灰尘检测,玻璃划痕及内部裂纹检测,布匹纺织均匀检测等。
8
大功率LED,体积小,发光强度高;光纤卤素灯的替代品,一种非直接同轴光源,检测视野较小,尤其适合作为镜头的同轴光源等;高效散热装置,大大提高光源的使用寿命。
应用领域:适合远心镜头使用,用于芯片检测,Mark点定位,晶片及液晶玻璃底基校正。
9
四边配置条形光,每边照明独立可控;可根据被测物要求调整所需照明角度,适用性广。
应用案例:CB基板检测,IC元件检测,焊锡检查,Mark点定位,显微镜照明,包装条码照明,球形物体照明等。
10
圆顶光源:LED灯珠安装在底部通过半球内壁反射涂层漫反射均匀照射物体。图像整体的照度十分均匀, 适用反光较强金属、 玻璃、凹凸表面、弧形表面检测。
应用领域:仪表盘刻度检测,金属罐字符喷码检测,芯片金线检测,电子元件印刷检测等。
11
对位速度快;视场大;精度高;体积小,便于检测集成;亮度高,可选配辅助环形光源。
应用领域:VA系列光源是全自动电路板印刷机对位的专用光源。
一套完整的视觉检测系统主要包含图像采集部分和图像分析部分,而图像采集部分主要由工业相机、工业镜头以及机器视觉光源承担,今天我们主要介绍机器视觉光源的相关基础知识及选型技巧。
首先我们需要了解,机器视觉中的光源起到哪些作用:
1. 照亮目标,提高亮度;
2. 形成有利于图像处理的成像效果,降低系统的复杂性和对图像处理算法的要求;
3. 克服环境光干扰,保证图像稳定性,提高系统的精度、效率。
恰当的光源照明设计可以使图像中的目标信息与背景信息得到最佳分离,这样不仅大大降低图像处理的算法难度,同时也提高系统的精度和可靠性。但非常遗憾,目前没有通用的机器视觉照明系统应对不同的检测要求,因此针对每个特定的案例,都需要设计合适的照明装置,以达到最佳效果。而不合适的照明,则会引起很多问题,机器视觉光源如此重要,却往往被很多人忽视。
光源的选型
1
1、检测内容
外观检查、OCR、尺寸测定、定位
2、对象物
①想看什么?(异物、伤痕、缺损、标识、形状等)
②表面状态(镜面、糙面、曲面、平面)
③立体?平面?
④材质、表面颜色
⑤视野范围?
⑥动态还是静态(相机快门速度)
3、限制条件
①工作距离(镜头下端到被测物表面距离)
②设置条件(照明的大小、照明下端到被测物表面的距离、反射型or透射型)
③周围环境(温度、外乱光)
④相机的种类,面阵or线阵
2
1.因材质和厚度不同、对光的透过特性(透明度)各异。
2.光根拠其波长之长短、对物质的穿透能力(穿透率)各异。
3.光的波长越长、对物质的透过力越强,光的波长越短、在物质表面的拡散率越大。
4.透射照明、即是使光线透射对象物、并観察其透过光之照明手法。
3
1.穏定均匀的光源极其重要
2.目的:将被测物与背景尽量明顕区分
3.摂取图像时、最重要之处是如何鲜明地获得:被测物与背景的浓淡差
4.目前、在图像处理领域中最广范的技术手法是:二值化(白黒)处理
为了能够突出特征点,将特征图像突出出来,在打光手法上,常用的包括有明视野与暗视野。
明视野:用直射光来観察对象物整体(散乱光呈黒色)
暗视野:用散乱光来観察对象物整体(直射光呈白色)
具体的光源选取方法还在于试验的实践经验。
4
根据检测产品特征选择,一般选择光源的大小要比产品大,这样照射的光线才能覆盖到整个产品;选择的光源的形状接近产品形状,可以让整个产品区域光照强度一致;光源颜色选择是要能够让检测目标与背景有一定对比度, 在黑白相机下使用与产品目标区域颜色接近的光源能够该区域呈现更高的灰度,反之则呈现较低灰度;如果产品表面反光较强可以选用均匀性更好的无影光源, 目标特征不明显则选用指向性或平行性更好的光源。
根据机构要求,光源能够满足设备的安装空间,产线的速度快就需要选择亮度更高的光源;在特殊环境(潮湿、高温)就需要考虑光源性能(防水、散热)。
实际测试,光源照射能够呈现有效对比度,也要保证各个区域的均匀性。一般在检测区域目标和背景一个接近 255 灰度的峰值,这个时候对比度一般最高加强或减弱光源亮度都会影响对比度差值。当出现较好对比图像时一定要把检测物体放在视野内的各个位置看看图像是否一致,这样才能保证在实际环境中的稳定性。
光源选型基本要素:
对比度:对比度对机器视觉来说非常重要。机器视觉应用的照明的最重要的任务就是使需要被观察的特征与需要被忽略的图像特征之间产生最大的对比度,从而易于特征的区分。对比度定义为在特征与其周围的区域之间有足够的灰度量区别。好的照明应该能够保证需要检测的特征突出于其他背景。
热门文章推荐:点击直接进入相关文章:
004:Facebook 开源计算机视觉系统,从像素水平理解图像(附论文及代码)
009:从洗衣妹到谷歌首席科学家,她靠孤独改变了人工智能界!
019:机器人控制系统相关知识大汇集
020:机器人的工作原理,史上最详细的解析!
021:光源选型知识点
022:这才是机械手,这才是自动化,你那算什么?
023:摄像机和镜头的基础知识
024:物联网产业链全景图(附另13大电子行业全景图,必收藏)
025:日本到底强大到什么地步?让人窒息!看后一夜未眠
026:德国机械用行动惊艳全世界:无敌是多么寂寞