机器视觉工程师必须了解的基础知识
点击上方“小白学视觉”，选择加"星标"或“置顶”
重磅干货，第一时间送达
正文
CCD（像素）与视觉系统的基础知识
数码相机的构造与传统的胶片式相机（模拟式）基本相同。所不同的是数码相机中使用被称为 CCD 的光电转换元件代替胶片，图像则作为数字信息采入。
CCD 即相当于模拟式相机的胶片，那么它又是如何将图像转换为数字信号的呢？
CCD 是英语 Charge Coupled Device（电荷耦合元件）的缩写，是一种将图像转换为电信号的半导体元件。大小约为长宽各 1 厘米左右，由类似棋盘的格状排列的小像素 (pixel) 组成。
用相机拍摄风景时，拍摄对象发出的光通过镜头在 CCD 上成像。光到达 CCD 的某个像素时，将根据光的强度产生相应的电荷。将该电荷的大小读取为电信号，即可获得各像素上光的强度（浓度值）。
换言之，每个像素都是一个可以检测光强度的传感器（光电二极管）。所谓 200 万像素 CCD 就是一个由 200 万个光电二极管构成的集合体。
在检测位置及检测物体的尺寸均已确定的情况下，使用一个光电传感器就可以检测该位置是否存在该物体。但是，在生产线上的位置不确定、工件有不同尺寸，或者不只是检查工件是否存在，而是要测量工件大小、尺寸时，则使用一个光电传感器是远远不够的。
通过使用由数十万或数百万个传感器构成的 CCD，可以实现包括第一页中所述的四种检查在内的多种检查或检测。
前面谈到，CCD 的各像素可以检测光强度并使之数字化，而利用数十万到数百万个这样的数据就可以实现视觉系统。不知道大家是否可以理解？
作为本讲的最后部分，下面将简单说明一下各像素将光强度作为何种数据传给控制器、而控制器又是如何处理这样的数据的。
大部分图像传感器可以根据光强度将数据分为 256 个等级（8 位）。在最基本的黑白处理中，黑色（纯黑色）的数值为 “0”，白色（纯白色）的数值为 “255”，其它处于两者之间的颜色则根据光强度转换成其它数值。
换言之，CCD 的每一个像素都有一个位于 “0” （纯黑色）与 “255” （纯白色）之间的数值。例如，对于黑、白各占一半的灰色，其数值为“127”。
CCD 的图像数据是构成 CCD 的各像素的数据的集合。
像素数据用 256 级浓淡数据加以表示。
原图像
用 2500 个像素显示的左图
放大眼睛部分后用
256 级数据加以表示
眼睛中央部分较黑，周围较淡，因此中央部分的数值是 “30”，周围部分的数值是 “90”。
如上图所示，图像数据的每一个像素都可以用 0 ~ 255 中的某一个数值加以表示。所谓视觉系统是指对于每一个像素，按照下例中所示的计算公式进行计算，然后找到图像上有特征的地方。
例1：损伤/欠缺检查
将检测区域分为多个分割（数像素角），计算各分割的平均浓度（0 ~ 255），然后加以比较。浓度值超过一定值的区域被视为有损伤或欠缺。
计算 4 像素角分割的平均值，然后与周围进行比较。
如上图所示，在红色分割内检测到损伤。
视觉系统器可以利用摄像元件 CCD 中各像素的 256 级浓度数据，检测面积（即像素数量）、位置（即浓度变化点）及损伤（浓度变化量）等。
通过高像素化（增加信息量）及高速化（更利于生产线作业），可以使视觉系统器更好地应用于各种生产活动中。
正文
镜头选择基础和视觉系统
视觉系统过程大致可分为如下四步：
1、拍摄
按下快门，拍摄图像。
2、传送
将图像数据由照相机传送到控制器。
3、处理
前处理: 对于图像数据进行加工，使其特征更加明显。
测算处理: 根据图像数据对于损伤、尺寸等进行测算。
4、输出结果
将处理结果以信号的方式输出到相连的控制装置（ PLC 等）。
视觉系统流程图
大多数图像传感器制造商在产品目录中，对于第三步“处理”做了更多的说明。这表明这些厂家更重视控制器的处理能力。实际上，第一步“拍摄”才是得到正确、稳定的视觉系统效果所必需的最主要的步骤。而这一步的关键在于“镜头和照明的选择”在初级篇中，笔者将以“镜头的选择”为中心，介绍有关拍摄的知识。
Q 以杯体内侧异物及污点为拍摄对象时，以下2张图像中，哪一张可以在全范围内检测出微小的污点？
答案当然是右侧的图像。
只有上半部分对焦的模糊图像
杯体从上到下均对焦的图像
无论所用的控制器性能多强，都无法检测出左图中的微小污点。
如果具备正确的知识，即便是杯体这种上下存在高度差的工件，也可拍摄出右图这种全范围对焦的优质图像。
对于视觉系统，拍摄是最重要的环节。
要实施高精度的稳定检测，下面3点最为重要。
将目标物拍摄得较大 拍摄对焦的图像 拍摄明亮清晰的图像
照相机的镜头由多个镜片和光圈/调焦装置构成。
根据监视画面进行光圈调整和调焦，可以得到“明亮、清晰”的图像。
（有些镜头的调整装置是固定的）
※选择镜头时，视野、焦距、焦点、失真等都是需要考虑的因素。下面将只介绍最常用的“根据视野选择镜头的方法”以及“如何得到对焦良好的画面” （增加景深的方法） 这 2 点。
焦距是镜头的规格参数之一。
FA 镜头的焦距一般是 8 mm、16 mm、25 mm 或 50 mm。
根据拍摄时所需要的视野及焦距，可以计算出焦点对准的位置（WD，即工作距离）。
WD 与视野的大小由镜头的焦距及 CCD 尺寸决定。在不需要近摄环的最近距离以上时，可以根据下列公式进行计算。
WD ：视野角=焦距：CCD 尺寸
例1 ：镜头焦距 16mm、CCD 尺寸 3.6mm 时，为了得到 45mm 的视野，WD 应为 200mm
镜头焦距越小，景深越大。
与拍摄对象距离越远，景深越大。
→注意: 使用延伸环或微距镜头时，景深会变小。光圈越小，景深越大。
→对于同一只镜头而言，光圈越小，亮度越大，越容易聚焦。
下图所示为拍摄斜面上表示高度的胶带的情况。比较小光圈和大光圈时的拍摄效果。
下图是使用基恩士公司生产的高分辨率镜头 “CA-LH16” 和标准镜头 “CV-L16” 拍摄的同一物体的图像。
由于镜头的材料及构造的不同，造成图像质量也不相同。根据用途选择高分辨的镜头，可以得到高对比度的图像。
使用镜头 CA-LH16/CV-L16（基恩士）
检查目标物 复印纸
范 围 60mm/脏污大小: 约 0.3mm
下图所示是采用基恩士公司生产的 24 万像素照相机和 200 万像素照相机拍摄同一画面后，再经电脑放大后的图像。可以看到，使用 200 万像素照相机拍摄的图像更利于读取文字。这意味着成像质量可以直接影响视觉系统的精度。因此，应该根据使用目的，选择适宜的照相机。
放大图像的比较
200 万像素的图像在放大后，其边缘及细节仍然清晰。
参考: 不同照相机的成像质量
镜头的失真度是拍摄图像的中央部分与周围部分的变化比率。
由于存在像差，拍摄图像的周边部分会发生某种程度的扭曲现象。
失真可分为桶形失真和枕形失真两类。表示失真度的数值（绝对值）越小，则镜头的精度越高。
在测量尺寸时，应使用失真度小的镜头。一般说来，长焦距镜头的失真度会相对小一些。
拍摄图像的质量是视觉系统的基础。在了解了选择镜头的基础知识后，可以拍摄出：
视野适宜，
图像整体聚焦良好，
亮度、目标物和背景对比度俱佳的清晰图像。
正文
1、选择照明的方式（镜面反射光、漫反射光、透射光等）
观察检测部位的特点（损伤、形状、有无等）。
观察表面（平面、曲面、是否有凹凸不平等）加以决定。
2、选择照明的方法*形状
根据工件条件、设置条件等加以决定。
环形光、低角度光、同轴光、碗光等。
3、选择照明的颜色（波长）
根据工件和背景的材料、颜色等加以决定。
蓝色、红色、白色等。
照明器材的典型形状（LED）
LED 照明种类繁多，大体上可以分为如下三种。
镜面反射型：
镜头接收的光线是来自拍摄对象的镜面反射光线。
漫反射型：
避开来自拍摄对象的镜面反射光，而接收整体、均一的光线。
透射型：
接收来自拍摄对象背景的光线。是一种检测轮廓的照明方式。
(1)镜面反射图像例 金属表面的刻印缺印检查
需要强调平坦的金属表面与凹凸不平的刻印部分之间的反差。
金属表面容易反射光线，因此最好是利用镜面反射光来强调表面与刻印之间的反差。
(2)漫反射图像例 透明胶带内部的晶片刻印检查
需要防止产生光晕，以强调晶片表面与刻印字符之间的反差。
透明带不会产生镜面反射，因此可以选择斜向照射的漫反射光。
(3)透射图像例 无纺布异物检查
异物与工件色调相似，从表面上看难以判别，因此需要强调异物与工件表面之间的反差。
虽然利用反射光难以观察到异物，但是只要异物的厚度、颜色与工件之间存在差异，则可以通过采用来自工件背面的透射光使异物的黑色阴影显现出来。
选择照明的第一步是根据工件的形状及检查目的，确定镜面反射、漫反射、透射等照明方式。下一步是选择照明的尺寸及光线颜色，以确保所得到的图像适于检查目的。
(1)镜面反射图像例 玻璃端面欠缺检查
仅使用反射光的情况下
照明光线通过镜面反射随机映射在玻璃表面
【根据工件及检查目的选择照明】
玻璃表面会映射照明光线。
需要强调玻璃与背景之间的反差。
最好使光线垂直照在工件上。
应确保工件上方有一定空间。
因此选择同轴入射照明是最适宜的
(2)漫反射检查例 橡胶密封圈欠缺检查
仅使用反射光的情况下
不能看到圆周上的欠缺
【根据工件及检查目的选择照明】
工件是用黑色橡胶制成的，因此不会发生镜面反射。
欠缺部分也是黑色的，同样不会发生镜面反射。
如果采用某种镜面照射角度，使欠缺部分发生镜面反射，则可以达到检查目的。
可使光源接近工件。
因此选择低角度照明是最适宜的
(3)透射检查例 引脚形状检查
仅使用反射光的情况下
边缘部分没有反差复
【根据工件及检查目的选择照明】
工件是金属材料制成的，表面凹凸不平，不能产生均匀的镜面反射。
如使用透射光，则可以去除表面凹凸不平的影响，从而实现边缘检查。
工件背面可以设置光源。
因此选择面光（背光）是最适宜的
采用背光照明后
复杂的轮廓变得清晰了。
在选择了镜面反射、漫反射或透射等照明方式后，根据检查目的、背景、周围环境等确定照明类型。
一般说来，镜面反射可选择同轴入射照明、环形照明或棒型照明，漫反射可选择低角度照明、环形照明或棒型照明，透射可选择面照明或棒型照明。其中环形照明及棒型照明的设置距离更加灵活，因此应用范围更广。
最后根据工件及背景来选择光源颜色。
使用彩色照相机时一般会使用白光。如果使用黑白照相机，则需要掌握下面介绍的知识。
为了检测纸箱中是否有红色包装的点心，分别使用了白色、红色及黑色的 LED 光源。下图所示为三种光源造成的对比度差异。
小知识
补色：
色相环图中相对的颜色互为补色。用补色光照射时会产生近似黑色的效果。
透过包装薄膜拍摄晶片上的刻印文字。与蓝色相比，选择薄膜透射率更高（散射率较低）的红色光源可以产生更好的反差。
波长不同的光线具有不同的颜色、透射率（例如波长较大的红色光线具有较高的透射率）、散射率（例如波长较小的蓝色光线具有较大有散射率）等特性。
选择适宜的光源可以得到良好的拍摄效果，从而有利于提高视觉系统效果。
选择光源时有一定的规律可循。一般说来，可按照下列步骤选择最理想的光源。
决定镜面反射、漫反射、透射
决定光源形状（制式）和尺寸
决定光源颜色（波长）
交流群
欢迎加入公众号读者群一起和同行交流，目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群（以后会逐渐细分），请扫描下面微信号加群，备注：”昵称+学校/公司+研究方向“，例如：”张三 + 上海交大 + 视觉SLAM“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告，否则会请出群，谢谢理解~