机器视觉工业缺陷检测的那些事

算法（预处理算法、检测算法）

常用的图像处理算法：

1、图像变换：（空域与频域、几何变换、色度变换、尺度变换）

几何变换：图像平移、旋转、镜像、转置；

尺度变换：图像缩放、插值算法（最近邻插值、线性插值、双三次插值）；

空域与频域间变换：由于图像阵列很大，直接在空间域中进行处理，涉及计算量很大。因此，有时候需要将空间域变换到频域进行处理。例如：傅立叶变换、沃尔什变换、离散余弦变换等间接处理技术，将空间域的处理转换为频域处理，不仅可减少计算量，而且可获得更有效的处理（如傅立叶变换可在频域中进行数字滤波处理）。

2、图像增强：

图像增强不考虑图像降质的原因，突出图像中所感兴趣的部分。如强化图像高频分量，可使图像中物体轮廓清晰，细节明显；如强化低频分量可减少图像中噪声影响。

灰度变换增强（线性灰度变换、分段线性灰度变换、非线性灰度变换）；

直方图增强（直方图统计、直方图均衡化）；

图像平滑/降噪（邻域平均法、加权平均法、中值滤波、非线性均值滤波、高斯滤波、双边滤波）；

图像（边缘）锐化：梯度锐化，Roberts算子、Laplace算子、Sobel算子等；

3、纹理分析（取骨架、连通性）；

4、图像分割：

图像分割是将图像中有意义的特征部分提取出来，其有意义的特征有图像中的边缘、区域等，这是进一步进行图像识别、分析和理解的基础。

（1）阈值分割（固定阈值分割、最优/OTSU阈值分割、自适应阈值分割）;

（2）基于边界分割（Canny边缘检测、轮廓提取、边界跟踪）；

（3）Hough变换（直线检测、圆检测）；

（4）基于区域分割（区域生长、区域归并与分裂、聚类分割）；

（5）色彩分割；

（6）分水岭分割；

5、图像特征：

（1）几何特征（位置与方向、周长、面积、长轴与短轴、距离(欧式距离、街区距离、棋盘距离)）；

（2）形状特征（几何形态分析（Blob分析）：矩形度、圆形度、不变矩、偏心率、多边形描述、曲线描述）；

（3）幅值特征（矩、投影）；

（4）直方图特征（统计特征）：均值、方差、能量、熵、L1范数、L2范数等；直方图特征方法计算简单、具有平移和旋转不变性、对颜色像素的精确空间分布不敏感等，在表面检测、缺陷识别有不少应用。

（5）颜色特征（颜色直方图、颜色矩）

（6）局部二值模式( LBP)特征：LBP对诸如光照变化等造成的图像灰度变化具有较强的鲁棒性，在表面缺陷检测、指纹识别、光学字符识别、人脸识别及车牌识别等领域有所应用。由于LBP 计算简单，也可以用于实时检测。

6、图像/模板匹配：

轮廓匹配、归一化积相关灰度匹配、不变矩匹配、最小均方误差匹配

7、色彩分析

色度、色密度、光谱、颜色直方图、自动白平衡

8、图像数据编码压缩和传输

图像编码压缩技术可减少描述图像的数据量（即比特数），以便节省图像传输、处理时间和减少所占用的存储器容量。压缩可以在不失真的前提下获得，也可以在允许的失真条件下进行。编码是压缩技术中最重要的方法，它在图像处理技术中是发展最早且比较成熟的技术。

9、表面缺陷目标识别算法：

传统方法：贝叶斯分类、K最近邻（KNN）、人工神经网络（ANN）、支持向量机（SVM）、K-means等；

10、图像分类（识别）

图像分类（识别）属于模式识别的范畴，其主要内容是图像经过某些预处理（增强、复原、压缩）后，进行图像分割和特征提取，从而进行判决分类。

11、图像复原

图像复原要求对图像降质的原因有一定的了解，一般讲应根据降质过程建立“降质模型”，再采用某种滤波方法，恢复或重建原来的图像。

现有可用的视觉检测软件/库

1、可二次开发的视觉系统：Labview、DVT、Halcon、OpenCV等。

2、常用的视觉检测软件/库

视觉开发软件工具 Halcon、VisionPro、LabView、OpenCV， 还有eVision、Mil、Sapera等。

（一）、Halcon：底层功能算法多，运算性能快，功能齐全，容易上手，开发项目周期短。非开源项目，商用收费，价格较贵。

  Halcon：Halcon是德国MVtec公司开发的一套完善的标准的机器视觉算法包，拥有应用广泛的机器视觉集成开发环境。它是一套image processing library，由一千多个各自独立的函数，以及底层的数据管理核心构成。其中包含了各类滤波，色彩以及几何，数学转换，型态学计算分析，校正，分类辨识，形状搜寻等等基本的几何以及影像计算功能。整个函数库可以用C，C++，C#，Visual basic和Delphi等多种普通编程语言访问。Halcon为大量的图像获取设备提供接口，保证了硬件的独立性。

（二）OpenCV：功能算法相对较多（比Halcon少），开源，可用于商用，开发周期较长（比Halcon长），有些算法要自己写。

OpenCV是一个基于（开源）发行的跨平台计算机视觉库，可以运行在Linux、Windows和Mac OS操作系统上。其核心轻量级而且高效——由一系列 C 函数和少量 C++ 类构成，实现了图像处理和计算机视觉方面的很多通用算法。OpenCV用C++语言编写，它的主要接口也是C++语言。该库也有大量的Python, Java and MATLAB/OCTAVE的接口，如今也提供对于C#, Ruby的支持。OpenCV可以在 Windows, Android, Maemo, FreeBSD, OpenBSD, iOS,Linux 和Mac OS等平台上运行。

OpenCV出身：OpenCV是Intel开源计算机视觉库。其核心由一系列 C 函数和少量 C++ 类构成，实现了图像处理和计算机视觉方面的很多通用算法。OpenCV 的特点拥有包括300多个C函数的跨平台的中、高层 API 跨平台：Windows, Linux；免费（FREE）：无论对非商业应用和商业应用；速度快；使用方便。

OpenCV具有以下的特征：（１）开源计算机视觉采用Ｃ／Ｃ＋＋编写。（２）使用目的是开发实时应用程序。（３）独立与操作系统、硬件和图形管理器。（４）具有通用的图象／视频载入、保存和获取模块。（５）具有底层和高层的应用开发包。

应用OpenCV能够实现以下功能：（１）对图象数据的操作，包括分配、释放、复制和转换数据。（２）对图象和视频的输入输出，指文件和摄像头作为输入，图象和视频文件作为输出。（３）具有对距陈和向量的操作以及线性代数的算法程序，包括距阵、解方程、特征值以及奇异值。（４）可对各种动态数据结构，如列表、队列、集合、树和图等进行操作。（５）具有基本的数字图象处理能力，如可进行滤波、边缘检测、角点检测、采样与差值、色彩转换、形态操作、直方图和图象金字塔等操作。

（６）可对各种结构进行分析，包括连接部件分析、轮廓处理、距离变换、各种距的计算、模板匹配、Hongh变换、多边形逼近、直线拟合、椭圆拟合和Delaunay三角划分等。（7）对摄像头的定标，包括发现与跟踪定标模式、定标、基本矩阵估计、齐次矩阵估计和立体对应。（8）对运动的分析，如对光流、运动分割和跟踪的分析。（9）对目标的识别，可采用特征法和隐马尔科夫模型（HMM）法。（10）具有基本的GUI功能，包括图像与视频显示、键盘和鼠标事件处理及滚动条等。（11）可对图像进行标注，如对线、二次曲线和多边形进行标注，还可以书写文字（目前之支持中文）。

（三）VisionPro

 VisionPro是美国康耐视Cognex公司提供全套视觉解决方案。VisionPro提供多种开发工具拖放式界面、简单指令码和编程方式等，全面支持所有模式的开发。用户利用VisionPro QuickBuild™可以无需编程配置读取、选择并优化视觉工具，决定产品是否合格。用户也可以利用C++、C#、VB及.NET开发管理应用程序。Vision Pro提供的.NET程序接口允许用户采用面向对象的高级语言编程访问所有工具，以高效开发客户的专用视觉方案。

（四）LabView

  LabView是一种程序开发环境，由美国国 家仪器（NI）公司研制开发，使用的是图形化编辑语言G编写程序，产生的程序是框图的形式。LabView软件是NI设计平台的核心，也是开发测量或控制系统的理想选择。LabView开发环境集成了工程师和科学家快速构建各种应用所需的所有工具，旨在帮助工程师和科学家解决问题、提高生产力和不断创新。

HSV颜色识别-HSV基本颜色分量范围

一般对颜色空间的图像进行有效处理都是在HSV空间进行的，然后对于基本色中对应的HSV分量需要给定一个严格的范围，下面是通过实验计算的模糊范围（准确的范围在网上都没有给出）。

H:  0 — 180

S:  0 — 255

V:  0 — 255

HSV（色相/饱和度/明度）颜色空间是表示类似于RGB颜色模型的颜色空间的模型。根据色相通道(Channel)对颜色类型进行建模，因此在需要根据颜色对对象进行分割的图像处理任务中非常有用。饱和度的变化代表颜色成分的多少。明度通道描述颜色的亮度。

   来源：https://blog.csdn.net/yishuihanq/article/details/107193297