改善视觉系统:多镜头计算成像为机器视觉任务提供增强功能
击上方“机器视觉”，选择“置顶/星标公众号”
干货下载/合作：添加微信好友“5834434”（必须备注“机器视觉：学校/公司+研究方向”，否则无法通过验证），获取机器视觉资料
通过计算成像改善视觉系统，多次成像技术为各种机器视觉任务提供了多种增强功能。
图1：计算成像利用了可以在图像捕获序列的不同帧中变化的光的属性。
计算机成像技术越来越多地用于机器视觉中，以提高照相机的功能并显示以前不可能的图像数据，计算成像（CI）通过在不同照明或光学条件下捕获一系列输入图像来工作。特定于应用程序的图像处理将这些图像合并在一起，从而生成包含特定机器视觉任务最相关细节的输出图像。
尽管数字摄影已经在数码摄影中得到广泛使用，但是技术的进步和最新的高速相机使CI技术对于许多机器视觉应用都是可行的。CI允许创建更好或以前不可能的图像，缩短开发时间，并通过其目标特征提取直接为视觉算法输出最佳图像。
由于CI在固定或移动部件上工作，并且比使用固定照明和光学元件的单个图像捕获产生更多的图像，因此它可以应用于各种机器视觉应用。有许多CI技术可用于改善工业视觉系统的示例，包括增强的对比度，更高分辨率的色彩，多光谱特征，扩展的景深，分段的3D信息以及组合照明。借助CI，系统设计人员可以开始以新的方式思考如何创建解决难题的解决方案，并以更低的成本生成更高质量的图像。
Cl与传统的图像采集有何不同
在典型的机器视觉开发周期中，传统的(单镜头)成像包括
计算成像参数(FOV、分辨率、速度)
选择相机和镜头
测试各种灯和选择最佳fit
图像捕获和视觉算法的初步开发
确定图像质量不足并重新评估照明(如有必要，请转到步骤3)
选择好光照后，图像仍然不够好，在视觉软件中加入图像预处理(滤镜)。图像增强方法)
达到最佳的图像质量，并进行视觉软件开发计算
在一个典型的机器视觉开发周期，开发计算(多镜头)成像包括：
计算成像参数(FOV、分辨率、速度)
选择最适合应用程序的CI技术应用程序
是否需要深度信息，更好的颜色，更多的图像对比度，更多的景深?
应用是否需要结合照明技术或多光谱信息?
选择相机、镜头和CI硬件(照明、光学和测序控制器)
捕获图像与所需的特征已经提取或优化
确定足够的图像质量并开始开发视觉算法
仔细研究CI的工作原理
今天的图像捕获与40年前基本上相同：使用固定的光学元件和照明进行单次曝光。对于更复杂的成像挑战，获得更好图像的典型解决方案包括使用不同的照明和镜头或解决软件中图像质量差的问题。两种方法都增加了成像解决方案的时间和成本，并且在产生最佳图像方面仍然常常不足。
借助CI，可编程照明和镜头控制系统通常可以结合起来创建图像捕获序列，从而改变特定于应用程序的参数，例如照明方向或角度，波长，强度，偏振或焦点（图1）。然后，使用图像处理软件将这些图像合并为质量更高的单个图像，从而提取出检查任务所需的功能。现有的CI工具可增强对比度，提供超分辨率的颜色，扩展景深，提取3D表面信息，消除眩光，结合知名的照明技术以及在单个图像中利用多光谱信息。
图2显示了包含CI关键步骤的实用元素，可以将其概括为计算照明/光学编码，图像捕获和图像处理/解码。使用带有全彩环形灯的单色相机并具有三通道RGB输出控制，可以以实际数据速率获取全分辨率RGB彩色图像。通过抓取与R，G和B频闪灯相关的三个单色图像序列，可以通过对齐图像并为每个像素使用R，G和B值来创建全单色分辨率的全彩色合成图像。彩色像素。
图2：通过将多个图像捕获与图像处理相结合，CI可以创建更高质量的“算法就绪”图像。
合成图像的优点
图2显示的合成彩色图像比用拜耳或马赛克彩色相机捕获的单个图像要清晰得多。图像类似于3芯片相机的图像，但没有费用，特殊的棱镜或镜头限制，并且分辨率更高。CI的优势在于能够以成像器的完整像素分辨率获得完整的色彩信息。由于插值的空间效应，常见的拜耳成像仪可捕获颜色信息，但会损失几个像素的空间分辨率。彩色复合成像解决方案的其他好处包括节省成本和灵活性。使用全色光和单色相机的复合彩色成像解决方案的成本要比使用三芯片相机和白光的成本低得多，
让我们看一下机器视觉中使用的一些常见的计算成像方法：
图3：通过从多个方向照亮对象，光度立体可以突出显示3D表面特征。
光度立体将对象的形状与2D纹理或表面着色区分开。通常，此技术可在一个图像（形状图像）中突出显示3D表面特征或缺陷，并消除高反射部分（纹理图像）的眩光。
高动态范围（HDR）成像是一种基于光的方法，用于创建具有更高对比度和更少噪声的图像。
超分辨率彩色使用RGB照明和单色图像传感器来创建更高分辨率的彩色图像，而没有插值伪像。
扩展景深（EDOF）扩展了成像系统的景深，而不会丢失光线或减小放大倍率。它通过合并在不同焦平面上拍摄的一组图像来工作。
明场/暗场结合了两种众所周知的但相反的照明技术的优势，可以在单个图像中揭示这两种方法创建的特征。
多光谱成像可增强来自多个光谱带的图像的对比度。通常，此方法结合了在紫外线（UV），可见光和红外（IR）光谱区域中看到的功能。
这些技术中的许多技术均可用于2D和3D成像系统，包括：
主动EDOF可通过在多个平面上同时重新对准相机和结构化投光器来扩展景深并改善使用结构化照明的3D成像系统中的对象重建。
3D HDR可以创建具有更高对比度和更少噪声的3D结构光图像，从而可以精确地重建具有镜面可变形状表面的对象。
以下是这些计算成像技术的实际应用示例。
图4：使用标准照明配置很难检测到陶瓷餐盘中的表面缺陷。
图5：定向照明可用于创建阴影，然后将其用于阴影处理中的形状以突出显示缺陷。
光度立体
以强调对象的3D表面结构为主要目的，光度立体图将对象的形状与2D纹理分开。该技术的工作原理是从多个角度发射分段的光阵列，并以称为“从阴影形成形状”的过程处理所得的阴影图像（图5）。
光度立体输出两个图像：一个包含3D信息的形状图像和一个显示表面着色而不受表面结构干扰的纹理图像。该技术可以增强表面细节，例如刮擦，凹痕，针孔或凸起的印刷（图3），同时还可以消除反射表面上的眩光（图6）。在具有3D结构但几乎没有反差的表面上，光度立体特别有效。（图4）。
图7：多光谱照明可用于检测或测量在不同光谱带中可见的特征。在此示例中，检查了铝箔豆腐包装的UV标记，刺孔，印刷的文本/图形和批号。
多光谱成像
多光谱成像可增强来自多个光谱带的图像的对比度。该技术适用于响应不同光谱带（通常是紫外线，可见光和红外线）的样品或物体。此示例涉及印刷检查和箔纸中破损的检测，UV标记的验证以及批号读取。
高反射箔使成像和照明变得困难。近红外光可以通过打印查看针刺和其他箔破裂，而紫外光则需要查看染料标记（图8）。利用多光谱成像，可以创建三个图像的序列（每个感兴趣的光谱一个）。UV带显示UV染料，可见带显示印记，而NIR带显示箔刺（图7）。
图8：三个光谱带（紫外线，可见光，近红外）分别对包装成像，这两个光谱带将合并形成输出图像。输出图像按光谱带清晰地进行了分割，并可以灰度或伪彩色显示，以进行可视化和进一步处理。
通过加权滤镜，可以创建单个合成图像以显示每个光谱中的信息，并且输出图像可以是单色或伪彩色以最好地显示对比度。一些LED控制器可以创建多个计算成像功能序列（图9）。总共需要七张图像来执行多光谱分析（三帧）加上光度立体分析（四帧）。
CI代表了一种用于增强机器视觉图像的强大技术。虽然CI不能替代传统的单张成像，但它是一种补充工具，可缩短开发时间并提供更好的机器视觉解决方案。
图9：可以组合使用多种CI技术来处理更复杂的检查任务。在此示例中，多光谱和光度立体都在同一样本上执行。
机器视觉
机器视觉，工业自动化，工业机器人领域的新媒体平台：工业自动化,机器人,机器视觉应用案例,行业展会,机器视觉系统,机器视觉软件技术算法,机器视觉光源,视觉检测,工业相机,工业镜头,图像采集卡,三维视觉技术,三维测量技术,工业4.0公众号该公众号已被封禁热门文章推荐：点击直接进入相关文章：
004：Facebook 开源计算机视觉系统，从像素水平理解图像（附论文及代码）
009：从洗衣妹到谷歌首席科学家，她靠孤独改变了人工智能界！
019：机器人控制系统相关知识大汇集
020：机器人的工作原理，史上最详细的解析！
021：光源选型知识点
022：这才是机械手，这才是自动化，你那算什么？
023：摄像机和镜头的基础知识
024：物联网产业链全景图（附另13大电子行业全景图，必收藏）
025：日本到底强大到什么地步？让人窒息！看后一夜未眠
026：德国机械用行动惊艳全世界：无敌是多么寂寞
May the force be with youalways
