图像传感器的这9个知识点，你都懂吗？
点击上方“小白学视觉”，选择加"星标"或“置顶”
重磅干货，第一时间送达
本文转自|新机器视觉
典型图像传感器的核心是CCD单元(charge-coupled device，电荷耦合器件)或标准CMOS单元(complementary meta-oxide semiconductor，互补金属氧化物半导体)。CCD和CMOS传感器具有类似的特性，它们被广泛应用于商业摄像机上。
不过，现代多数传感器均使用CMOS单元，这主要是出于制造方面的考虑。传感器和光学器件常常整合在一起用于制造晶片级摄像机，这种摄像机被用在类似于生物学或显微镜学等领域，如图1所示。
图1：整合了光学器件和颜色过滤器的图像传感器的常用排列
图像传感器是为满足不同应用的特殊目标而设计的，它提供了不同级别的灵敏度和质量。
硅制图像传感器应用最广，当然也会使用其他材料，比如在工业和军事应用中会用镓(Ga)来覆盖比硅更长的红外波长。
不同的摄像机，其图像传感器的分辨率会有所不同。从单像素光电晶体管摄像机(它通过一维直线扫描阵列用于工业应用)，到普通摄像机上的二维长方形阵列(所有到球形整列的路径均用于高分辨率成像)，都有可能用到。
普通成像传感器采用CCD、CMOS、BSI和Foveon方法进行制造。硅制图像传感器具有一个非线性的光谱响应曲线，这会很好地感知光谱的近红外部分，但对蓝色、紫色和近紫外部分就感知得不好(如图2所示)。
图2：几种硅光电二极管的典型光谱响应
可以注意到，光电二极管在900纳米附近的近红外范围内 具有高的敏感度，而在横跨400纳米～700纳米的可见光范围内具有非线性的敏感度。由于标准的硅响应的缘故，从摄像机中去掉IR滤波器会增加近红外的灵敏度。(光谱数据图像的使用已获得OSI光电股份有限公司的许可)
注意，当读入原始数据，并将该数据离散化成数字像素时，会导致硅光谱响应。传感器制造商在这个区域做了设计补偿，然而，当根据应用标定摄像机系统并设计传感器处理方法时，应该考虑传感器的颜色响应。
图像传感器的关键在于光电二极管的大小或元件的大小。使用小光电二极管的传感器元件所捕获的光子数量没有使用大的光电二极管多。
如果元件尺寸小于可捕获的可见光波长(如长度为400纳米的蓝光)，那么为了校正图像颜色，在传感器设计中必须克服其他问题。传感器厂商花费大量精力来设计优化元件大小，以确保所有的颜色能同等成像(如图3所示)。
图3：基本颜色的波长分配
注意，基本颜色区域相互重叠， 对所有的颜色而言，绿色是一个很好的单色替代品
图4显示了多光谱传感器设计的不同片内配置，包括马赛克和堆叠方法。在马赛克方法中，颜色过滤器被装在每个元件的马赛克模式上。Faveon传感器堆叠方法依赖于颜色波长深度渗透到半导体材料的物理成分，其中每种颜色对硅材料进行不同程度的渗透，从而对各自的颜色进行成像。整个元件大小可适用于所有颜色，所以不需要为每种颜色分别配置元件。
图4：(左图)堆叠RGB元件的Foveon方法，(右图)标准的马赛克元件
反向照明(back-side illuminated，BSI)传感器结构具有更大的元件区域，并且每个元件要聚集更多的光子，因而在晶粒上重新布置了传感器接线。
图5：元件颜色的几个不同马赛克配置，包括白色、基本RGB颜色和次要CYM元件
传感器元件的布置也影响到颜色响应。例如，图5显示了基本颜色(R、G、B)传感器以及白色传感器的不同排列，其中白色传感器(W)有一个非常清晰或非彩色的颜色滤波器。
传感器的排列考虑到了一定范围的像素处理，如在传感器对一个像素信息的处理过程中，会组合在邻近元件的不同配置中所选取的像素，这些像素信息会优化颜色响应或空间颜色分辨率。
当前，最先进的传感器每个颜色单元能提供至少8个比特位，通常是12～14个比特位。传感器元件需要花费空间和时间来聚集光子，所以较小的元件必须经过精心设计，以避免产生一些问题。
噪声可能来自于所用的光学元件、颜色滤波器、传感器元件、增益和A/D转换器、后期处理过程或者压缩方法等。传感器的读出噪声也会影响到实际的分辨率，因为每个像素单元从传感器中读出再传到A/D转换器中，从而组成数字形式的行和列，以便用于像素转换。越好的传感器会产生越少的噪声，同时会得到更高效的比特分辨率。
通常在每个成像系统中都有一个专有的传感器处理器，包括一个快速HW传感器接口、优化的超长指令集(very long instruction word,VLIW)、单指令多数据流(single instruction multiple data, SIMD)指令以及具有固定功能的硬件模块，这些功能是为了解决大规模并行像素处理所造成的工作负载。
通常，传感器处理过程透明且自动化，并由成像系统的生产厂商设置，来自传感器的所有图像均以同样的方式处理。也存在用于提供原始数据的其他方式，这些数据允许针对应用来定制传感器处理过程，就像数字摄影那样。
马赛克的一个主要挑战之一是像素插值，其作用是将邻近单元的颜色通道组合成单个像素。在给定传感器元件排列的几何形状以及单元排列的纵横比的条件下，这是一个重要的问题。一个与之相关的问题是颜色单元的加权问题，如在每个RGB像素中每种颜色应该占多少比例。
因为在马赛克传感器中，空间元件分辨率大于最终组合的RGB像素分辨率，某些应用需要原始传感器数据，以便尽可能利用所有的精度和分辨率，或者有些处理要么需要增强有效的像素分辨率，要么需要更好地实现空间精确的颜色处理和去马赛克处理。
像LCD显示器一样，传感器也可能会有坏像素。通过在摄像机模块或驱动程序中提供需要校正的坏像素坐标，供应商可以在工厂校正传感器，并为已知的缺陷提供一个传感器缺陷图。
在某些情况下，自适应的缺陷校正方法会用在传感器上，以便监控邻近像素点来发现缺陷，然后校正一定范围内的缺陷类型，比如单像素缺陷、列或行缺陷以及类似2×2或3×3的块状缺陷。为了实时寻找瑕疵，摄像机驱动也可提供自适应的缺陷分析，在摄像机的启动菜单中可能会提供一个特殊的补偿控制。
有必要进行颜色校正以便平衡总的颜色精确度和白平衡。如图1-2所示，硅传感器上对红色和绿色这两种颜色通常很敏感，但是对蓝色却不敏感，因此，理解和标定传感器是得到最精确颜色的基本工作。
大多数图像传感器的处理器包含了用于光晕校正的几何处理器，这在图像的边缘表现为光照更暗。校正基于几何扭曲函数，可考虑可编程的光照功能来增加朝向边缘的光照，这需要在出厂前进行标定，以便与光学的光晕模式相匹配。
镜头可能会有几何相差或朝边缘发生扭曲，产生径向失真的图像。为了解决镜头畸变，大多数成像系统具有专用的传感器处理器，它有一个硬件加速的数字扭曲元件，类似于GPU上的纹理采样器。在工厂就会针对光学器件的几何校正进行校准并编程。
好消息，小白学视觉团队的知识星球开通啦，为了感谢大家的支持与厚爱，团队决定将价值149元的知识星球现时免费加入。各位小伙伴们要抓住机会哦！
交流群
欢迎加入公众号读者群一起和同行交流，目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群（以后会逐渐细分），请扫描下面微信号加群，备注：”昵称+学校/公司+研究方向“，例如：”张三 + 上海交大 + 视觉SLAM“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告，否则会请出群，谢谢理解~