单像素成像图像智能处理算法-技术圈

点击下方卡片，关注“新机器视觉”公众号

重磅干货，第一时间送达‍

以前的手机，只在背后有一个安安静静的摄像头，而现在的手机，“二饼” “三筒”甚至“浴霸”层出不穷。越来越强大的手机拍照功能，离不开图像传感器的支持。

图像传感器是把摄像头接收到的光信号转化成电子信号的感光元件，可以记录光场强度的分布，对于拍照设备来说，它就如同人眼的视网膜。手机或者相机的传感器一般是一个包含了很多个小单元的阵列，每个小单元对应着照片中的一个像素。我们平时说的，相机2000万像素就是指图像传感器上有2000万个小单元（感光点）。

图像传感器

单像素成像原理

然而，近十多年来，科学家们却在探索一种新型的“单像素相机”[2]，即图像传感器只包含一个像素，这种另类的光学成像方式就是“单像素成像”[1]。

那么单像素相机又是怎么工作的呢？单像素成像中，通过一个投影器件不断向目标物体照射不同的结构光图案，单像素探测器依次记录下每次照射时物体场景总体光强度，最后计算重建出具有空间分辨率的物体图像。数学上来说，单像素探测器记录的光强度是投影图案和物体图像之间的内积。单像素成像与以往常常提到的鬼成像和关联成像的概念比较接近。

典型的单像素成像系统

单像素成像智能处理算法

由于单像素相机与普通相机有着不同的成像机制和框架，在最近的研究中，笔者设计了四种为其“量身打造”的图像智能处理算法。

（1）运动物体单像素成像中模糊去除和质量提升

单像素成像中需要依次投影大量不同图案，记录下很长一串单像素值序列，才能重建出一张物体图像，这显然需要一定的成像时间。所以，拍摄快速运动的物体时，帧率往往比较低，记录前几个单像素值时还“朝发白帝”,记录后几个单像素值时就已经“暮到江陵”了。这导致最后记录下的单像素值数据里包含了不同位置物体的混合信息，重建的图像会包含比较多模糊和噪声，类似于普通相机拍摄一辆飞驰而过的汽车得到的“拖尾”照片一样。

为解决这一问题，可以考虑一个基本的物理定律——运动的相对性，物体在运动，投影图案是静止的，等效于物体是静止的，而投影图案在反方向运动。物体从左到右运动，相当于投影图案从右到左运动；物体顺时针转动，相当于投影图案逆时针转动。通过搜索估算物体的平移或者转动速度，对投影图案做相应的反向变换，然后计算时使用变换后的投影图案替代原本的投影图案，重建出的物体图像就会清晰很多，质量得到明显提升[3]。

实验中，拍摄一个快速转动圆盘上的数字，我们设计的算法可以去除重建图像中的模糊和噪声 [3]。

（2）基于单像素成像的全光学物体快速分类

图像常常需要进行自动分类识别，比如照片里的是一只猫，还是一只狗？一般无论普通相机还是单像素相机，都要先拍摄到物体（比如数字或交通标志）清晰的图片，才能使用机器学习方法进行图像分类任务。

不过，笔者提出的基于单像素成像的全光学物体快速分类方案中[4]，不需要重建物体图像，物体只被很少数量的投影图案所照射，探测器只记录下“寥寥无几”的单像素值，该算法直接基于这些单像素值，在“不知道物体到底长得什么样”情况下，能够进行快速物体分类。比如我们要把物体分为10类，只需要从大量训练图片中优化设计出10个投影图案，一共投影10次，而进行完整的图像重建可能需要投影几百几千次。

从10个类别的数字图像和交通标志图像中分别优化设计出的10个用于快速物体分类的投影图案（第四行）。

分类结果可以通过单像素值序列中最大光强度值直接显示出来，无需后续的数字处理，整个系统相当于一个可以进行线性分类任务的“光学计算机”。相比于2018年Science论文中多层级联相位板结构的全光学衍射神经网络(DNN)系统[5]，我们的系统可以完成类似的全光学物体分类任务，同时具有非相干光照射下工作，低实验复杂性，高可编程性等优点，更容易实现。

（3）单像素成像中图像盲重建

单像素成像中一般既需要已知所有投影图案，又需要已知所有单像素值，才能进行物体图像的重建。这样看起来二者缺一就无法重建图像，其实未必。

假设投影图案虽然是未知的，但它们保持固定不变。如果已知一定数量不同的物体图像和它们对应单像素值序列作为训练样本，可以通过机器学习方式实现盲重建。笔者在研究[6]中并没有使用“时尚潮流之选”的深度学习方法，而使用了更简单的基于线性回归模型的方式恢复未知的投影图案，但获得的结果在一定条件下优于深度学习的结果。

事实上，很多相干和非相干的光学成像系统都是线性的，一些传统方法也可能对系统进行精确模拟，那么近年在各领域都普遍使用的深度学习方法是否一定优于传统方法？一些仿真和实验结果显示，对于单像素成像系统和其他一些线性光学系统，深度学习其实未必总能表现出优势，尤其在需要大量训练样本和泛化性这两个方面表现出一定不足[6]。

（4）单像素成像中的可视加密

作为90后经典童年回忆的《冒险小虎队》中，通过解密卡才能看到杂乱无章的条纹中隐藏的信息，这其实很类似于一种“可视加密”技术。

可视加密(Visual Cryptography)把要隐藏的图像分解成几个随机图案，把它们打印在透明胶片上，每个图案称为一个可视密钥(Visual Key)，无法从中看到隐藏的图像。可是当可视密钥重叠在一起时，隐藏图像就可以在视觉上显现出来。单像素成像中的探测器收集物体图像总体光强度的方式，相当于进行了像素值的虚拟叠加操作，与可视加密一定程度上“异曲同工”。

笔者提出通过物体图像和通过投影图案两种方式将可视加密在单像素成像中实现[7]。单像素的可视加密可以适用于打印在不透明介质上的可视密钥图案，并且容易在肉眼观察不到的非可见光波段以及视平线之外隐藏角落实现可视加密，物理层面上提升可视加密的安全性。

例如，(a)和(b)两个二维码可以作为一组可视密钥，用手机扫它们，可以读出同样的信息，不过读出的并不是要隐藏的信息，而是做伪装的“幌子”。通过单像素可视加密系统虚拟叠加到一起之后，依旧是一个可以用手机扫的二维码(c)，不过真正隐藏的信息”OK”浮现了出来。

此外单像素成像中，只对一组投影图案的随机置换也能实现图像加密[8]。

单像素成像的应用

单像素成像可以把传感器从一个单元阵列简化为单个像素，与此同时，则需要额外的投影器件，比如，数字微镜阵列DMD，并且要投影照射和记录很多次，而不是一次性成像。

然而，这不妨碍在很多情况下，单像素相机仍然比普通相机更具有优势，比如在可见光以外的一些波段，单元阵列传感器难以制造，或者成本非常高，而只包含一个像素的简单传感器就容易实现得多，单像素成像为这些波段的低成本相机提供了一个好的选择。

再比如普通相机拍摄照片时，物体需要放到镜头或者传感器的视平线范围内，而单像素探测器可以拍摄隐藏在拐角处的物体。当同时对多个光谱和多个偏振态的光场进行记录时，难以在同一个单元阵列传感器上对这么多的“频道”同时进行复用，单像素探测器则比较容易在“频道”间灵活来回切换。

目前，该技术已被研究者尝试应用于多个领域，如遥感成像、显微镜、光谱仪、无人驾驶激光雷达、加油站气体泄露监测、便携式扫描仪等，单像素成像的潜在应用场景一直在不断被发掘和扩展。

作者简介

焦述铭，深圳大学纳米光子学研究中心副研究员，香港城市大学博士毕业。主要从事单像素成像，全息成像及显示，图像处理等方面研究。以第一作者发表期刊论文20余篇，曾入选Hong Kong PhD Fellowship Scheme和广东省“珠江人才计划”博士后资助项目。

来源：爱光学

参考文献：

[1]M. P. Edgar, G. M. Gibson, and M. J. Padgett, “Principles and prospects for single-pixel imaging,” Nature Photonics 13(1), 13–20 (2019).

[2] M. F. Duarte, M. A. Davenport, D. Takhar, J. N. Laska,T. Sun, K. F. Kelly, and R. G. Baraniuk, “Single-pixel imaging via compressive sampling,” IEEE Signal Processing Magazine 25(2), 83–91 (2008).

[3] S. Jiao, M. Sun, Y. Gao, T. Lei, Z. Xie, and X. Yuan,“Motion estimation and quality enhancement for a single image in dynamic single-pixel imaging,” Optics Express, 27(9), 12841-12854. (2019)

[4] S. Jiao, J. Feng, Y. Gao, T. Lei, Z. Xie, and X. Yuan,"Optical machine learning with incoherent light and a single-pixel detector," Optics Letters 44(21), 5186-5189 (2019)

[5] X. Lin, Y. Rivenson, N. Yardimci, M. Veli, Y. Luo, M.Jarrahi, and A. Ozcan, “All-optical machine learning using diffractive deep neural networks,” Science, 361(6406), 1004-1008 (2018).

[6]S. Jiao, Y. Gao, J. Feng, T. Lei, and X. Yuan, "Does deep learning always out perform simple linear regression in optical imaging?," Optics Express 28(3), 3717-3731 (2020)

[7]S. Jiao, J. Feng, Y. Gao, T. Lei, and X. Yuan, "Visual cryptography in single-pixel imaging", Optics Express 28(5), 7301-7313(2020)

[8]Z. Zhang, S. Jiao, M. Yao, X. Li, and J. Zhong, “Secured single-pixel broadcast imaging,” Optics Express, 26(11), 14578-14591 (2018).

本文仅做学术分享，如有侵权，请联系删文。

—THE END—