图像修复简介-技术圈

点击上方“小白学视觉”，选择加"星标"或“置顶”

重磅干货，第一时间送达

推荐阅读

42个pycharm使用技巧，瞬间从黑铁变王者

Google C++项目编程风格指南 (中文版) 分享

在实际应用中，图像经常被噪声腐蚀。这些噪音是镜头上的灰尘或水滴，或者是旧照片的刮擦，或者是人为绘制的图像，或者图像的一部分已损坏。文献中有两种主要的图像恢复方法：

基于PDE的方法的目的是将已知区域中的线或边扩展到用户指定的区域。这些区域充分注意结构的传播，但是由于其情况下的模糊效果，因此不适合处理大区域。
基于示例的方法使用纹理合成方法来合成用户指定区域中的像素。

本文主要研究小型破损图像修复技术和大型破损图像完成技术及其相关应用。

基于补丁的方法

设I是在Ω上定义的输入图像，O是在Ω上的遮挡区域。我们注意到D =Ω∖ O未被遮挡的区域。我在D上已知的图像，但在O上未知。

我们在这里考虑补丁的奇数大小：

我们首先定义一个与补丁size的大小相关的邻域：

我们将补丁Ψ_p定义为一个以像素p为中心的补丁，作为围绕p的补丁邻域中像素值的向量：

该定义基本上是围绕像素p的正方形

我们注意到d〜在Ω其（2A + 1）设定的未被遮挡像素×（2A + 1）邻域也未被遮挡。Wexler等。[1]提出了一种通用的视频修复算法，该算法是双向相似性方法的前身，并且不需要对象检测或分割。该方法基本上使形式的连贯项最大化。

其中φ是在Ω像素之间的对应关系映射，必须满足X + φ（X）∈ d〜对于所有X ∈Ω。这种成本函数是非凸的，我们使用的启发式方法，以尽量减少或者它ü和φ。

初始化之后，使用以下两个步骤优化此功能：

匹配鉴于ü，找到d〜每个补丁的近邻Px的已在补绘域像素Ø，也就是地图φ（X），∀ X ∈Ω∖D~。
重建鉴于变速映射φ，属性的新值Ù（X），以每个像素X ∈ O.

重复这些步骤，以收敛到令人满意的解决方案。该过程可被视为以前的成本的最小化交替Ë在变速图φ和图像内容ü。

稀疏表示

拉索算法用于通过以下公式估算给定字典的信号的系数β：

|| β|| _1引入拟合系数向量的稀疏性，参数λ控制重构误差与稀疏性之间的权衡。更有趣的是，当信号的某些分量被破坏时，这意味着模型被修改为

其中，e表示错误，当且仅当y_i损坏时，e_i为非零。

这可以用来帮助我们发现中断的信号。但是在此应用中，用户已经标记了需要校正的区域，因此我们可以直接确定像素是否已损坏。

我们将中断信号的索引集标记为，表示从y中删除索引为I的剩余向量，和是相应的字典矩阵，通过删除I中所有索引的剩余列获得。现在，稀疏系数β可以通过以下公式计算：

然后，我们使用计算出的w来修复损坏的信号：

图像复原算法

给定输入图像，用户选择要删除和填充的目标区域。然后通常将缺失的部分视为目标区域。

我们用Ω表示目标区域，用Φ表示源区域，用δΩ表示目标区域的边缘。

[2]生成从孔的边界到内部的图像。在每次迭代中，他们计算边缘δΩ上每个像素p的优先级P（p），然后选择优先级最高的像素作为p_m。

使用一个k维向量Ψ_{P_m}来表示n×n个补丁中心p_m。

根据前面提到的稀疏表示，将Ψ_{P_m}设为y，这是属于目标区域的需要还原的信号。我们可以通过以下两个公式计算稀疏表示：

其中x是稀疏表示的字典。通过稀疏表示来完成信号，并在当前不确定完成后更新边界，然后进行下一个迭代。

结论

本期涵盖了图像处理的基本，低级操作和工具，这些对于理解计算机视觉的大多数常用方法和工具都是必需的。

参考文献

Wexler, Y., Shechtman, E., & Irani, M. (2004, June). Space-time video completion. In Computer Vision and Pattern Recognition, 2004. CVPR 2004. Proceedings of the 2004 IEEE Computer Society Conference on (Vol. 1, pp. I-120). IEEE.
Shen, B., Hu, W., Zhang, Y., & Zhang, YJ (2009). Image inpainting via sparse representation. In ICASSP, IEEE International Conference on Acoustics, Speech and Signal Processing-Proceedings (pp. 697–700 ). https://doi.org/10.1109/ICASSP.2009.4959679.
Newman, Richard (2011). Conservation and care of museum collections(1st ed.). MFA publications. p. 29. ISBN 978–0–87846–729–7.
Darrow, E.J. “Pietro Edwards and the restoration of the public pictures of Venice, 1778–1819: necessity introduced these arts”. Research Works Archive. University of Washington. Retrieved 29 March 2020.
National Gallery,(2019), Helmut Ruhemann Papers: 1939–1979, https://www.nationalgallery.org.uk/archive/record/NG29. Retrieved November 2. 2019.
Jessell, Bettina, (1977), Helmut Ruhemann’s Inpainting Techniques, Journal of the American Institute for Conservation, Volume 17, Number 1, Article 1 (pp. 01 to 08), http://cool.conservation-us.org/jaic/articles/jaic17-01-001.html, Retrieved November 2, 2019.
Garland, Patricia, 2011, Chapter3, Tradition of retouching Practices in America, pp 34–52, in Painting Conservation Catalog, Volume III Inpainting,The Paintings Specialty Group of the American Institute for Conservation, https://www.culturalheritage.org/docs/default-source/resource-guides/painting-conservation-catalog-volume-3-(inpainting).pdf?sfvrsn=6, Retrieved November 2, 2019.
Idelson, Antonia Iaccarino; Severini, Leonardo (18 June 2018). “Inpainting”. The Encyclopedia of Archaeological Sciences: 1–4. doi:10.1002/9781119188230.saseas0330. ISBN 9780470674611.
Bertalmio, Marcelo; Sapiro, Guillermo. “Image Inpainting” (PDF). University of Minnesota. University of Minnesota. Retrieved 29 March 2020.
“Inpainting | Museu Nacional d’Art de Catalunya”. www.museunacional.cat. Retrieved 29 March 2020.

下载1：OpenCV-Contrib扩展模块中文版教程

在「小白学视觉」公众号后台回复：扩展模块中文教程，即可下载全网第一份OpenCV扩展模块教程中文版，涵盖扩展模块安装、SFM算法、立体视觉、目标跟踪、生物视觉、超分辨率处理等二十多章内容。

下载2：Python视觉实战项目31讲

在「小白学视觉」公众号后台回复：Python视觉实战项目31讲，即可下载包括图像分割、口罩检测、车道线检测、车辆计数、添加眼线、车牌识别、字符识别、情绪检测、文本内容提取、面部识别等31个视觉实战项目，助力快速学校计算机视觉。

下载3：OpenCV实战项目20讲

在「小白学视觉」公众号后台回复：OpenCV实战项目20讲，即可下载含有20个基于OpenCV实现20个实战项目，实现OpenCV学习进阶。

下载4：leetcode算法开源书

在「小白学视觉」公众号后台回复：leetcode，即可下载。每题都 runtime beats 100% 的开源好书，你值得拥有！

交流群

欢迎加入公众号读者群一起和同行交流，目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群（以后会逐渐细分），请扫描下面微信号加群，备注：”昵称+学校/公司+研究方向“，例如：”张三 + 上海交大 + 视觉SLAM“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告，否则会请出群，谢谢理解~