基于噪声模型优化的HDR融合算法

AI算法与图像处理

共 3176字,需浏览 7分钟

 ·

2021-08-21 01:12

点击下方AI算法与图像处理”,一起进步!

重磅干货,第一时间送达

我们知道,通常的成像系统的动态范围远远小于真实世界场景的动态范围,这使得我们很难去拍摄并还原真实的场景。



在27. HDR - 高动态范围成像中,我为你介绍了基础的HDR算法,它的目的是将多张照片合理的融合起来,得到最高的动态范围。



在这个过程中,每张照片的像素值被还原到对应的光辐照度,然后多张照片的光辐照度用特定的权重加权平均,得到最后的辐照图:



我们可以用数学表达式表达如下:



所以最终图像的效果取决于融合的权重。

我们之前介绍的HDR算法中有两个缺点:

  1. 所用到的权重主要是考虑融合后的图像动态范围尽可能高,但对图像中的噪声并没有太关注,甚至可以说它假设图像是没有带噪声的。为了做到这一点,这些算法倾向于选择相机的最低有效ISO设置及相应的曝光时长,在保证一定亮度的情况下降低噪声。

  2. 它没有考虑到对曝光时间的限制。基本上是假设可以选择相机所有有效的曝光时间来调整图像的亮度。

当你读了我上一篇文章60. 数码相机成像时的噪声模型与标定后,我想你已经知道了:图像总是带有噪声的,尤其是曝光时间短时的暗部区域噪声特别明显,如下图所示:



而且随着曝光时间的变化,图像中的各类噪声对图像的影响也会变化。而且,一般来说我们会要求在一定的总时间及总的拍摄图像张数的限制下,完成HDR图像的生成动作,这导致忽视了拍摄时间要求的传统HDR融合算法无法得到最佳的结果。

那么,有没有办法既能够提升最终融合图像的动态范围,使之反映实际场景,同时又能够在规定的时间要求内得到最佳的暗部区域的信噪比呢?这就是今天介绍这篇文章:



这篇文章回答了一个问题:我们是否可以寻找最佳的“拍摄时间、拍摄张数、以及每张图像的ISO值等成像参数",使得我们最终得到的图像在暗区能得到最佳的信噪比呢?

在进一步介绍之前,先给你看看作者展示的结果:

这是一幅南希教堂的图像,这里展示了三种不同的结果,左图由基础HDR的标准曝光时间组合方式形成,中间则是本文所阐述的方法,而右图则是理想对照图像。我们可以看到对于图像的暗区:

  • 基础的曝光组合得到的图像具有较大噪声,信噪比只有2.8dB

  • 基础的曝光组合用了最低的ISO值,以及对应的曝光时间

  • 上述论文则采用了最高的ISO值,以及特意计算得到的曝光时间,最终得到的图像在同样的暗区,信噪比提升了约12dB.

<br> (二维码自动识别)

那么,作者是如何做到这点的呢?这就必须首先从作者的一个反直觉的观察谈起。

观察:曝光时间限制时,高ISO值反而有更高的信噪比

传统上,人们倾向于使用最低的ISO设定来进行摄影,与此同时为了使得能获得不同的单帧动态范围,需要进行恰当的曝光时间的调整。比如,为了获得亮帧和暗帧,需要分别设置较长和较短的曝光时间。



之所以用较低的ISO值,是人们发现低ISO设定在曝光时间自由时,在相同的图像亮度情况下噪声低于高ISO的图像,正如我在上一篇文章60. 数码相机成像时的噪声模型与标定所示例的一样:



然而作者发现,如果我们需要限制曝光时间时,高ISO设定反而能得到更好的信噪比。这很好理解,如果限制了较短的曝光时间,低ISO值的图像就很暗,加性噪声,尤其是其中的ADC噪声很突出。而按照我们上一讲的讲解,此时的信噪比约为:



由这个式子可以简单仿真可知,其他条件不变时 g越小即ISO越小,信噪比越低。反之,ISO越大时信噪比越高。作者论文中的下面这幅图也说明了这一点:



上图中,左边是不固定曝光时间时,低ISO设定能得到更好的信噪比。而固定曝光时间时,高ISO设定能在图像的暗区得到更好的信噪比。有趣的是,高ISO使得像素更容易饱和,因此当亮度超过一定阈值后,像素饱和,此时信噪比就掉到0了。

通常来说,在HDR的拍摄过程中是对总拍摄时间有要求的,那么是不是说明我们尽可能用高的ISO设定能达到最终信噪比更高的目的呢?

回到我之前提到的HDR融合公式:



作者指出,要想让融合后图像I信噪比最高,所选择的每像素权重应该:


这样最终图像的信噪比可以表达为:



这样,为了使得SNR在最低亮度时最佳,我们就需要搜索最佳的ti, gi, mi,j的组合——这就把问题变成了一个混合整数线性规划问题:



这样,只要我们能实现知道成像系统的噪声参数(在上一篇文章的第5节有讲如何标定噪声参数), 就可以用作者的方法求得最佳的拍摄方式组合,从而得到最佳的暗区信噪比。我们再次来看看作者的结果:

下图中,基础曝光组合采用了ISO100,曝光时间1/200s, 1/400s以及1/800s三帧图像融合。你可以观察到结果在暗区有比较明显的噪声,测试信噪比经过计算只有5.9dB。而作者采用了优化后的组合,即ISO6400两张,分别对应1/125s和1/1600s,再加ISO800一张,对应1/6400s,做到了在最短的拍摄时间内得到了大幅度提升的暗区信噪比,同样的测试区域有16.2dB, 肉眼上观察也非常接近理想结果!



由于作者的优化目标是暗区信噪比,在亮区作者也说明其方法的信噪比不如基础曝光组合,但由于亮区的信噪比已经超过了人类的感知阈值,所以肉眼观察上去并没有那么明显的差异。下图进一步说明了结果,红色线代表基础曝光组合,绿色线是作者的优化方法的结果,黑色是理想结果。可见在图像暗区,作者的优化结果更加接近理想图像的效果。随着图像亮度变亮,高ISO导致部分像素饱和,此方法的SNR慢慢开始差于基础曝光组合,当然根据作者的说法,亮区的这种差别肉眼上观察并不明显。



总结起来,今天的文章延续我上一篇文章60. 数码相机成像时的噪声模型与标定,用一种基于噪声模型优化的HDR融合方法来展示了噪声模型的应用。这种方法指出HDR生成算法本质上是一种多帧融合去噪算法,而以前的方法并没有基于噪声模型精确的进行信噪比的优化。该方法很好的提升了暗区的信噪比,但亮区的信噪比却不如基础的HDR算法——这给了我一个灵感:也许我们每一次进行HDR拍摄时,通过组合不同的曝光时间和ISO值进行融合,在图像的暗区采用上文作者的结果,而亮区采用基础曝光组合的结果,两部分拼起来,就能得到各方面都最优的结果呢?这是完全值得一试的方案!

参考资料:

  1. CMU 2020 Fall Computational Photography Course 15-463, Lecture 7

  2. Hasinoff et al., “Noise-Optimal Capture for High Dynamic Range Photography,” CVPR 2010.

  3. Hasinoff, “Fundamentals of Computational Photography: Sensors and Noise,” ICCP 2010 tutorial

努力分享优质的计算机视觉相关内容,欢迎关注:
个人微信(如果没有备注不拉群!
请注明:地区+学校/企业+研究方向+昵称



下载1:何恺明顶会分享


AI算法与图像处理」公众号后台回复:何恺明,即可下载。总共有6份PDF,涉及 ResNet、Mask RCNN等经典工作的总结分析


下载2:终身受益的编程指南:Google编程风格指南


AI算法与图像处理」公众号后台回复:c++,即可下载。历经十年考验,最权威的编程规范!



下载3 CVPR2021

AI算法与图像处公众号后台回复:CVPR即可下载1467篇CVPR 2020论文 和 CVPR 2021 最新论文




浏览 27
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报