提高计算机视觉任务的图像质量

AI算法与图像处理

共 6462字,需浏览 13分钟

 ·

2021-10-26 16:24

点击下方AI算法与图像处理”,一起进步!

重磅干货,第一时间送达

介绍
当我们开始从事任何基于计算机视觉的任务时,我们所有人都面临的几个问题是,要么是缺乏数据,要么是数据质量的问题。
数据量较少仍然只有两种可能的解决方案,一种是尝试获取更多数据或继续使用不同的增强技术,但是当我们谈论数据质量时,数据质量差异很大,因为在某些限制性的指导原则下,你不会点击所有的图像。用户可以在不同的光照条件、不同的角度和 DPI 下单击图像,因此提出一种适用于所有这些的理想图像增强技术是一种 NP 难题。
因此,有一组方法主要用于增强计算机视觉任务的图像质量,例如对象检测、图像分类、OCR 等。我们将通过示例图像并应用各种增强技术来一一讨论它们.
我们将在本文中讨论的技术如下:
  1. 二值化/阈值化
  2. 降噪
  3. 纠偏
  4. 重新缩放
  5. 形态学操作
  6. 为了尝试这些操作,我们将使用Python3语言及其两个库, PillowOpenCV

二值化

此技术用于将图像从 RGB 转换为单色(黑白),通常称为**阈值处理。**该技术主要用于需要白底黑字的 OCR 任务。
OCR 模型在白底黑字的图像上进行训练,以提高准确性,因此对图像进行二值化有助于提高 OCR 模型的质量。二值化图像还有助于节省空间并加快处理速度,因为与其他多通道图像格式相比,它只有一个颜色通道。
OpenCV 库提供了多种类型的二值化技术。
1. 二进制阈值:这是最简单的一个,我们必须定义一个阈值,低于该阈值,所有像素值都被转换为黑色,其余的像素值会转换为白色,从而得到二值化图像,你可以使用以下代码片段来对图像进行二进制阈值处理。
## import dependencies
import cv2
from PIL import Image
import matplotlib.pyplot as plt
## reading image
img = cv2.imread('text_document.jpg',0)
## apply binary thresholding
ret,thresh1 = cv2.threshold(img,170,255,cv2.THRESH_BINARY)
## plot original and binarised image 
titles = ['Original Image''Binary Thresholding']
images = [img, thresh1]
for i in range(2):
    plt.figure(figsize=(20,20))
    plt.subplot(2,3,i+1),plt.imshow(images[i],'gray',vmin=0,vmax=255)
    plt.title(titles[i])
    plt.xticks([]),plt.yticks([])
上面的代码将产生以下图像:
2. 自适应阈值:与二元阈值法不同,该方法根据像素值的小周围区域来确定其阈值。这种方法也有两种类型:
  • 自适应阈值均值:阈值是平均值附近区域减去固定的Ç
  • 自适应高斯阈值:阈值是邻域值减去常数C的高斯加权总和。
该方法主要用于去除图像中的不同光照条件,因为我们根据其周围区域获得像素值。
## import dependencies

import cv2

from PIL import Image

import matplotlib.pyplot as plt

## reading image

img = cv2.imread('lighting_conditions.jpg'0)

## apply adaptive thresholding 

## adaptive mean thresholding 

th1 = cv2.adaptiveThreshold(img,255,cv2.ADAPTIVE_THRESH_MEAN_C,

            cv2.THRESH_BINARY,11,2)

## adaptive gaussian thresholding

th2 = cv2.adaptiveThreshold(img,255,cv2.ADAPTIVE_THRESH_GAUSSIAN_C,

            cv2.THRESH_BINARY,11,2)

## plot original and binarised image 

titles = ['Original Image''Adaptive Mean Thresholding''Adaptive Gaussian Thresholding']

images = [img, th1, th2]

plt.figure(figsize=(20,20))

for i in range(3):

    plt.subplot(2,3,i+1),plt.imshow(images[i],'gray',vmin=0,vmax=255)

    plt.title(titles[i])

    plt.xticks([]),plt.yticks([])
上述代码的输出如下:
3. Otsu's Binrisation:该方法不需要任何阈值参数,因为它会自动确定。此方法通过创建所有像素值的直方图,然后从中计算平均值来确定阈值。
## import dependencies

import cv2

from PIL import Image

import matplotlib.pyplot as plt

## reading image

img = cv2.imread('lighting_conditions.jpg'0)

## apply Otru's thresholding

ret3,th1 = cv2.threshold(img,0,255,cv2.THRESH_BINARY+cv2.THRESH_OTSU)

## plot original and binarised image 

titles = ["Original Image""Binary Otsu's Thresholding"]

images = [img, th1]

plt.figure(figsize=(20,20))

for i in range(2):

    plt.subplot(2,3,i+1),plt.imshow(images[i],'gray',vmin=0,vmax=255)

    plt.title(titles[i])

    plt.xticks([]),plt.yticks([])

上述代码的输出如下:

降噪

大多数计算机视觉任务失败的最重要因素是噪声。噪声可以是高斯噪声(由于不同的光照条件而产生)和椒盐噪声(稀疏的明暗干扰)。
有时图像对人眼看起来更好,但是当我们将这些图像传递给任何基于计算机视觉的模型时,例如分类和对象检测,结果都不理想,因为我们想要找到的噪声对象失真,并且可能与模型训练的对象不匹配,因此图像中的噪声会降低模型的准确性。
OpenCV 提供了一个名为 fastNIMeansDenoising() 的函数,它可以平滑图像以减少图像噪声。
## import dependencies

import cv2

from PIL import Image

import matplotlib.pyplot as plt

## reading image

img = cv2.imread('noisy_image.jpg')

## apply image denoising

dst = cv2.fastNlMeansDenoisingColored(img,None,10,10,7,21)

## plot original and denoised image 

titles = ["Original Image""Denoised Image"]

images = [img, dst]

plt.figure(figsize=(20,20))

for i in range(2):

    plt.subplot(2,3,i+1),plt.imshow(images[i],'gray',vmin=0,vmax=255)

    plt.title(titles[i])

    plt.xticks([]),plt.yticks([])

上面的代码将产生以下图像:

纠偏

纠偏是从图像中去除偏斜(角度不同于 0)的过程。这个问题没有具体的解决方案。你可能会在网络上找到多种解决方案,但是当你在图像上尝试这些解决方案时,这可能对你没有意义。
所以我建议你训练你自己的基于计算机视觉的模型,创建一个对多角度图像进行分类的分类模型是最好的选择。

重新缩放

重新缩放是放大或缩小图像以改变图像分辨率的过程。当你重新缩放图像时,该图像中的不同像素值将被复制以使其更加像素化,并删除像素值以使其缩小。
此方法主要用于图像分类和对象检测,因为你需要将图像重新缩放到模型输入大小。
假设你正在为猫和狗的类型创建 VGG 分类器,你有一些可能大小不同的图像,因此你无法将这些图像按原样传递给模型,因为模型需要固定的图像大小. 在这种情况下,你需要根据模型的输入尺寸缩小或放大图像尺寸。
重新缩放图像的简单方法如下:
## import dependencies
import cv2
from PIL import Image
import numpy as np
import matplotlib.pyplot as plt
## reading image
img = Image.open('noisy_image.jpg')
## apply image rescaling and making image 300x300 (downscaling)
dst = img.resize((50,50))
## plot original and downscaled image
titles = ["Original Image""Rescaled Image"]
images = [np.asarray(img), np.asarray(dst)]
plt.figure(figsize=(20,20))
for i in range(2):
    plt.subplot(2,3,i+1),plt.imshow(images[i],'gray',vmin=0,vmax=255)
    plt.title(titles[i])
    plt.xticks([]),plt.yticks([])
上面的代码将产生以下图像:

形态学操作

形态学操作是一些用于图像变换的简单操作形式。对于图像变换,输入图像数组与决定操作性质的核相乘。
当你有一些物体的边界看不清楚时,你可以使用形态学操作来扩大它的边界,这将有助于轻松找到物体,同样,如果边界很大,你可以用同样的方法缩小它。这些技术主要用于 ICR,因为它们的文本边界较小,需要放大以便 ICR 模型识别它们。
两种主要的形态学操作如下:
1. 腐蚀:此操作试图腐蚀图像的前景,从而使图像中的白色像素值最小化。腐蚀的程度完全取决于内核的大小以及你应用该内核的迭代次数。内核是一个正方形大小的矩阵,只有 1 和 0 值来生成腐蚀图像。
使用 5×5 矩阵应用于一次迭代的腐蚀如下所示:
## import dependencies
import cv2
from PIL import Image
import matplotlib.pyplot as plt
## reading image
img = cv2.imread('text_document.jpg'0)
## apply erosion
kernel = np.ones((5,5),np.uint8)
erosion = cv2.erode(img,kernel,iterations = 1)
## plot original and eroded image
titles = ["Original Image""Eroded Image"]
images = [img, erosion]
plt.figure(figsize=(20,20))
for i in range(2):
    plt.subplot(2,3,i+1),plt.imshow(images[i],'gray',vmin=0,vmax=255)
    plt.title(titles[i])
    plt.xticks([]),plt.yticks([])
结果图像如下:
2.膨胀:这个操作与腐蚀相反,它试图最大化图像中的白色区域。这也取决于内核大小和迭代次数。
使用 5×5 内核大小进行 1 次迭代的膨胀如下所示:
## import dependencies
import cv2
from PIL import Image
import matplotlib.pyplot as plt
## reading image
img = cv2.imread('text_document.jpg'0)
## apply dilation
kernel = np.ones((5,5),np.uint8)
dilation = cv2.dilate(img,kernel,iterations = 1)
## plot original and dilated image
titles = ["Original Image""Dilated Image"]
images = [img, dilation]
plt.figure(figsize=(20,20))
for i in range(2):
    plt.subplot(2,3,i+1),plt.imshow(images[i],'gray',vmin=0,vmax=255)
    plt.title(titles[i])
    plt.xticks([]),plt.yticks([])
这些操作取决于内核大小和值,主要用于为 OCR 模型准备图像。

结论

这些是一些最重要的技术,你可以使用它们来提高图像质量,从而提高基于计算机视觉的模型的准确性。没有选择算法的正确方法,它完全是基于尝试最适合你的数据的方法。
有时,选择可以是单独的,有时你必须使用这些算法的组合,以使你的数据更适合你的算法。总之,如果你的图像质量太差,并且你希望这些算法在这些图像上工作,你会有些不满,因为这些技术可以改善噪声和杂质较少的图像,但对于非常糟糕的图像,它可能不起作用。
现在你可以根据你的用例继续尝试这些操作。
努力分享优质的计算机视觉相关内容,欢迎关注:

交流群


欢迎加入公众号读者群一起和同行交流,目前有美颜、三维视觉计算摄影、检测、分割、识别、医学影像、GAN算法竞赛等微信群


个人微信(如果没有备注不拉群!
请注明:地区+学校/企业+研究方向+昵称



下载1:何恺明顶会分享


AI算法与图像处理」公众号后台回复:何恺明,即可下载。总共有6份PDF,涉及 ResNet、Mask RCNN等经典工作的总结分析


下载2:终身受益的编程指南:Google编程风格指南


AI算法与图像处理」公众号后台回复:c++,即可下载。历经十年考验,最权威的编程规范!



下载3 CVPR2021

AI算法与图像处公众号后台回复:CVPR即可下载1467篇CVPR 2020论文 和 CVPR 2021 最新论文



浏览 24
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报