Python 图像处理 OpenCV （15）：图像轮廓
共 6948字，需浏览 14分钟
·
2020-07-28 15:18
引言
其实蛮不好意思的，刚才翻了翻自己的博客，上次写 OpenCV 的文章已经接近半个月以前了，我用 3 秒钟的时间回想了下最近两星期时间都花在哪了。
每次思考这种问题总会下意识甩锅给工作，最近工作忙的一批，emmmmmmmmmmmm。。。。。。。。。
这么骗自己是不对的！
实际上是美剧真香，最近把「反击」从第一季到第六季看了一遍，还不错，喜欢看动作类的同学可以尝试下。
本篇文章是关于图像处理轮廓方面的，下面开始正文，希望能帮到各位。
Q：什么是轮廓？
A：轮廓是一系列相连的点组成的曲线，代表了物体的基本外形，相对于边缘，轮廓是连续的，边缘并不全部连续。
寻找轮廓
寻找轮廓 OpenCV 为我们提供了一个现成的函数 findContours() 。
在 OpenCV 中，轮廓提取函数 findContours() 实现的是 1985 年由一名叫做 Satoshi Suzuki 的人发表的一篇论文中的算法，如下：
Satoshi Suzuki and others. Topological structural analysis of digitized binary images by border following. Computer Vision, Graphics, and Image Processing, 30(1):32–46, 1985.
对原理感兴趣的同学可以去搜搜看，不是很难理解。
先看一个示例代码：
import cv2 as cv
img = cv.imread("black.png")
gray_img = cv.cvtColor(img, cv.COLOR_BGR2GRAY)
# 降噪
ret, thresh = cv.threshold(gray_img, 127, 255, 0)
# 寻找轮廓
contours, hierarchy = cv.findContours(thresh, cv.RETR_TREE, cv.CHAIN_APPROX_NONE)
print(len(contours[0]))
这段代码先用 threshold() 对图像进行降噪处理，它的原型函数如下：
retval, dst = cv.threshold(src, thresh, maxval, type[, dst] )
dst：结果图像。 src：原图像。 thresh：当前阈值。 maxVal：最大阈值，一般为255。 type：阈值类型，可选值如下：
enum ThresholdTypes {
THRESH_BINARY = 0, # 大于阈值的部分被置为 255 ，小于部分被置为 0
THRESH_BINARY_INV = 1, # 大于阈值部分被置为 0 ，小于部分被置为 255
THRESH_TRUNC = 2, # 大于阈值部分被置为 threshold ，小于部分保持原样
THRESH_TOZERO = 3, # 小于阈值部分被置为 0 ，大于部分保持不变
THRESH_TOZERO_INV = 4, # 大于阈值部分被置为 0 ，小于部分保持不变
THRESH_OTSU = 8, # 自动处理，图像自适应二值化，常用区间 [0,255]
};
查找轮廓使用的函数为 findContours() ，它的原型函数如下：
cv2.findContours(image, mode, method[, contours[, hierarchy[, offset ]]])
image：源图像。 mode：表示轮廓检索模式。
cv2.RETR_EXTERNAL 表示只检测外轮廓。
cv2.RETR_LIST 检测的轮廓不建立等级关系。
cv2.RETR_CCOMP 建立两个等级的轮廓，上面的一层为外边界，里面的一层为内孔的边界信息。如果内孔内还有一个连通物体，这个物体的边界也在顶层。
cv2.RETR_TREE 建立一个等级树结构的轮廓。
method：表示轮廓近似方法。
cv2.CHAIN_APPROX_NONE 存储所有的轮廓点。
cv2.CHAIN_APPROX_SIMPLE 压缩水平方向，垂直方向，对角线方向的元素，只保留该方向的终点坐标，例如一个矩形轮廓只需4个点来保存轮廓信息。
这里可以使用 print(len(contours[0])) 函数将包含的点的数量打印出来，比如在上面的示例中，使用参数 cv2.CHAIN_APPROX_NONE 轮廓点有 1382 个，而使用参数 cv2.CHAIN_APPROX_SIMPLE 则轮廓点只有 4 个。
绘制轮廓
绘制轮廓使用到的 OpenCV 为我们提供的 drawContours() 这个函数，下面是它的三个简单的例子：
# To draw all the contours in an image:
cv2.drawContours(img, contours, -1, (0,255,0), 3)
# To draw an individual contour, say 4th contour:
cv2.drawContours(img, contours, 3, (0,255,0), 3)
# But most of the time, below method will be useful:
cnt = contours[4]
cv2.drawContours(img, [cnt], 0, (0,255,0), 3)
drawContours() 函数中有五个参数：
第一个参数是源图像。 第二个参数是应该包含轮廓的列表。 第三个参数是列表索引，用来选择要绘制的轮廓，为-1时表示绘制所有轮廓。 第四个参数是轮廓颜色。 第五个参数是轮廓线的宽度，为 -1 时表示填充。
我们接着前面的示例把使用 findContours() 找出来的轮廓绘制出来：
import cv2 as cv
img = cv.imread("black.png")
gray_img = cv.cvtColor(img, cv.COLOR_BGR2GRAY)
cv.imshow("img", img)
# 降噪
ret, thresh = cv.threshold(gray_img, 127, 255, 0)
# 寻找轮廓
contours, hierarchy = cv.findContours(gray_img, cv.RETR_TREE, cv.CHAIN_APPROX_NONE)
print(len(contours[0]))
# 绘制绿色轮廓
cv.drawContours(img, contours, -1, (0,255,0), 3)
cv.imshow("draw", img)
cv.waitKey(0)
cv.destroyAllWindows()
特征矩
特征矩可以帮助我们计算一些图像的特征，例如物体的质心，物体的面积等，使用的函数为 moments() 。
moments() 函数会将计算得到的矩以字典形式返回。
import cv2 as cv
img = cv.imread("number.png")
gray_img = cv.cvtColor(img, cv.COLOR_BGR2GRAY)
# 降噪
ret, thresh = cv.threshold(gray_img, 127, 255, 0)
# 寻找轮廓
contours, hierarchy = cv.findContours(gray_img, cv.RETR_TREE, cv.CHAIN_APPROX_NONE)
cnt = contours[0]
# 获取图像矩
M = cv.moments(cnt)
print(M)
# 质心
cx = int(M['m10'] / M['m00'])
cy = int(M['m01'] / M['m00'])
print(f'质心为：[{cx}, {cy}]')
这时，我们取得了这个图像的矩，矩 M 中包含了很多轮廓的特征信息，除了示例中展示的质心的计算，还有如 M['m00'] 表示轮廓面积。
轮廓面积
area = cv.contourArea(cnt)
print(f'轮廓面积为:{area}')
这里取到的轮廓面积和上面 M['m00'] 保持一致。
轮廓周长
perimeter = cv.arcLength(cnt, True)
print(f'轮廓周长为:{perimeter}')
参数 True 表示轮廓是否封闭，我们这里的轮廓是封闭的，所以这里写 True 。
轮廓外接矩形
轮廓外接矩形分为正矩形和最小矩形。使用 cv2.boundingRect(cnt) 来获取轮廓的外接正矩形，它不考虑物体的旋转，所以该矩形的面积一般不会最小；使用 cv.minAreaRect(cnt) 可以获取轮廓的外接最小矩形。
两者的区别如上图，绿线代表的是外接正矩形，红线代表的是外接最小矩形，代码如下：
import cv2 as cv
import numpy as np
img = cv.imread("number.png")
gray_img = cv.cvtColor(img, cv.COLOR_BGR2GRAY)
# 降噪
ret, thresh = cv.threshold(gray_img, 127, 255, 0)
# 寻找轮廓
contours, hierarchy = cv.findContours(gray_img, cv.RETR_TREE, cv.CHAIN_APPROX_NONE)
cnt = contours[0]
# 外接正矩形
x, y, w, h = cv.boundingRect(cnt)
cv.rectangle(img, (x, y), (x + w, y + h), (0, 255, 0), 2)
# 外接最小矩形
min_rect = cv.minAreaRect(cnt)
print(min_rect)
box = cv.boxPoints(min_rect)
box = np.int0(box)
cv.drawContours(img, [box], 0, (0, 0, 255), 2)
cv.imshow("draw", img)
cv.waitKey(0)
cv.destroyAllWindows()
boundingRect() 函数的返回值包含四个值，矩形框左上角的坐标 (x, y) 、宽度 w 和高度 h 。
minAreaRect() 函数的返回值中还包含旋转信息，返回值信息为包括中心点坐标 (x,y) ，宽高 (w, h) 和旋转角度。
轮廓近似
根据我们指定的精度，它可以将轮廓形状近似为顶点数量较少的其他形状。它是由 Douglas-Peucker 算法实现的。
OpenCV 提供的函数是 approxPolyDP(cnt, epsilon, True) ，第二个参数 epsilon 用于轮廓近似的精度，表示原始轮廓与其近似轮廓的最大距离，值越小，近似轮廓越拟合原轮廓。第三个参数指定近似轮廓是否是闭合的。具体用法如下：
import cv2 as cv
img = cv.imread("number.png")
gray_img = cv.cvtColor(img, cv.COLOR_BGR2GRAY)
# 降噪
ret, thresh = cv.threshold(gray_img, 127, 255, 0)
# 寻找轮廓
contours, hierarchy = cv.findContours(gray_img, cv.RETR_TREE, cv.CHAIN_APPROX_NONE)
cnt = contours[0]
# 计算 epsilon ，按照周长百分比进行计算，分别取周长 1% 和 10%
epsilon_1 = 0.1 * cv.arcLength(cnt, True)
epsilon_2 = 0.01 * cv.arcLength(cnt, True)
# 进行多边形逼近
approx_1 = cv.approxPolyDP(cnt, epsilon_1, True)
approx_2 = cv.approxPolyDP(cnt, epsilon_2, True)
# 画出多边形
image_1 = cv.cvtColor(gray_img, cv.COLOR_GRAY2BGR)
image_2 = cv.cvtColor(gray_img, cv.COLOR_GRAY2BGR)
cv.polylines(image_1, [approx_1], True, (0, 0, 255), 2)
cv.polylines(image_2, [approx_2], True, (0, 0, 255), 2)
cv.imshow("image_1", image_1)
cv.imshow("image_2", image_2)
cv.waitKey(0)
cv.destroyAllWindows()
第一张图是 epsilon 为原始轮廓周长的 10% 时的近似轮廓，第二张图中绿线就是 epsilon 为原始轮廓周长的 1% 时的近似轮廓。
轮廓凸包
凸包外观看起来与轮廓逼近相似，只不过它是物体最外层的「凸」多边形。
如下图，红色的部分为手掌的凸包，双箭头部分表示凸缺陷(Convexity Defects)，凸缺陷常用来进行手势识别等。
import cv2 as cv
img = cv.imread("number.png")
gray_img = cv.cvtColor(img, cv.COLOR_BGR2GRAY)
# 降噪
ret, thresh = cv.threshold(gray_img, 127, 255, 0)
# 寻找轮廓
contours, hierarchy = cv.findContours(gray_img, cv.RETR_TREE, cv.CHAIN_APPROX_NONE)
cnt = contours[0]
# 绘制轮廓
image = cv.cvtColor(gray_img, cv.COLOR_GRAY2BGR)
cv.drawContours(image, contours, -1, (0, 0 , 255), 2)
# 寻找凸包，得到凸包的角点
hull = cv.convexHull(cnt)
# 绘制凸包
cv.polylines(image, [hull], True, (0, 255, 0), 2)
cv.imshow("image", image)
cv.waitKey(0)
cv.destroyAllWindows()
还有一个函数，是可以用来判断图形是否凸形的：
print(cv.isContourConvex(hull)) # True
它的返回值是 True 或者 False 。
最小闭合圈
接下来，使用函数 cv.minEnclosingCircle() 查找对象的圆周。它是一个以最小面积完全覆盖物体的圆。
import cv2 as cv
img = cv.imread("number.png")
gray_img = cv.cvtColor(img, cv.COLOR_BGR2GRAY)
# 降噪
ret, thresh = cv.threshold(gray_img, 127, 255, 0)
# 寻找轮廓
contours, hierarchy = cv.findContours(gray_img, cv.RETR_TREE, cv.CHAIN_APPROX_NONE)
cnt = contours[0]
# 绘制最小外接圆
(x, y), radius = cv.minEnclosingCircle(cnt)
center = (int(x), int(y))
radius = int(radius)
cv.circle(img, center, radius, (0, 255, 0), 2)
cv.imshow("img", img)
cv.waitKey(0)
cv.destroyAllWindows()
下一个是把一个椭圆拟合到一个物体上。它返回内接椭圆的旋转矩形。
ellipse = cv.fitEllipse(cnt)
cv.ellipse(img, ellipse, (0, 255, 0), 2)
参考
https://zhuanlan.zhihu.com/p/61328775
https://zhuanlan.zhihu.com/p/77783347
