Python项目实战篇——常用验证码标注&识别(数据采集/预处理/字符图切割)

Python爬虫与数据挖掘

共 2905字,需浏览 6分钟

 ·

2021-09-14 23:01

点击上方“Python爬虫与数据挖掘”,进行关注

回复“书籍”即可获赠Python从入门到进阶共10本电子书

愿得此身长报国,何须生入玉门关。

    大家好,我是Snowball。

一、前言

    上一篇文章小编给大家讲解了需求分析和实现思路,Python项目实战篇——常用验证码标注和识别(需求分析和实现思路),这篇文章继续沿着上一篇文章的内容,给大家讲解下数据采集/预处理/字符图切割内容。


二、数据采集

    数据采集:根据图片验证码链接进行批量下载图片,最开始时下载个20张先进行手动改文件名进行标注,下载这块代码编写不难,这里不贴代码了,见image_download.py文件。


三、预处理

    预处理:根据需求分析中的字符切割描述,针对笔者的图片验证码案例情况,需要先进行常规验证码图片预处理,预处理通过OpenCV库实现,处理过程为:

原始图->灰度图->中值滤波->二值化->轮廓检测绘制(部分情况才可以加)->字符切割填充

大概过程功能简单描述如下,详细原理可以参考OpenCV相关文章和视频,引用链接:

[3.OpenCV文章专栏](https://blog.csdn.net/yukinoai/category_9283880.html)[4.OpenCV-Python视频](https://www.bilibili.com/video/BV1tb4y1C7j7)

原始图(RGB)转灰度图:去除颜色信息,减少图片大小,单通道值方便滤波处理。读者可以脑洞一下,不去除颜色信息,能提取到指定字符颜色的轮廓吗?

灰度图中值滤波:进行噪音去除,取中间像素平均值

二值化:只留下0、255二种值,方便轮廓检测

轮廓检测:这一步主要用于提取字符轮廓矩形坐标,不适合字符挨得特别紧的情况

字符切割填充:根据生成的字符轮廓图片矩形坐标进行切割再填充对齐到指定宽高

具体执行效果如下:

下面是预处理过程部分核心代码,详细代码见image_split.py文件

def pre_process_image(img, file_name):    # 去除边缘    img = img[2:-2, 2:-2]    # print(img.shape)
#得到灰度图 gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) # show("gray", gray)
#去除噪音 blur = cv2.medianBlur(gray, 3) # show("blur", blur)
temp = gray.mean().item() #二值化 ret, threshold = cv2.threshold(blur, temp, 255, cv2.THRESH_BINARY) # show("threshold", threshold)
#保存二值化图片 if IS_SAVE_FILE: cv2.imwrite(DST_IMG_DIR + file_name + "_threshold.png", threshold) return threshold

执行图片预处理程序后具体效果图1-3如下:

轮廓检测绘制结果1:

根据图片轮廓进行字符切割结果2:

根据字符切割图片进行文件分类结果3:

以上就是字符图片切割的全部过程了,核心过程代码如下:

def split_image(file_path):    file_name = get_file_name(file_path)    img = read_image(file_path)
#验证码预处理 threshold = pre_process_image(img, file_name)
#查找轮廓边界列表 contours = find_counters(threshold)
#过滤合适的轮廓矩形列表 rect_list,result_rect = get_filter_rect(contours, img, file_name)
#分割矩形图片 return split_rect_img(file_path, threshold, rect_list, result_rect)

    详细代码可以阅读源码,这里说一下这个过程中笔者编写预处理代码遇到的几个问题:

  1. 部分图片轮廓检测可以检测到多个轮廓,部分图片只有1-2个轮廓,部分可能一个轮廓都没有,这里代码进行了相应的调整处理,比如过滤大的外部轮廓和较小的内部轮廓,根据剩下的轮廓进行坐标排序,根据部分坐标得到所有字符轮廓

  2. 得到4个字符轮廓图片后,每个图片大小不一致,需要进行大小补齐,这个宽高参数需要根据数据集进行调整

    以上就是数据采集/预处理的实现过程了,这里稍微说下学习OpenCV相关知识过程的情况,笔者是采用文章+视频间断性学习,大概是20-40个小时左右,然后再开始写具体字符图片切割的代码,读者可根据自己的时间安排学习速度,建议工具类的东西是快速学习,现学现用。好的,接下来介绍高效率、可复用的通用图片验证码数据标注功能实现。


四、总结

    我是Snowball。上一篇文章给大家分享了,Python项目实战篇——常用验证码标注和识别(需求分析和实现思路),这篇内容主要讲解了常用验证码标注&识别的数据采集/预处理的实现过程。下一篇文章,小编给大家介绍高效率、可复用的通用图片验证码数据标注功能实现。

    小伙伴们,快快用实践一下吧!如果在学习过程中,有遇到任何问题,欢迎加我好友,我拉你进Python学习交流群共同探讨学习。

------------------- End -------------------

往期精彩文章推荐:

欢迎大家点赞,留言,转发,转载,感谢大家的相伴与支持

想加入Python学习群请在后台回复【入群

万水千山总是情,点个【在看】行不行

/今日留言主题/

随便说一两句吧~~

浏览 12
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报