人脸识别:insightface自定义数据集制作 | 附练手数据集

小白学视觉

共 8418字,需浏览 17分钟

 ·

2020-12-23 16:43

点击上方小白学视觉”,选择加"星标"或“置顶

重磅干货,第一时间送达

转自|小白玩转python

01

人脸识别简介


简单来讲,人脸识别这个问题,就是给定两个人脸,然后判定他们是不是同一个人,这是它最原始的定义。它有很多应用场景,比如银行柜台、海关、手机解、酒店入住、网吧认证,会查身份证跟你是不是同一个人。


关于人脸识别的内容,网上资料很多,这里推荐一篇综述,详细介绍了一些人脸识别的背景和目前的相关研究,以及常用的人脸识别模型:

http://www.elecfans.com/d/709424.html


好了,直接进入主题,今天的重点:

insightface论文:https://arxiv.org/abs/1801.07698

insightface github项目:https://github.com/deepinsight/insightface



02

制作数据集


一、环境配置


官方提供的项目是基于mxnet框架的

因此首先需要配置好这些环境,这里假设已经安装好cuda等


mxnet的安装相对来说比较简单(相对于caffe)

(1)查询自己cuda的版本

# 输入nvcc -V# 输出结果nvcc: NVIDIA (R) Cuda compiler driverCopyright (c) 2005-2017 NVIDIA CorporationBuilt on Fri_Sep__1_21:08:03_CDT_2017Cuda compilation tools, release 9.0, V9.0.176

(2)用pip安装mxnet(GPU版本)

pip install mxnet-cu90# 根据自身情况查询对应的安装命令,例如我服务器的cuda版本是10.0的,安装命令为 pip install mxnet-cu100


二、克隆项目和数据集下载


将insight项目克隆到本地

git clone --recursive https://github.com/deepinsight/insightface.git

下载lfw数据集

链接:http://vis-www.cs.umass.edu/lfw/index.html#download


这里为了方便,提供了lfw的部分用于练手

练手数据集https://www.lanzous.com/i7gdxva,仅用于制作数据集练手


观察数据集:

这里提供了20个用于练手,完整数据集可以去上面的链接或自行查找下载。

说明:每个文件夹名为人的姓名,文件夹内包含多张人脸(>=1)。


三、开始制作所需要格式的数据集


(1)数据对齐并生成lst文件


将lfw数据集下载好并放置在datasets下(这里以lfwdata命名的文件夹),然后新建一个文件夹并命名为output保存对齐后的人脸图片,新建一个文件夹命名为train用于保存输出结果


运行insightface项目下 src/align下的align_lfw.py文件

python align_lfw.py --input-dir ../../datasets/lfwdata --output-dir ../../datasets/output

--input :输入需要对齐的数据的路径

--output:输出对齐后的数据保存路径


对齐后的图片



遇到问题1:

ValueError: Object arrays cannot be loaded when allow_pickle=False

解决方案:

pip3 install numpy==1.16.1 

如果已安装了多个numpy版本,需要先将其卸载后在运行

遇到问题2:

AttributeError: module 'scipy.misc' has no attribute 'imread'

解决方案:

pip install scipy==1.1.0


如果成功运行,output文件夹下会产生对齐后的人脸以及一个lst文件(将lst文件改名为 train.lst,并移动到train文件下

终端下,移动和重命名的操作

# 重命名 mv [原始文件名] [改变后的文件名] mv lst train.lst# 移动 mv [起始文件路径] [目标文件路径]mv train.lst ../train/

观察生成的 lst 文件内容:

1       ../../datasets/train/Abbas_Kiarostami/Abbas_Kiarostami_0001.jpg 01       ../../datasets/train/Abdel_Aziz_Al-Hakim/Abdel_Aziz_Al-Hakim_0001.jpg   1# 其中1代表对齐,最后的数字0,1代表class label 中间是地址;需要用\t表示tab键,不能用空格间隔。

(2)创建property配置文件

在datasets/train下创建property,没有后缀

写入下面内容,含义1000,112,112代表ID数量,尺寸,尺寸

1000,112,112


(3)生成rec&idx文件(依托于lst文件)


运行src/data face2rec2.py

python face2rec2.py ../../datasets/train/


运行可能会报错,需要修改,可能原因是源代码是基于python2的

在python3下运行,修改第105行成如下所示:

s = mx.recordio.pack(header, b'')

运行成功后会出现两个文件

train.idx和train.rec

将train.idx, train.rec是放置在train文件夹中,用于后续训练使用,不然后续创建pair会报错


(4)创建pair文件


为了做测试我们需要生成验证集用的bin文件,bin文件生成前需要做pair文件,就是一对一对的数据,每一行分别是

图A的目录 空格 图B的目录 空格 标志0/1(代表两张图类别一致否)

在src/data下新建一个代码generate_image_pairs.py用于生成pairs

代码来源:https://blog.csdn.net/CLOUD_J/article/details/100672392

# coding:utf-8import sysimport osimport randomimport timeimport itertoolsimport pdbimport argparse#src = '../../datasets/lfw2'#dst = open('../../datasets/lfw/train.txt', 'a')parser = argparse.ArgumentParser(description='generate image pairs')# generalparser.add_argument('--data-dir', default='', help='')parser.add_argument('--outputtxt', default='', help='path to save.')parser.add_argument('--num-samepairs',default=100)args = parser.parse_args()cnt = 0same_list = []diff_list = []list1 = []list2 = []folders_1 = os.listdir(args.data_dir)dst = open(args.outputtxt, 'a')count = 0dst.writelines('\n')# 产生相同的图像对for folder in folders_1:    sublist = []    same_list = []    imgs = os.listdir(os.path.join(args.data_dir, folder))    for img in imgs:        img_root_path = os.path.join(args.data_dir, folder, img)        sublist.append(img_root_path)        list1.append(img_root_path)    for item in itertools.combinations(sublist, 2):        for name in item:            same_list.append(name)    if len(same_list) > 10 and len(same_list) < 13:        for j in range(0, len(same_list), 2):                if count < int(args.num_samepairs):#数量可以修改                    dst.writelines(same_list[j] + ' ' + same_list[j+1]+ ' ' + '1' + '\n')                    count += 1    if count >= int(args.num_samepairs):        breaklist2 = list1.copy()# 产生不同的图像对diff = 0print(count)# 如果不同的图像对远远小于相同的图像对,则继续重复产生,直到两者相差很小while True:    random.seed(time.time() * 100000 % 10000)    random.shuffle(list2)    for p in range(0, len(list2) - 1, 2):        if list2[p] != list2[p + 1]:            dst.writelines(list2[p] + ' ' + list2[p + 1] + ' ' + '0'+ '\n')            diff += 1            if diff >= count:                break            #print(diff)    if diff < count:        #print('--')        continue    else:        break

运行generate_image_pairs.py

python3 generate_image_pairs.py --data-dir ../../datasets/output --outputtxt ../../datasets/train/train.txt --num-samepairs 5


--data-dir 后接对齐后的人脸

--outputtxt 用于保存train.txt文件

--num-samepairs  生成多少对(具体如何设置,还需要好好研究一下)

运行成功后在datasets/train下会生成一个train.txt文件

内容:

../../datasets/output/Abdullah/Abdullah_0002.jpg ../../datasets/output/Abdullah/Abdullah_0004.jpg 1# 前面两个分布是生成的pairs的路径,后面的0/1代表是否同一个人或类


(5)生成验证集bin文件

成功后利用/src/data/下的 lfw2pack.py生成bin文件

但是存在点问题,对lfw2pack.py进行稍微的修改,修改lfw2pack.py中19行,打#的为更改的,改为两个参数,一个是txt读出来的列表,另一个是总数量。

import mxnet as mxfrom mxnet import ndarray as ndimport argparseimport pickleimport sysimport ossys.path.append(os.path.join(os.path.dirname(__file__), '..', 'eval'))import lfwparser = argparse.ArgumentParser(description='Package LFW images')# generalparser.add_argument('--data-dir', default='', help='')# 修改1:图像大小修改为112,112parser.add_argument('--image-size', type=str, default='112,112', help='')parser.add_argument('--output', default='', help='path to save.')# 修改2:添加解析参数 parser.add_argument('--num-samepairs',default=100)args = parser.parse_args()lfw_dir = args.data_dirimage_size = [int(x) for x in args.image_size.split(',')]# 修改3:将文件名pairs.txt修改成train.txtlfw_pairs = lfw.read_pairs(os.path.join(lfw_dir, 'train.txt'))print(lfw_pairs)# 修改4:下一行进行修改成需要的格式# lfw_paths, issame_list = lfw.get_paths(lfw_dir, lfw_pairs, 'jpg')lfw_paths, issame_list = lfw.get_paths(lfw_pairs,int(args.num_samepairs)+1)#, 'jpg')lfw_bins = []#lfw_data = nd.empty((len(lfw_paths), 3, image_size[0], image_size[1]))print(len(issame_list))i = 0for path in lfw_paths:  with open(path, 'rb') as fin:    _bin = fin.read()    lfw_bins.append(_bin)    #img = mx.image.imdecode(_bin)    #img = nd.transpose(img, axes=(2, 0, 1))    #lfw_data[i][:] = img    i+=1    if i%1000==0:      print('loading lfw', i)with open(args.output, 'wb') as f:  pickle.dump((lfw_bins, issame_list), f, protocol=pickle.HIGHEST_PROTOCOL)

对应的get_paths这个文件存在src/eval/lfw.py下,把它也改了

def get_paths(pairs, same_pairs):    nrof_skipped_pairs = 0    path_list = []    issame_list = []    cnt = 1    for pair in pairs:      path0 = pair[0]      path1 = pair[1]      if cnt < same_pairs:        issame = True      else:        issame = False       if os.path.exists(path0) and os.path.exists(path1):    # Only add the pair if both paths exist        path_list += (path0,path1)        issame_list.append(issame)      else:        print('not exists', path0, path1)        nrof_skipped_pairs += 1      cnt += 1    if nrof_skipped_pairs>0:        print('Skipped %d image pairs' % nrof_skipped_pairs)    return path_list, issame_list

vim中多行注释方法:

多行注释:1. 进入命令行模式,按ctrl + v进入 visual block模式,然后按j, 或者k选中多行,把需要注释的行标记起来2. 按大写字母I,再插入注释符,例如 #3. 按esc键就会全部注释了取消多行注释:1. 进入命令行模式,按ctrl + v进入 visual block模式,按字母l横向选中列的个数,例如 # 需要选中2列2. 按字母j,或者k选中注释符号3. 按d键就可全部取消注释

之后再运行

python3 lfw2pack.py --data-dir ../../datasets/train --output ../../datasets/train/lfw.bin --num-samepairs 2

注意:我这里报错了(没有报错的小伙伴可以忽略)

    path0 = pair[0]IndexError: list index out of range

仔细分析之后,是因为在train.txt中存在空白行导致,直接删除即可,如果没有报错可以直接忽略


至此,我们已经完成了数据集的制作,后续会更新如何训练,以及使用。

这部分内容,是本人摸索了很久才搞定的,本文尽可能的写的详细,希望能帮到大家,写这篇的时候又重新操作了一遍,如果可以恳请小伙伴们能点个“在看”或分享到朋友圈。谢谢啦!

参考链接:

https://blog.csdn.net/CLOUD_J/article/details/100672392

https://blog.csdn.net/hanjiangxue_wei/article/details/86566497

·  END  ·

下载1:OpenCV-Contrib扩展模块中文版教程
在「小白学视觉」公众号后台回复:扩展模块中文教程即可下载全网第一份OpenCV扩展模块教程中文版,涵盖扩展模块安装、SFM算法、立体视觉、目标跟踪、生物视觉、超分辨率处理等二十多章内容。

下载2:Python视觉实战项目31讲
小白学视觉公众号后台回复:Python视觉实战项目31讲即可下载包括图像分割、口罩检测、车道线检测、车辆计数、添加眼线、车牌识别、字符识别、情绪检测、文本内容提取、面部识别等31个视觉实战项目,助力快速学校计算机视觉。

下载3:OpenCV实战项目20讲
小白学视觉公众号后台回复:OpenCV实战项目20讲即可下载含有20个基于OpenCV实现20个实战项目,实现OpenCV学习进阶。

下载4:leetcode算法开源书
小白学视觉公众号后台回复:leetcode即可下载。每题都 runtime beats 100% 的开源好书,你值得拥有!



交流群


欢迎加入公众号读者群一起和同行交流,目前有SLAM、三维视觉、传感器自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN算法竞赛等微信群(以后会逐渐细分),请扫描下面微信号加群,备注:”昵称+学校/公司+研究方向“,例如:”张三 + 上海交大 + 视觉SLAM“。请按照格式备注,否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告,否则会请出群,谢谢理解~


浏览 14
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报