搜索

OpenCV实现人脸对齐

小白学视觉

共 2706字，需浏览 6分钟

 ·

2021-12-01 13:48

点击上方“小白学视觉”，选择加"星标"或“置顶”

重磅干货，第一时间送达
一、人脸对齐介绍

在人脸识别中有一个重要的预处理步骤-人脸对齐，该操作可以大幅度提高人脸识别的准确率与稳定性，但是早期的OpenCV版本不支持人脸Landmark检测，因此一般都是通过对人脸进行分割，然后通过角点检测来寻找眼睛两个角点，连线之后根据它们有水平线的角度，旋转实现人脸对齐之后在提取人脸区域，OpenCV3.x版本开始支持获取Landmark数据，最常见的Landmark数据就是人脸的68个标准点位，图示如下：

实现对齐主要是基于眼睛的位置，对人脸倾斜进行几何变换，实现人脸对齐操作，人脸对齐对提高人脸识别率特别重要，常见的人脸识别系统都会包含人脸对齐操作，举例如下：

二、人脸对齐代码实现

基于OpenCV实现人脸对齐主要分为如下几步

1.人脸检测器定义与Landmark检测

OpenCV中通过HAAR或者LBP特征实现了人脸检测，最新的OpenCV3.4基于残差网络也实现了人脸检测，相关的文章可以阅读： 

OpenCV基于残差网络实现人脸检测

详解LBP特征与应用(人脸识别)

 有了人脸之后，我们就可以通过加载预训练的Landmark检测模型，实现Landmark检测，这里使用的模型是局部二值特征(LBF-Local Binary Feature)实现人脸68个点位的检测，这个也是2014年CVPR的一篇论文。最新的OpenCV3.4 Landmark检测器支持自定义人脸检测器设置，所以只要把我们上面的HAAR/LBP/残差人脸检测器设置过去就会自动检测人脸，然后发现Landmark数据。整个代码实现如下：

  1. // 创建LBF landmark 检测器
  2. Ptr<FacemarkLBF> facemark = FacemarkLBF::create(params);
  3. facemark->setFaceDetector((FN_FaceDetector)myDetector, &face_cascade);
  5. // 加载模型数据
  6. facemark->loadModel("D:/vcprojects/images/lbfmodel.yaml");
  7. cout << "Loaded model" << endl;
  9. // 开始检测
  10. printf("start to detect landmarks...\n");
  11. vector<Rect> faces;
  12. facemark->getFaces(img, faces);
  13. vector< vector<Point2f> > shapes;
  14. if (facemark->fit(img, faces, shapes))
  15. {
  16.     Point eye_left; // 36th
  17.     Point eye_right; // 45th
  18.     for (unsigned long i = 0; i
  19.         eye_left = shapes[i][36];
  20.         eye_right = shapes[i][45];
  21.         line(img, eye_left, eye_right, Scalar(255, 0, 0), 2, 8, 0);
  22.         face_alignment(img(faces[i]), eye_left, eye_right, faces[i]);
  24.         // 绘制人脸矩形区域
  25.         rectangle(img, faces[i], Scalar(255, 0, 0));
  26.         // 绘制人脸68个 landmark点位
  27.         for (unsigned long k = 0; k
  28.             cv::circle(img, shapes[i][k], 2, cv::Scalar(0, 0, 255), FILLED);
  29.     }
  30.     namedWindow("Detected_shape");
  31.     imshow("Detected_shape", img);
  32.     waitKey(0);
  33. }

2.Landmark数据处理

对Landmark数据提取获得眼睛位置坐标，这里我们获取的是36与45两个点坐标计算角度（参照第一张图），然后通过几何变换实现人脸对齐操作。代码如下：

  1. int offsetx = roi.x;
  2. int offsety = roi.y;
  4. // 计算中心位置
  5. int cx = roi.width / 2;
  6. int cy = roi.height / 2;
  8. // 计算角度
  9. int dx = right.x - left.x;
  10. int dy = right.y - left.y;
  11. double degree = 180 * ((atan2(dy, dx)) / CV_PI);
  13. // 旋转矩阵计算
  14. Mat M = getRotationMatrix2D(Point2f(cx, cy), degree, 1.0);
  15. Point2f center(cx, cy);
  16. Rect bbox = RotatedRect(center, face.size(), degree).boundingRect();
  17. M.at(0, 2) += (bbox.width / 2.0 - center.x);
  18. M.at(1, 2) += (bbox.height / 2.0 - center.y);
  20. // 对齐
  21. Mat result;
  22. warpAffine(face, result, M, bbox.size());
  23. imshow("face-alignment", result);

3.运行效果

完整的程序代码如下：

  1. #include 
  2. #include 
  3. #include 
  4. #include 
  6. using namespace cv;
  7. using namespace cv::face;
  8. using namespace std;
  10. const String  lbpfilePath = "D:/opencv-3.4/opencv/build/etc/lbpcascades/lbpcascade_frontalface.xml";
  11. bool myDetector(InputArray image, OutputArray faces, CascadeClassifier *face_cascade);
  12. void face_alignment(Mat &face, Point left, Point right, Rect roi);
  14. int main(int argc, char** argv) {
  15.     Mat img = imread("D:/vcprojects/images/gaoyy.png");
  16.     namedWindow("input", CV_WINDOW_AUTOSIZE);
  17.     imshow("input", img);
  19.     CascadeClassifier face_cascade;
  20.     face_cascade.load(lbpfilePath);
  22.     FacemarkLBF::Params params;
  23.     params.n_landmarks = 68; // 68个标注点
  24.     params.initShape_n = 10;
  25.     params.stages_n = 5; // 算法的5个强化步骤
  26.     params.tree_n = 6; // 模型中每个标注点结构树 数目
  27.     params.tree_depth = 5; // 决策树深度
  29.     // 创建LBF landmark 检测器
  30.     Ptr<FacemarkLBF> facemark = FacemarkLBF::create(params);
  31.     facemark->setFaceDetector((FN_FaceDetector)myDetector, &face_cascade);
  33.     // 加载模型数据
  34.     facemark->loadModel("D:/vcprojects/images/lbfmodel.yaml");
  35.     cout << "Loaded model" << endl;
  37.     // 开始检测
  38.     printf("start to detect landmarks...\n");
  39.     vector<Rect> faces;
  40.     facemark->getFaces(img, faces);
  41.     vector< vector<Point2f> > shapes;
  42.     if (facemark->fit(img, faces, shapes))
  43.     {
  44.         Point eye_left; // 36th
  45.         Point eye_right; // 45th
  46.         for (unsigned long i = 0; i
  47.             eye_left = shapes[i][36];
  48.             eye_right = shapes[i][45];
  49.             line(img, eye_left, eye_right, Scalar(255, 0, 0), 2, 8, 0);
  50.             face_alignment(img(faces[i]), eye_left, eye_right, faces[i]);
  52.             // 绘制人脸矩形区域
  53.             rectangle(img, faces[i], Scalar(255, 0, 0));
  54.             // 绘制人脸68个 landmark点位
  55.             for (unsigned long k = 0; k
  56.                 cv::circle(img, shapes[i][k], 2, cv::Scalar(0, 0, 255), FILLED);
  57.         }
  58.         namedWindow("Detected_shape");
  59.         imshow("Detected_shape", img);
  60.         waitKey(0);
  61.     }
  62.     return 0;
  63. }
  65. bool myDetector(InputArray image, OutputArray faces, CascadeClassifier *face_cascade)
  66. {
  67.     Mat gray;
  69.     if (image.channels() > 1)
  70.         cvtColor(image, gray, COLOR_BGR2GRAY);
  71.     else
  72.         gray = image.getMat().clone();
  74.     equalizeHist(gray, gray);
  76.     std::vector<Rect> faces_;
  77.     face_cascade->detectMultiScale(gray, faces_, 1.1, 1, CASCADE_SCALE_IMAGE, Size(50, 50));
  78.     Mat(faces_).copyTo(faces);
  79.     return true;
  80. }
  82. void face_alignment(Mat &face, Point left, Point right, Rect roi) {
  83.     int offsetx = roi.x;
  84.     int offsety = roi.y;
  86.     // 计算中心位置
  87.     int cx = roi.width / 2;
  88.     int cy = roi.height / 2;
  90.     // 计算角度
  91.     int dx = right.x - left.x;
  92.     int dy = right.y - left.y;
  93.     double degree = 180 * ((atan2(dy, dx)) / CV_PI);
  95.     // 旋转矩阵计算
  96.     Mat M = getRotationMatrix2D(Point2f(cx, cy), degree, 1.0);
  97.     Point2f center(cx, cy);
  98.     Rect bbox = RotatedRect(center, face.size(), degree).boundingRect();
  99.     M.at(0, 2) += (bbox.width / 2.0 - center.x);
  100.     M.at(1, 2) += (bbox.height / 2.0 - center.y);
  102.     // 对齐
  103.     Mat result;
  104.     warpAffine(face, result, M, bbox.size());
  105.     imshow("face-alignment", result);
  106. }



下载1：OpenCV-Contrib扩展模块中文版教程
在「小白学视觉」公众号后台回复：扩展模块中文教程，即可下载全网第一份OpenCV扩展模块教程中文版，涵盖扩展模块安装、SFM算法、立体视觉、目标跟踪、生物视觉、超分辨率处理等二十多章内容。

下载2：Python视觉实战项目52讲
在「小白学视觉」公众号后台回复：Python视觉实战项目，即可下载包括图像分割、口罩检测、车道线检测、车辆计数、添加眼线、车牌识别、字符识别、情绪检测、文本内容提取、面部识别等31个视觉实战项目，助力快速学校计算机视觉。

下载3：OpenCV实战项目20讲
在「小白学视觉」公众号后台回复：OpenCV实战项目20讲，即可下载含有20个基于OpenCV实现20个实战项目，实现OpenCV学习进阶。

交流群


欢迎加入公众号读者群一起和同行交流，目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群（以后会逐渐细分），请扫描下面微信号加群，备注：”昵称+学校/公司+研究方向“，例如：”张三 + 上海交大 + 视觉SLAM“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告，否则会请出群，谢谢理解~


浏览 49
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报
评论
图片
表情
推荐
SpringBoot实现人脸识别功能
程序员的成长之路
0
Android实现人脸识别效果
龙旋
0
SpringBoot实现人脸识别功能
Java仓库
0
SpringBoot实现人脸识别功能
业余草
0
SpringBoot实现人脸识别功能。。。
全栈开发者社区
0
SpringBoot实现人脸识别功能
码农突围
0
SpringBoot 实现人脸识别功能 ！
小哈学Java
0
SpringBoot实现人脸识别功能
Java高效学习
0
SpringBoot实现人脸识别功能
源码共读
0
5种CSS实现垂直对齐的方法
全栈前端精选
0
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报