人脸识别3:C/C++ InsightFace实现人脸识别Face Recognition(含源码)

这篇具有很好参考价值的文章主要介绍了人脸识别3:C/C++ InsightFace实现人脸识别Face Recognition(含源码)。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

人脸识别3:C/C++ InsightFace实现人脸识别Face Recognition(含源码)

目录

1. 前言

2. 项目安装

(1)项目结构

(2)配置开发环境(OpenCV+OpenCL+base-utils+TNN)

(3)部署TNN模型

(4)CMake配置

(5)编译运行 

3. 人脸识别系统

(1)人脸识别的核心算法

(2)人脸检测和关键点检测

(3)人脸校准

(4)人脸特征提取

(5)人脸比对(1:1)

(6)人脸搜索(1:N)

(7)配置文件config

(8)人脸识别优化建议

4. 人脸识别C/C++ Demo效果

5. 人脸识别Python版本源码下载

6. 人脸识别Android版本源码下载

7. 人脸识别Python版本源码下载


1. 前言

这是项目《人脸识别Face Recognition》系列之《C/C++ InsightFace实现人脸识别Face Recognition》;项目基于开源ArcFace(也称InsightFace)模型搭建一套完整的C/C++人脸识别系统(Face Recognition or Face Identification);我们将开发一个简易的、可实时运行的人脸识别C/C++ Demo。C/C ++版本人脸识别模型推理支持CPU和GPU加速,在GPU(OpenCL)加速下,可以达到实时的人脸识别效果,非常适合在Linux开发板和Android系统开发板上部署。

人脸识别3:C/C++ InsightFace实现人脸识别Face Recognition(含源码)

整套人脸识别系统核心算法包含人脸检测和人脸关键点检测,人脸校准,人脸特征提取以及人脸比对(1:1)和人脸搜索(1:N)。本项目人脸识别系统可以达到目前商业级别的人脸识别准确率,在误识率(FAR)0.1%的情况下,可提供99.78%的通过率(TAR);可以满足人脸比对,人脸签到、人脸门禁、人员信息查询、安防监控等人脸识别应用场景。

C/C++版本人脸检测和人脸识别效果

PS:由于opencv不支持显示中文,绘图时用姓名拼音首字母代替

C/C++版本人脸识别效果 Python版本人脸识别效果
人脸识别3:C/C++ InsightFace实现人脸识别Face Recognition(含源码) 人脸识别3:C/C++ InsightFace实现人脸识别Face Recognition(含源码)

【尊重原创,转载请注明出处】https://blog.csdn.net/guyuealian/article/details/130600571


更多项目《人脸识别Face Recognition》系列文章请参考:

  1. 人脸识别1:人脸识别数据集https://blog.csdn.net/guyuealian/article/details/130600545
  2. 人脸识别2:InsightFace实现人脸识别Face Recognition(含源码下载)https://blog.csdn.net/guyuealian/article/details/130600472
  3. 人脸识别3:C/C++ InsightFace实现人脸识别Face Recognition(含源码)https://blog.csdn.net/guyuealian/article/details/130600571
  4. 人脸识别4:Android InsightFace实现人脸识别Face Recognition(含源码)https://blog.csdn.net/guyuealian/article/details/130600600

人脸识别3:C/C++ InsightFace实现人脸识别Face Recognition(含源码)


2. 项目安装

项目IDE开发工具使用CLion,相关依赖库主要有OpenCV,base-utils以及TNN和OpenCL(可选),其中OpenCV必须安装,OpenCL用于模型加速,base-utils以及TNN已经配置好,无需安装;

项目仅在Ubuntu18.04进行测试,Windows系统下请自行配置好开发环境。

(1)项目结构

人脸识别3:C/C++ InsightFace实现人脸识别Face Recognition(含源码)

(2)配置开发环境(OpenCV+OpenCL+base-utils+TNN)

项目仅在Ubuntu18.04进行测试,Windows系统下请自行配置和编译

  • 安装OpenCV:图像处理

图像处理(如读取图片,图像裁剪等)都需要使用OpenCV库进行处理

安装教程:Ubuntu18.04安装opencv和opencv_contrib_AI吃大瓜的博客-CSDN博客_opencv opencv_contrib ubuntu

OpenCV库使用opencv-4.3.0版本,opencv_contrib库暂时未使用,可不安装

  • 安装OpenCL:模型加速

 安装教程:Ubuntu16.04 安装OpenCV&OpenCL_xiaozl_284的博客-CSDN博客_clinfo源码下载

OpenCL用于模型GPU加速,若不使用OpenCL进行模型推理加速,纯C++推理模型,速度会特别特别慢

  • base-utils:C++库

GitHub:https://github.com/PanJinquan/base-utils (无需安装,项目已经配置了)

base_utils是个人开发常用的C++库,集成了C/C++ OpenCV等常用的算法

  • TNN:模型推理

GitHub:https://github.com/Tencent/TNN (无需安装,项目已经配置了)

由腾讯优图实验室开源的高性能、轻量级神经网络推理框架,同时拥有跨平台、高性能、模型压缩、代码裁剪等众多突出优势。TNN框架在原有Rapidnet、ncnn框架的基础上进一步加强了移动端设备的支持以及性能优化,同时借鉴了业界主流开源框架高性能和良好拓展性的特性,拓展了对于后台X86, NV GPU的支持。手机端 TNN已经在手机QQ、微视、P图等众多应用中落地,服务端TNN作为腾讯云AI基础加速框架已为众多业务落地提供加速支持。

(3)部署TNN模型

项目模型推理采用TNN部署框架(支持多线程CPU和GPU加速推理);图像处理采用OpenCV库,模型加速采用OpenCL,在普通电脑设备即可达到实时处理。

(4)CMake配置

这是CMakeLists.txt,其中主要配置OpenCV+OpenCL+base-utils+TNN这四个库,Windows系统下请自行配置和编译

cmake_minimum_required(VERSION 3.5)
project(Detector)
add_compile_options(-fPIC) # fix Bug: can not be used when making a shared object
set(CMAKE_CXX_FLAGS "-Wall -std=c++11 -pthread")
#set(CMAKE_CXX_FLAGS_RELEASE "-O2 -DNDEBUG")
#set(CMAKE_CXX_FLAGS_DEBUG "-g")

if (NOT CMAKE_BUILD_TYPE AND NOT CMAKE_CONFIGURATION_TYPES)
    # -DCMAKE_BUILD_TYPE=Debug
    # -DCMAKE_BUILD_TYPE=Release
    message(STATUS "No build type selected, default to Release")
    set(CMAKE_BUILD_TYPE "Release" CACHE STRING "Build type (default Debug)" FORCE)
endif ()


# opencv set
find_package(OpenCV REQUIRED)
include_directories(${OpenCV_INCLUDE_DIRS} ./src/)
#MESSAGE(STATUS "OpenCV_INCLUDE_DIRS = ${OpenCV_INCLUDE_DIRS}")

# base_utils
set(BASE_ROOT 3rdparty/base-utils) # 设置base-utils所在的根目录
add_subdirectory(${BASE_ROOT}/base_utils/ base_build) # 添加子目录到build中
include_directories(${BASE_ROOT}/base_utils/include)
include_directories(${BASE_ROOT}/base_utils/src)
MESSAGE(STATUS "BASE_ROOT = ${BASE_ROOT}")


# TNN set
# Creates and names a library, sets it as either STATIC
# or SHARED, and provides the relative paths to its source code.
# You can define multiple libraries, and CMake builds it for you.
# Gradle automatically packages shared libraries with your APK.
# build for platform
if (CMAKE_SYSTEM_NAME MATCHES "Android")
    set(TNN_OPENCL_ENABLE ON CACHE BOOL "" FORCE)
    set(TNN_ARM_ENABLE ON CACHE BOOL "" FORCE)
    set(TNN_BUILD_SHARED OFF CACHE BOOL "" FORCE)
    set(TNN_OPENMP_ENABLE ON CACHE BOOL "" FORCE)  # Multi-Thread
    #set(TNN_HUAWEI_NPU_ENABLE OFF CACHE BOOL "" FORCE)
    add_definitions(-DTNN_OPENCL_ENABLE)           # for OpenCL GPU
    add_definitions(-DTNN_ARM_ENABLE)              # for Android CPU
    add_definitions(-DDEBUG_ANDROID_ON)            # for Android Log
    add_definitions(-DPLATFORM_ANDROID)
elseif (CMAKE_SYSTEM_NAME MATCHES "Linux")
    set(TNN_OPENCL_ENABLE ON CACHE BOOL "" FORCE)
    set(TNN_CPU_ENABLE ON CACHE BOOL "" FORCE)
    set(TNN_X86_ENABLE ON CACHE BOOL "" FORCE)
    set(TNN_QUANTIZATION_ENABLE OFF CACHE BOOL "" FORCE)
    set(TNN_OPENMP_ENABLE ON CACHE BOOL "" FORCE)  # Multi-Thread
    add_definitions(-DTNN_OPENCL_ENABLE)           # for OpenCL GPU
    add_definitions(-DDEBUG_ON)                    # for WIN/Linux Log
    add_definitions(-DDEBUG_LOG_ON)                # for WIN/Linux Log
    add_definitions(-DDEBUG_IMSHOW_OFF)            # for OpenCV show
    add_definitions(-DPLATFORM_LINUX)
elseif (CMAKE_SYSTEM_NAME MATCHES "Windows")
    set(TNN_OPENCL_ENABLE ON CACHE BOOL "" FORCE)
    set(TNN_CPU_ENABLE ON CACHE BOOL "" FORCE)
    set(TNN_X86_ENABLE ON CACHE BOOL "" FORCE)
    set(TNN_QUANTIZATION_ENABLE OFF CACHE BOOL "" FORCE)
    set(TNN_OPENMP_ENABLE ON CACHE BOOL "" FORCE)  # Multi-Thread
    add_definitions(-DTNN_OPENCL_ENABLE)           # for OpenCL GPU
    add_definitions(-DDEBUG_ON)                    # for WIN/Linux Log
    add_definitions(-DDEBUG_LOG_ON)                # for WIN/Linux Log
    add_definitions(-DDEBUG_IMSHOW_OFF)            # for OpenCV show
    add_definitions(-DPLATFORM_WINDOWS)
endif ()
set(TNN_ROOT 3rdparty/TNN)
include_directories(${TNN_ROOT}/include)
include_directories(${TNN_ROOT}/third_party/opencl/include)
add_subdirectory(${TNN_ROOT}) # 添加外部项目文件夹
set(TNN -Wl,--whole-archive TNN -Wl,--no-whole-archive)# set TNN library
MESSAGE(STATUS "TNN_ROOT = ${TNN_ROOT}")


# dlcv库
include_directories(src)
set(SRC_LIST
        src/face_alignment.cpp
        src/face_recognizer.cpp
        src/face_feature.cpp
        src/object_detection.cpp
        src/Interpreter.cpp
        )
add_library(dlcv SHARED ${SRC_LIST})
target_link_libraries(dlcv
        ${TNN}
        ${OpenCV_LIBS}
        base_utils)
MESSAGE(STATUS "DIR_SRCS = ${SRC_LIST}")


# demo
add_executable(test_face_landmark test_face_landmark.cpp)
add_executable(test_alignment test_alignment.cpp)
add_executable(test_compare_face test_compare_face.cpp)
add_executable(test_register test_register.cpp)
add_executable(test_search_face test_search_face.cpp)


target_link_libraries(test_face_landmark dlcv -lpthread)
target_link_libraries(test_alignment dlcv -lpthread)
target_link_libraries(test_compare_face dlcv -lpthread)
target_link_libraries(test_register dlcv -lpthread)
target_link_libraries(test_search_face dlcv -lpthread)


(5)编译运行 

在Ubuntu系统终端输入: bash build.sh

#!/usr/bin/env bash
if [ ! -d "build/" ];then
  mkdir "build"
else
  echo "exist build"
fi
cd build
cmake ..
make -j4
sleep 1

# 测试人脸检测和关键点检测效果
./test_face_landmark
# 测试人脸校准效果
./test_alignment
#  测试人脸识别1:1比对
./test_compare_face
# 测试注册人脸,生成人脸数据库
./test_register
# 测试1:N人脸搜索,支持测试图片,视频和摄像头
./test_search_face

./test_face_landmark :测试人脸检测和关键点检测效果

./test_alignment :测试人脸校准效果

./test_compare_face :测试人脸识别1:1比对

./test_register :测试注册人脸,生成人脸数据库

./test_search_face :测试1:N人脸搜索,支持测试图片,视频和摄像头


3. 人脸识别系统

人脸识别主要包含人脸比对(1:1)人脸搜索(1:N)两大功能,涉及的核心算法主要包含:人脸检测和人脸关键点检测,人脸校准,人脸特征提取以及人脸比对(1:1)和人脸搜索(1:N);当然,实际业务中,可能还会增加人脸质量检测以及活体识别等算法,碍于篇幅,后续再分享活体识别算法。

下图给出本项目人脸识别系统算法实现架构流程图:

人脸识别3:C/C++ InsightFace实现人脸识别Face Recognition(含源码)

(1)人脸识别的核心算法

项目src/face_recognizer.h实现了人脸识别的核心算法,包含人脸检测和人脸关键点检测,人脸校准,人脸特征提取以及人脸比对(1:1)和人脸搜索(1:N)等功能,用于可以参考该头文件,实现人脸识别的基本功能

//
// Created by 390737991@qq.com on 2018/6/3.
//


#ifndef FACE_RECOGNITION_H
#define FACE_RECOGNITION_H

#include "Types.h"
#include "face_feature.h"
#include "object_detection.h"
#include <map>

using namespace std;

typedef map<string, vector<float>> FeatureData;


namespace dl {
    namespace vision {
        class FaceRecognizer {
        public:

            /***
             * 初始化人脸识别
             * @param det_tnnmodel 人脸检测模型 *.tnnmodel参数文件路径(含后缀名)
             * @param det_tnnproto 人脸检测模型 *.tnnproto模型文件路径(含后缀名)
             * @param rec_tnnmodel 人脸特征提取模型 *.tnnmodel参数文件路径(含后缀名)
             * @param rec_tnnproto 人脸特征提取模型 *.tnnproto模型文件路径(含后缀名)
             * @param database 人脸数据库特征路径database(注册人脸后生成的特征文件)
             * @param embeddingSize 特征维度
             * @param alignment 是否进行人脸校准
             * @param num_thread 开启线程数(CPU)
             * @param device 运行设备,支持CPU和GPU(OpenCL)
             */
            FaceRecognizer(string det_tnnmodel,
                           string det_tnnproto,
                           string rec_tnnmodel,
                           string rec_tnnproto,
                           string database,
                           int embeddingSize = 512,
                           bool alignment = true,
                           int num_thread = 4,
                           DeviceType device = CPU);

            /**
             * release space
             */
            ~FaceRecognizer();

            /***
             * 清空人脸数据库(会删除所有已经注册的人脸数据,谨慎操作)
             */
            void clearDatabase();


            /***
             * 注册人脸
             * @param face_id  输入人脸ID(如姓名、学号,身份证等标识)
             * @param face_fea 输入人脸特征
             */
            bool add_face(string face_id, vector<float> face_fea);


            /***
             * 注册人脸(会进行人脸检测,人脸校准和人脸特征提取)
             * @param face_id  输入人脸ID(如姓名、学号,身份证等标识)
             * @param imgBGR 输入原始图像(必须只包含一个人)
             * @param frameInfo 输出人脸检测结果
             * @param det_conf_thresh 人脸检测置信度阈值
             * @param det_iou_thresh  人脸检测NMS的IOU阈值
             */
            bool add_face(string face_id, cv::Mat &imgBGR, FrameInfo &frameInfo,
                          float det_conf_thresh, float det_iou_thresh);

            /***
             * 注销(删除)人脸
             * @param face_id 输入人脸ID(如姓名、学号,身份证等标识)
             */
            void del_face(string face_id);

            /***
             * 获取人脸特性底库数据
             * @return
             */
            FeatureData getDatabase();

            /***
             * 设置人脸特性底库数据
             * @param face_database
             */
            void setDatabase(FeatureData &face_database);

            /***
             * 生成人脸特征底库数据
             * @param portrait  人脸数据库图像路径,用于注册人脸
             * @param det_conf_thresh 人脸检测置信度阈值
             * @param det_iou_thresh  人脸检测NMS的IOU阈值
             * @param alignment      是否进行人脸校准
             * @return
             */
            int createDatabase(string portrait, float det_conf_thresh = 0.5, float det_iou_thresh = 0.3);


            int update();

            /***
             * 保存人脸特征地库数据
             * @return
             */
            int save();


            /**
             * 加载人脸特征地库数据
             * @param database  人脸地库数据的目录
             * @return
             */
            int load(string database);


            /***
             * 人脸特征匹配
             * @param faceInfo 人脸信息(单个人脸)
             * @param rec_conf_thresh 人脸识别阈值,低于该值,人脸ID为unknown,表示未知
             */
            void embeddingMatching(ObjectInfo *faceInfo, float rec_conf_thresh = 0.8);


            /***
             * 人脸特征匹配
             * @param frameInfo  人脸信息(多个人脸)
             * @param rec_conf_thresh 人脸识别阈值,低于该值,人脸ID为unknown,表示未知
             */
            void searchFace(FrameInfo *frameInfo, float rec_conf_thresh = 0.8);


            /***
             * 进行人脸检测
             * @param imgBGR 输入BGR格式图片
             * @param frameInfo 输出人脸信息(多个人脸)
             * @param max_face  最大人脸个数,默认为-1,表示全部人脸
             * @param det_conf_thresh 人脸检测置信度阈值
             * @param det_iou_thresh 人脸检测IOU阈值
             */
            void detectFace(cv::Mat &imgBGR, FrameInfo *frameInfo,
                            float det_conf_thresh = 0.5, float det_iou_thresh = 0.5);


            /***
             * 提取人脸特征
             * @param imgBGR 输入BGR格式图片
             * @param frameInfo 输入人脸信息(多个人脸)
             * @param alignment 是否进行人脸校准
             * @return
             */
            int getFeature(cv::Mat &imgBGR, FrameInfo *frameInfo, bool alignment);


            /***
             * 进行人脸检测和人脸校准,并提取人脸特征,相当于detectFace+getFeature
             * @param imgBGR 输入BGR格式图片
             * @param frameInfo 输出人脸信息(多个人脸)
             * @param max_face  最大人脸个数,默认为-1,表示全部人脸
             * @param det_conf_thresh 人脸检测置信度阈值
             * @param det_iou_thresh 人脸检测IOU阈值
             */
            void detectExtractFeature(cv::Mat &imgBGR,
                                      FrameInfo *frameInfo,
                                      int max_face = -1,
                                      float det_conf_thresh = 0.5,
                                      float det_iou_thresh = 0.5);

            /***
             * 进行人脸检测,1:N人脸搜索
             * @param imgBGR      BGR图像
             * @param frameInfo  输入/输出人脸识别结果
             * @param det_conf_thresh 人脸检测置信度阈值
             * @param det_iou_thresh 人脸检测IOU阈值
             * @param rec_conf_thresh  人脸识别阈值,低于该值,人脸ID为-1,表示未知
             * @param alignment 是否需要进行人脸校准,FrameInfo需要提供5个人脸关键点进行人脸校准
             */
            void detectSearch(cv::Mat &imgBGR,
                              FrameInfo *frameInfo,
                              int max_face = -1,
                              float det_conf_thresh = 0.5,
                              float det_iou_thresh = 0.5,
                              float rec_conf_thresh = 0.5);


            /***
             * 进行人脸检测,1:1人脸比对
             * @param image1
             * @param image2
             * @param face_info1
             * @param face_info2
             * @param det_conf_thresh
             * @param det_iou_thresh
             * @return
             */
            float compareFace(cv::Mat &image1, cv::Mat &image2,
                              FrameInfo *face_info1, FrameInfo *face_info2,
                              float det_conf_thresh, float det_iou_thresh);

            /***
             * 比较两个人脸特征的相似分数,值越大,越相似
             * @param feature1 人脸特征
             * @param feature2 人脸特征
             * @return 返回两个特征的相似性,取值范围(0,1.0)
             */
            static float compareFeature(vector<float> &feature1, vector<float> &feature2);

            /***
             * 比较两个特征的相似距离(欧式距离),值越小,越相似
             * @param feature1 人脸特征
             * @param feature2 人脸特征
             * @return 返回两个特征的欧式距离,取值范围(0,+∞)
             */
            static float compareDist(vector<float> &feature1, vector<float> &feature2);


            /***
             * 人脸距离到人脸相似分数的映射
             * @param x    欧式距离的值
             * @param mean 均值,默认meam=1.40
             * @param std  方差,默认std=0.2
             * @return     返回人脸相似分数(0,1),值越大越相似
             */
            static float getScore(float x, float mean = 1.40f, float std = 0.2f);


            /***
             * 可视化人脸识别结果
             * @param imgBRG
             * @param frameInfo
             * @param waitKey
             */
            static cv::Mat visualizeResult(string title, cv::Mat &imgBRG, FrameInfo *frameInfo, int waitKey = 0);


        private:
            string database;
            int mEmbeddingSize;
            bool mAlignment = true;
            ObjectDetection *pFaceDetector = nullptr;
            FaceFeature *pFaceFeature = nullptr;
            FeatureData mDataBase; // 人脸特征DataBase
        };
    }
}


#endif //

(2)人脸检测和关键点检测

人脸检测的方法比较多,项目Python版本人脸识别提供两种人脸检测方法:一种是基于MTCNN的通用人脸检测模型,另一种是轻量化的、快速的RFB人脸检测模型;这个两个模型都能实现人脸检测,并同时预测人脸的五个关键点(Landmark)。C/C++版本版本只提供RFB人脸检测和关键点检测模型。

模型 Paper 源码 说明
MTCNN Paper Link
  • 支持人脸检测和人脸关键点检测(5个点)
  • 通用场景人脸检测,计算量较大,适合PC服务器部署
RFB Paper Link
  • 支持人脸检测和人脸关键点检测(5个点)
  • 轻量级人脸检测,适合简单场景人脸检测,计算量较小,适合嵌入式,开发板,Android等终端部署
  • MTCNN人脸检测参考项目:GitHub - Sierkinhane/mtcnn-pytorch: A face detection algorithm
  • RFB人脸检测参考项目:GitHub - Linzaer/Ultra-Light-Fast-Generic-Face-Detector-1MB: 💎1MB lightweight face detection model (1MB轻量级人脸检测模型)
  • 项目test_face_landmark.cpp实现了人脸检测和关键检测的功能,编译完成后,终端运行
# 测试人脸检测和关键点检测效果
./test_face_landmark

下图是RFB模型人脸检测和人脸关键点(Landmark)检测效果  

  •  人脸关键点(Landmark):共预测五个人脸关键点,分别为:左眼中心点,右眼中心点,鼻尖中心点以及左嘴角和右嘴角
  • 利用Landmark信息,后续可以通过仿射变换,对人脸进行校准,获得相对比较正的人脸。人脸校准可以有效提升人脸识别的效果

人脸识别3:C/C++ InsightFace实现人脸识别Face Recognition(含源码)人脸识别3:C/C++ InsightFace实现人脸识别Face Recognition(含源码) 

(3)人脸校准

利用Landmark信息,可以通过仿射变换,对人脸进行校准,获得相对比较正的人脸,项目src/face_alignment.h模块提供人脸校准算法。

其中实现思路是:

利用OpenCV的estimateAffine2D()函数估计人脸关键点(5个landmark)和参考人脸关键点(reference landmark)的仿射变换矩阵M,再根据仿射变换矩阵M矫正人脸图像

下图给出人脸校准的效果图,其中【image】是原始图像,而【FaceAlignment】是最终矫正的人脸效果图。

  •  项目test_alignment.cpp实现了人脸校准的功能,编译完成后,终端运行
# 测试人脸校准效果
./test_alignment

人脸识别3:C/C++ InsightFace实现人脸识别Face Recognition(含源码)

(4)人脸特征提取

项目基于开源的ArcFace(也称InsightFace)训练框架,开发并优化了三个版本的人脸识别模型:mobilenet_v2,IR-18(resnet18优化版)以及IR-50(resnet50优化版),用于人脸特征提取

ArcFace:GitHub - TreB1eN/InsightFace_Pytorch: Pytorch0.4.1 codes for InsightFace

模型 LFW CFP_FF CFP_FP AgeDB CALFW CPLFW
resnet50 99.78 99.69 98.14 97.53 95.87 92.45
resnet18 99.55 99.61 97.74 96.52 94.66 90.01
mobilenet_v2 99.23 99.27 90.74 93.22 93.57 88.69

resnet50和resnet18参数量比较大,计算量较大,适合在PC服务器部署 ;而mobilenet_v2

模型计算量较小,适合嵌入式,开发板,Android等终端部署。

(5)人脸比对(1:1)

1:1人脸比对(也称人脸验证,身份验证),即将两张人脸进行1:1比对,得到人脸相似度,来判断是否是同一个人,一般用作人证比对等场景,比如银行卡/QQ/微信/支付宝等账号登录时人脸身份验证。

  • 项目实现了1:1人脸比对功能(test_compare_face.cpp),编译完成后,测试1:1人脸比对,可在终端运行:
#  测试人脸识别1:1比对
./test_compare_face

运行结果如下:  

人脸识别3:C/C++ InsightFace实现人脸识别Face Recognition(含源码)

(6)人脸搜索(1:N)

1:N人脸搜索,将一张人脸和N张人脸进行比对,找出最相似的一张或多张人脸,即1:N人脸搜索。可用作人脸签到、人脸门禁、人员信息查询、安防监控等应用场景。

项目实现了1:N人脸搜索功能,需要提前生成人脸数据库(Face database),先录入注册人脸数据

database人脸图像要求满足以下:

  • 图片按照[ID-XXXX.jpg]命名,如:张三-image.jpg,作为人脸识别的底图
  • 个人照片可以是个人证件照,生活照,肖像照片,要求五官清晰且正脸的照片,不能出现多个人脸的情况
  • 尽量不要出现过度美颜,头发遮挡,低头侧脸等问题
  • 由于C++版本的opencv不支持显示中文,绘图时用姓名拼音首字母代替,如刘亦菲,简称LYF;Python版本可正常显示中文字符

人脸识别3:C/C++ InsightFace实现人脸识别Face Recognition(含源码)

 项目test_register.cpp实现人脸数据库(database)人脸注册功能,编译完成后,可在终端运行:

# 图片按照[ID-XXXX.jpg]命名,如:张三-image.jpg,作为人脸识别的底图
# 人脸肖像照片要求五官清晰且正脸的照片,不能出现多个人脸的情况
# 测试注册人脸,生成人脸数据库
./test_register

运行结果如下:

人脸识别3:C/C++ InsightFace实现人脸识别Face Recognition(含源码)

 如果需要注册新人 ,请参考如下步骤:

  1. 采集一张新人的个人照片,以张三的照片为例子
  2. 照片保存在人脸数据库中(data/database/portrait)中,图片按照[ID-XXXX.jpg]命名,如:张三-image.jpg,作为人脸识别的底图
  3. 然后运行test_register,完成人脸数据库的人脸注册

完成人脸注册后,下一步可以进行1:N人脸搜索,实现人脸识别的功能

  • 项目test_search_face.cpp实现了1:N人脸搜索功能,支持图片,视频和摄像头测试,编译完成后,终端输入:
# 测试1:N人脸搜索,支持测试图片,视频和摄像头
./test_search_face
//
// Created by 390737991@qq.com on 2018/6/3.
//
#include <string>
#include <vector>
#include <debug.h>
#include "object_detection.h"
#include "face_recognizer.h"
#include "config.h"
#include "file_utils.h"
#include <opencv2/opencv.hpp>

using namespace std;
using namespace dl;
using namespace vision;

/***
 * 1:N人脸搜索,测试图片文件
 */
void test_search_face_image() {
    // 测试图片数据
    string image_dir = "../data/test_image";
    string output = "../output";
    //初始化人脸识别
    FaceRecognizer *faceReg = new FaceRecognizer(det_tnnmodel,
                                                 det_tnnproto,
                                                 rec_tnnmodel,
                                                 rec_tnnproto,
                                                 database,
                                                 embeddingSize,
                                                 alignment,
                                                 num_thread,
                                                 GPU);
    // 获得所有图片
    std::vector<string> image_list = get_files_list(image_dir);
    for (const string &image_file:image_list) {
        string basename = get_basename(image_file);
        printf("load image file: %s\n", image_file.c_str());
        // 读取测试图片
        cv::Mat bgr_image = cv::imread(image_file);
        if (bgr_image.empty()) continue;
        // 创建FrameInfo结构体,用于缓存检测和识别等结果
        FrameInfo frameInfo;
        // 进行1:N人脸搜索
        faceReg->detectSearch(bgr_image, &frameInfo, -1, det_conf_thresh, det_iou_thresh, rec_conf_thresh);
        // 可视化人脸识别结果
        cv::Mat vis_image = dl::vision::FaceRecognizer::visualizeResult("Recognizer", bgr_image, &frameInfo, 0);
        string out_file = path_joint(output, basename);
        printf("save image file: %s\n", out_file.c_str());
        image_save(out_file, vis_image);
    }

    delete faceReg;
    faceReg = nullptr;
    printf("FINISHED.\n");
}

/***
 * 1:N人脸搜索,测试视频文件
 */
void test_search_face_video() {
    //视频文件夹
    string video_file = "../data/test-video.mp4";
    //初始化人脸识别
    FaceRecognizer *faceReg = new FaceRecognizer(det_tnnmodel,
                                                 det_tnnproto,
                                                 rec_tnnmodel,
                                                 rec_tnnproto,
                                                 database,
                                                 embeddingSize,
                                                 alignment,
                                                 num_thread,
                                                 GPU);
    cv::VideoCapture cap;
    bool ret = get_video_capture(video_file, cap);
    cv::Mat frame;
    while (ret) {
        cap >> frame;
        if (frame.empty()) break;
        // 创建FrameInfo结构体,用于缓存检测和识别等结果
        FrameInfo frameInfo;
        // 进行1:N人脸搜索
        faceReg->detectSearch(frame, &frameInfo, -1, det_conf_thresh, det_iou_thresh, rec_conf_thresh);
        // 可视化人脸识别结果
        dl::vision::FaceRecognizer::visualizeResult("Recognizer", frame, &frameInfo, 30);
    }
    cap.release();
    delete faceReg;
    faceReg = nullptr;
}

/***
 * 1:N人脸搜索,测试摄像头
 */
void test_search_face_camera() {
    //摄像头ID号(请修改成自己摄像头ID号)
    string video_file = 0;
    //初始化人脸识别
    FaceRecognizer *faceReg = new FaceRecognizer(det_tnnmodel,
                                                 det_tnnproto,
                                                 rec_tnnmodel,
                                                 rec_tnnproto,
                                                 database,
                                                 embeddingSize,
                                                 alignment,
                                                 num_thread,
                                                 GPU);
    cv::VideoCapture cap;
    bool ret = get_video_capture(video_file, cap);
    cv::Mat frame;
    while (ret) {
        cap >> frame;
        if (frame.empty()) break;
        // 创建FrameInfo结构体,用于缓存检测和识别等结果
        FrameInfo frameInfo;
        // 进行1:N人脸搜索
        faceReg->detectSearch(frame, &frameInfo, -1, det_conf_thresh, det_iou_thresh, rec_conf_thresh);
        // 可视化人脸识别结果
        dl::vision::FaceRecognizer::visualizeResult("Recognizer", frame, &frameInfo, 30);
    }
    cap.release();
    delete faceReg;
    faceReg = nullptr;

}


int main() {
    /***测试1:N人脸搜索,需要注册人脸,生成人脸数据库(test_register.cpp)***/
    test_search_face_image();  //1:N人脸搜索,测试图片文件
    test_search_face_video();  //1:N人脸搜索,测试视频文件
    test_search_face_camera();  //1:N人脸搜索,测试摄像头
    return 0;
}

(7)配置文件config

项目配置文件src/config.h,用于设置人脸检测模型,特征提取模型,可以根据自己的需要选择

  • C++版本的人脸检测模型,目前仅支持RFB人脸检测和关键点检测
  • 人脸识别(特征提取)模型,目前支持resnet50,resnet18和mobilenet_v2模型

人脸识别特征提取模型,提供resnet50,resnet18和mobilenet_v2 ,其测试准确率,参考如下:

模型 LFW CFP_FF CFP_FP AgeDB CALFW CPLFW
resnet50 99.78 99.69 98.14 97.53 95.87 92.45
resnet18 99.55 99.61 97.74 96.52 94.66 90.01
mobilenet_v2 99.23 99.27 90.74 93.22 93.57 88.69

resnet50和resnet18参数量比较大,计算量较大,适合在PC服务器部署 ;而mobilenet_v2

模型计算量较小,适合嵌入式,开发板,Android等终端部署。

//
// Created by dm on 2018/5/12.
//

#ifndef DETECTOR_CONFIG_H
#define DETECTOR_CONFIG_H

#include <string>
#include <vector>
#include "Interpreter.h"

static int num_thread = 1;                                 // 开启线程数(CPU)
static DeviceType device = GPU;                            // 使用GPU运行,支持CPU和GPU(OpenCL)
//static DeviceType device = CPU;                          // 还有CPU运行,支持CPU和GPU(OpenCL)
static float det_conf_thresh = 0.5;                        // 人脸检测置信度阈值,小于该阈值的检测框会被剔除
static float det_iou_thresh = 0.3;                         // 人脸检测IOU阈值
static float rec_conf_thresh = 0.5;                        // 人脸识别阈值,小于该阈值的人脸识别结果为unknown,表示未知
static int embeddingSize = 512;                            // 特征维度
static bool alignment = true;                              // 是否进行人脸校准
static string portrait = "../data/database/portrait";      // 人脸数据库图像路径,用于注册人脸
static string database = "../data/database/feature";       // 人脸数据库特征路径database(注册人脸后生成的特征文件)
static string rec_tnnmodel = "../data/tnn/recognition/mobilenet_v2.sim.tnnmodel";             // 人脸检测模型 *.tnnmodel参数文件路径
static string rec_tnnproto = "../data/tnn/recognition/mobilenet_v2.sim.tnnproto";             // 人脸检测模型 *.tnnproto模型文件路径
//static string rec_tnnmodel = "../data/tnn/recognition/resnet18.sim.tnnmodel";               // 人脸检测模型 *.tnnmodel参数文件路径
//static string rec_tnnproto = "../data/tnn/recognition/resnet18.sim.tnnproto";               // 人脸检测模型 *.tnnproto模型文件路径
//static string rec_tnnmodel = "../data/tnn/recognition/resnet50.sim.tnnmodel";               // 人脸检测模型 *.tnnmodel参数文件路径
//static string rec_tnnproto = "../data/tnn/recognition/resnet50.sim.tnnproto";               // 人脸检测模型 *.tnnproto模型文件路径
static string det_tnnmodel = "../data/tnn/face_ldmks/rfb_landm_face_320_320_sim.opt.tnnmodel";// 人脸特征提取模型 *.tnnmodel参数文件路径
static string det_tnnproto = "../data/tnn/face_ldmks/rfb_landm_face_320_320_sim.opt.tnnproto";// 人脸特征提取模型 *.tnnproto模型文件路径
#endif //DETECTOR_CONFIG_H

(8)人脸识别优化建议

  1. 人脸识别依赖人脸检测,一个高精度的人脸检测模型算法,可以有效提高人脸识别的准确率
  2. 人脸校准算法可以矫正人脸倾斜等问题,可以极大提高人脸识别效果;需要依赖人脸关键点检测(Landmark),本项目使用的RFB模型预测人脸关键点
  3. 人脸识别中,待识别人脸图片,如果存在低头侧脸,或者人脸存在遮挡等情况,人脸识别准确率较低(可能被识别为unknown),实际使用过程中,需要用户配合,正对着摄像头,以提高人脸识别准确率的效果。
  4. 1:N人脸搜索中,要求注册底库的人脸数据库是高质量的个人照片;建议每人需要提供一张高清的、不模糊的、少美颜的,五官清晰可见的,正脸的,不低头不侧脸的个人自拍照(生活照、证件照),以便可以生成高质量的人脸特征
  5. 1:N人脸搜索中,当N属于百万级别以上海量人脸数据时,人脸识别会比较慢,毕竟需要遍历人脸进行特征匹配,性能较差;解决方法是可以采用人脸特征聚类,分而治之的思路;目前已有很多开源框架,感兴趣的可以参考Faiss 、milvus等库。
  6. 目前,项目暂不支持人脸真伪鉴别(活体识别),后续计划开发基于RGB的活体识别功能,敬请期待哈

4. 人脸识别C/C++ Demo效果

下图是C/C++版本的人脸识别Demo效果,图中绘制了绿色框,框上面文本是人脸识别结果和匹配相似度(置信度);当置信度小于rec_thresh=0.5时,人脸识别结果为unknown,表示未知。由于C++版本的opencv不支持显示中文,绘图时用姓名拼音首字母代替,如刘亦菲,简称LYF;Python版本可正常显示中文字符

C/C++版本人脸识别效果 Python版本人脸识别效果
人脸识别3:C/C++ InsightFace实现人脸识别Face Recognition(含源码) 人脸识别3:C/C++ InsightFace实现人脸识别Face Recognition(含源码)

人脸识别3:C/C++ InsightFace实现人脸识别Face Recognition(含源码)人脸识别3:C/C++ InsightFace实现人脸识别Face Recognition(含源码)

人脸识别3:C/C++ InsightFace实现人脸识别Face Recognition(含源码)

5. 人脸识别Python版本源码下载

参考文章 《人脸识别2:InsightFace实现人脸识别Face Recognition(含源码下载)》https://blog.csdn.net/guyuealian/article/details/130600472

C/C++版本人脸识别效果 Python版本人脸识别效果
人脸识别3:C/C++ InsightFace实现人脸识别Face Recognition(含源码) 人脸识别3:C/C++ InsightFace实现人脸识别Face Recognition(含源码)

6. 人脸识别Android版本源码下载

参考文章 《人脸检测和人脸识别4:Android实现人脸检测和人脸识别》https://blog.csdn.net/guyuealian/article/details/130600600

  人脸识别3:C/C++ InsightFace实现人脸识别Face Recognition(含源码)人脸识别3:C/C++ InsightFace实现人脸识别Face Recognition(含源码)


7. 人脸识别Python版本源码下载

C/C++ InsightFace实现人脸识别Face Recognition项目含源码下载地址:

项目源码包含内容:人脸识别3:C/C++ InsightFace实现人脸识别Face Recognition(含源码)文章来源地址https://www.toymoban.com/news/detail-468240.html

  1. 提供轻量化的、快速的RFB人脸检测模型,该模型可实现人脸检测,并同时预测人脸的五个关键点(Landmark)。
  2. 提供三个人脸识别特征提取模型:mobilenet_v2,IR-18(resnet18优化版)以及IR-50(resnet50优化版),用于人脸特征提取
  3. 提供1:1人脸比对:test_compare_face.cpp,可用于人证比对等场景
  4. 提供人脸注册功能:test_register.cpp,项目自带人脸识别测试数据,可用于验证人脸识别效果
  5. 提供1:N人脸搜索:test_search_face.cpp,可用于人脸签到、人脸门禁、人员信息查询、安防监控等应用场景
  6. 项目1:N人脸搜索:test_search_face.cpp,支持图片,视频和摄像头测试

到了这里,关于人脸识别3:C/C++ InsightFace实现人脸识别Face Recognition(含源码)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • face_recognition人脸识别与人脸检测

    1、安装face_recognition库 face_recognition库的人脸识别是基于业内领先的C++开源库dlib中的深度学习模型,安装face_recognition库的同时会一并安装dlib深度学习框架。 2、face_recognition库的使用 1)load_image_file加载要识别的人脸图像 这个方法主要是用于加载要识别的人脸图像,返回的数据

    2024年02月13日
    浏览(42)
  • 人脸识别(Java+ Face++实现)

    Face++的核心技术是基于深度学习的人脸识别技术,其算法在准确率和速度方面都处于领先地位。该公司的产品和服务包括人脸识别SDK、人脸识别API、人脸比对服务、人脸检测服务、活体检测服务等。这些产品和服务广泛应用于金融、公安、零售、物流等领域。并且,Face++提供

    2024年02月07日
    浏览(44)
  • face-api实现人脸识别。

    访问地址 JavaScript API for face detection and face recognition in the browser implemented on top of the tensorflow.js core API 官方说明 翻译:在tensorflow.js核心API之上实现的用于浏览器中人脸检测和人脸识别的JavaScript API 访问tensorflow.js 部分代码 蓝奏云:https://wwud.lanzouw.com/iLnE516oj2eh 百度云:https://

    2024年02月10日
    浏览(42)
  • 一键AI高清换脸——基于InsightFace、CodeFormer实现高清换脸与验证换脸后效果能否通过人脸比对、人脸识别算法

    1、项目简介 AI换脸是指利用基于深度学习和计算机视觉来替换或合成图像或视频中的人脸。可以将一个人的脸替换为另一个人的脸,或者将一个人的表情合成到另一个人的照片或视频中。算法常常被用在娱乐目上,例如在社交媒体上创建有趣的照片或视频,也有用于电影制作

    2024年02月08日
    浏览(45)
  • insightface 人脸检测与识别

    参考:https://huaweicloud.csdn.net/638088d7dacf622b8df89c0c.html insightface模型下载可能需要连接外网,模型自动下载保存再modelsbuffalo_l下,人脸注册自动保存再face_db目录下 python face_label.py --picture 刘亦菲.jpg --register Ture python face_label.py --picture 杨幂.jpg --register Ture (运行后会把照片保存一

    2024年02月08日
    浏览(102)
  • 【face-api.js】前端实现,人脸捕获、表情识别、年龄性别识别、人脸比对、视频人脸追踪、摄像头人物识别

    官网看下简介,在线预览看下效果 官方的github文件拷下来 npm i face-api.js 把模型文件拷进你的项目 主要是在图片或视频元素上,盖一个相同大小的canvas 先是录入一些图片的描述信息,然后比较描述信息,判断人脸的相似度 人脸检测器有两种, SSD 和 Tiny 两种,SSD较大,Tiny用

    2024年02月11日
    浏览(68)
  • vue+face-api.js实现前端人脸识别功能

    近期做了一个前端vue实现人脸识别的功能,主要功能逻辑包含:人脸识别,人脸验证,唤起摄像头视频流之后从三个事件(用户点头、摇头、眨眼睛)中随机选中两个事件,待两个事件通过判断后人脸静止不动3秒钟后截取视频流生成图片,上传到阿里或者腾讯oss,通过oss返回

    2024年02月05日
    浏览(44)
  • 基于Face++,使用Spring Boot+Elemnet-UI实现人脸识别登录。

    上一篇文章只是封装了人脸检测的一些工具类,要实现刷脸登录,我们首先得思考一个问题,就是如何将我们的人脸和登录账户信息进行绑定,让它通过人脸就能识别到当前登录的账户是谁的账户。 这个问题我们可以这样解决,我浏览Face++的官网发现它还有人脸比对的一个

    2024年02月04日
    浏览(45)
  • OpenCV人脸识别,训练模型为cv2.face.LBPHFaceRecognizer_create()

    OpenCV内部自带有三种人脸检测方式:LBPH人脸识和其他两种方法(Eigen人脸识别,FisherFace人脸识别)本次主要说明第一种方式LBPH检测。 1.创建需要训练的图片的集文件夹,和识别功能测试图片集的文件夹。 图(1)训练图集文件夹   图(1.1)taylorswift照片(尽量选用背景没其

    2024年02月07日
    浏览(51)
  • opencv 进阶13-Fisherfaces 人脸识别-函数cv2.face.FisherFaceRecognizer_create()

    PCA 方法是 EigenFaces 方法的核心,它找到了最大化数据总方差特征的线性组合。不可否认,EigenFaces 是一种非常有效的方法,但是它的缺点在于在操作过程中会损失许多特征信息。 因此,在一些情况下,如果损失的信息正好是用于分类的关键信息,必然会导致无法完成分类。

    2024年02月11日
    浏览(54)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包