媒体捕捉-iOS中的人脸识别

这篇具有很好参考价值的文章主要介绍了媒体捕捉-iOS中的人脸识别。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

引言

在如今的移动应用和直播场景中,我们常常能体验到一种颇具趣味与互动性的功能:无论是美颜相机中的萌趣贴纸精准附着于人脸关键点上,还是主播们在直播时实时戴上可爱的虚拟动物耳朵或动态装饰物,这些令人眼前一亮的效果背后,都离不开人脸识别技术的支持。自iOS 6起,苹果引入了对AV Foundation框架中的人脸检测功能,这一突破性更新使得应用程序能够实时捕捉并精确定位多达10张人脸的特征信息。

介绍

方案:

人脸识别的整体实现方案与其它媒体捕捉的实现方案并没有很大区别,或者说所有媒体捕捉的实现都是这个步骤:

  1. 配置会话:配置AVCaptureSession,添加AVCaptureDeviceInput,添加AVCaptureOutput
  2. 启动会话:AVCaptureSession startRunning
  3. 停止会话(如果需要)AVCaptureSession  stopRunning。

具体实现在这里就贴代码了,有需要可以查看这篇文章媒体捕捉-iOS自定义二维码扫描功能-CSDN博客。

重点类

AVCaptureMetadataOutput

通过运用AVCaptureOutput家族中的特定类型AVCaptureMetadataOutput,开发者得以获取设备摄像头实时捕获的视频流,并从中提取出有价值的人脸元数据。这种输出并非普通的图像数据,而是封装在AVMetadataObject抽象类内的结构化信息,该类提供了一个通用接口来处理包括但不限于人脸在内的多种类型的元数据对象。

AVMetadataFaceObject

当开启人脸检测模式时,系统会智能识别出人脸区域,并以具体的子类AVMetadataFaceObject的形式输出详细的面部信息。这一技术层面的革新不仅丰富了用户在社交、娱乐等领域的交互体验,更为广泛应用如AR增强现实、虚拟妆容、表情识别等领域奠定了坚实的基础。

实现

因为实现的步骤和其它媒体捕捉的实现步骤几乎相同,所以我们把重点集中到添加会话输出和元数据处理这两个上面。

会话输出:

实现setupSessionOutputs:方法,创建一个新的AVCaptureMetaDataOutput实例并把它添加为捕捉会话的输出。

设置metadataobjectTypes属性指定对象输出的元数据类型为AVMetaObjectTypeFace。AV Foundation支持多种元数据类型的识别,所以当我们只对人脸元数据感兴趣时,需要明确指出。

//MARK:配置会话输出方法
- (BOOL)setupSessionOutputs:(NSError *__autoreleasing  _Nullable *)error{
    self.metadataOutput = [[AVCaptureMetadataOutput alloc] init];
    if ([self.captureSession canAddOutput:self.metadataOutput]) {
        [self.captureSession addOutput:self.metadataOutput];
        NSArray * metadataObjectTypes = @[AVMetadataObjectTypeFace];
        self.metadataOutput.metadataObjectTypes = metadataObjectTypes;
        dispatch_queue_t mainQueue = dispatch_get_main_queue();
        [self.metadataOutput setMetadataObjectsDelegate:self queue:mainQueue];
        return YES;
    }else{
        return NO;
    }
}
数据处理:

当有新的人脸元数据被检测到之后,AVCaptureMetadataOutput会回调它代理的captureOutput:didOutputMetadataObjects:fromConection方法。

//MARK:检测到指定兴趣点的代理
- (void)captureOutput:(AVCaptureOutput *)output didOutputMetadataObjects:(NSArray<__kindof AVMetadataObject *> *)metadataObjects fromConnection:(AVCaptureConnection *)connection{
    for (AVMetadataFaceObject * face in metadataObjects) {
        NSLog(@"Face detected with ID:%li",(long)face.faceID);
        NSLog(@"Face bounds:%@",NSStringFromCGRect(face.bounds));
    }
    [self.faceDetectionDelegate didDetectFaces:metadataObjects];
}

我们将获取到的人脸元数据传递到预览视图previewView来进行处理,在预览视图中首先调用了一个transformedCodesFromCodes:方法,只是我们自己定义的方法,在里面我们只是调用了AVCaptureVideoPreviewLayer提供的坐标转发方法将设备坐标空间元数据对象转换为视图坐标空间对象。

//MARK:代理 检测到人脸数组
- (void)didDetectFaces:(nonnull NSArray *)faces {
    NSArray * transformedFaces = [self transformedFacesFromFaces:faces];
    
}
//MARK:坐标转换
- (NSArray *)transformedFacesFromFaces:(NSArray *)faces{
    NSMutableArray * transformedFaces = [NSMutableArray array];
    for (AVMetadataObject * face in faces) {
        AVMetadataObject * transformedFace = [self.previewLayer transformedMetadataObjectForMetadataObject:face];
        [transformedFaces addObject:face];
    }
    return transformedFaces;
}

接下来从一个全局的人脸图层存储字典中获取所有的key组成一个待丢弃的人脸id数组。然后遍历数组将已经获取到的人脸id从带丢弃的人脸id数组中移除。然后获取或者创建新的人脸layer并设置frame及transform参数。此处代码主要实现的功能是让人脸layer追踪人脸移动,并标记已经消失的人脸layer。

- (void)didDetectFaces:(nonnull NSArray *)faces {
    NSArray * transformedFaces = [self transformedFacesFromFaces:faces];
    NSMutableArray * lostFaces = [self.faceLayers.allKeys mutableCopy];
    for (AVMetadataFaceObject * face in transformedFaces) {
        NSNumber * faceID = @(face.faceID);
        [lostFaces removeObject:faceID];
        CALayer * layer = self.faceLayers[faceID];
        if (!layer) {
            //没有则创建
            layer = [self makeFaceLayer];
            [self.overlayLayer addSublayer:layer];
            self.faceLayers[faceID] = layer;
        }
        layer.transform = CATransform3DIdentity;
        layer.frame = face.bounds;
    }
    
    for (NSNumber * faceID in lostFaces) {
        CALayer * layer = self.faceLayers[faceID];
        [layer removeFromSuperlayer];
        [self.faceLayers removeObjectForKey:faceID];
    }
}
//MARK:创建标记人脸layer
- (CALayer *)makeFaceLayer{
    CALayer * layer = [CALayer layer];
    layer.borderWidth = 5.0;
    layer.borderColor = [UIColor colorWithRed:0.188 green:0.517 blue:0.877 alpha:1.00].CGColor;
    return layer;
}

此时我们就已经可以绘制出人脸在预览视图中的frame了,但距离精确跟踪还差一点小步骤。

要实现这个功能,我们需要读取AVMetadataFaceObject中的rollAngle(滚动角-绕z轴)和yawAngle(偏转角-绕y轴),并将人脸图层layer进行相应的仿射变化。

for (AVMetadataFaceObject * face in transformedFaces) {
        NSNumber * faceID = @(face.faceID);
        [lostFaces removeObject:faceID];
        CALayer * layer = self.faceLayers[faceID];
        if (!layer) {
            //没有则创建
            layer = [self makeFaceLayer];
            [self.overlayLayer addSublayer:layer];
            self.faceLayers[faceID] = layer;
        }
        layer.transform = CATransform3DIdentity;
        layer.frame = face.bounds;
        if (face.hasRollAngle) {
            CATransform3D t = [self transformForRollAngle:face.rollAngle];
            layer.transform = CATransform3DConcat(layer.transform, t);
        }
        if (face.hasYawAngle) {
            CATransform3D t = [self transformForYawAngle:face.yawAngle];
            layer.transform = CATransform3DConcat(layer.transform, t);
        }
    }

仿射变化的代码如下:

//MARK:绕z轴旋转
- (CATransform3D)transformForRollAngle:(CGFloat)rollAngleInDegress{
    CGFloat rollAngleInRadians = THDegreesToRadians(rollAngleInDegress);
    return CATransform3DMakeRotation(rollAngleInRadians, 0.0, 0.0, 1.0);
}
//MARK:绕y轴旋转
- (CATransform3D)transformForYawAngle:(CGFloat)yawAngleInDegress{
    CGFloat yawAngleInRadians = THDegreesToRadians(yawAngleInDegress);
    CATransform3D yawTransform = CATransform3DMakeRotation(yawAngleInRadians, 0.0, -1.0, 0.0);
    return CATransform3DConcat(yawTransform, [self orientationTransform]);
}
//MARK:角度转弧度
static CGFloat THDegreesToRadians(CGFloat degress){
    return degress * M_PI / 180;
}
- (CATransform3D)orientationTransform{
    CGFloat angle = 0.0;
    switch ([UIDevice currentDevice].orientation) {
        case UIDeviceOrientationPortraitUpsideDown:
            angle = M_PI;
            break;
        case UIDeviceOrientationLandscapeRight:
            angle = -M_PI / 2.0;
            break;
        case UIDeviceOrientationLandscapeLeft:
            angle = M_PI / 2.0;
            break;
            
        default:
            angle = 0.0;
            break;
    }
    return CATransform3DMakeRotation(angle, 0.0, 0.0, 1.0);
}

结语

以上就是使用AV Foundation进行人脸检测的所有关键步骤,已经实现了一个比较粗糙的人脸识别的用户界面。要真正实现将帽子,贴纸等显示在人脸上并且拍照或者直播,还需要与其它框架的技术相结合,比如Quartz框架,或者OpenGL等。文章来源地址https://www.toymoban.com/news/detail-789945.html

到了这里,关于媒体捕捉-iOS中的人脸识别的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 人工智能:人脸识别技术在医疗领域中的应用

    作者:禅与计算机程序设计艺术 人工智能(Artificial Intelligence,AI)已经逐渐成为当今的热点词汇。近年来,随着人工智能技术的不断进步,尤其是生物识别、图像处理、语音理解等领域取得重大突破,人工智能在医疗领域也逐渐走向成熟。目前,我国医疗卫生行业已经进入

    2024年02月08日
    浏览(71)
  • 人脸识别技术在虚拟现实中的应用:娱乐与安全

    作者:禅与计算机程序设计艺术 引言 随着虚拟现实(VR)技术的快速发展,越来越多的应用场景开始使用人脸识别技术,为用户提供更加沉浸、真实的交互体验。人脸识别技术在虚拟现实中的应用有着娱乐和安全的双重价值。 本文旨在讨论人脸识别技术在虚拟现实中的应用

    2024年02月13日
    浏览(73)
  • Python|OpenCV-实现自动“追踪并检测”视频中的人脸识别(14)

    前言 本文是该专栏的第15篇,后面将持续分享OpenCV计算机视觉的干货知识,记得关注。 在本专栏之前,笔者在文章《Python|OpenCV-实现检测人脸以及性别检测(12)》中,有详细介绍通过OpenCV实现对图像中的人物人脸进行性别以及人脸检测,对此领域感兴趣的同学,可直接点击翻阅

    2024年04月14日
    浏览(42)
  • 人工智能在智能家居安全系统软件中的人脸识别应用

    作者:禅与计算机程序设计艺术 《人工智能在智能家居安全系统软件中的人脸识别应用》 引言 1.1. 背景介绍 随着物联网技术的发展,智能家居逐渐成为人们生活中不可或缺的一部分。智能家居系统通常包括智能门锁、智能灯光、智能插座、智能窗帘、智能家电等。其中,智

    2024年02月08日
    浏览(61)
  • 特征向量与语音识别:捕捉音频数据的特点

    语音识别(Speech Recognition)是一种自然语言处理技术,它旨在将人类语音信号转换为文本。在过去的几十年里,语音识别技术发展迅速,从早期的简单命令识别到现代的复杂语言理解系统。语音识别系统的核心技术是提取语音信号中的有用特征,以便于后续的语言处理和理解。

    2024年03月09日
    浏览(49)
  • 【深度学习】基于Qt的人脸识别系统,门禁人脸识别系统,Python人脸识别流程,树莓派

    在深度学习领域做人脸识别的识别准确率已经高到超出人类识别,但综合考虑模型复杂度(推理速度)和模型的识别效果,这个地方还是有做一些工作的需求的。 人脸识别的过程基本由下面的流程组成。 yolov5-face、yolov7-face等github项目都可以做到这一点,在公开数据集上训练

    2024年02月09日
    浏览(50)
  • 人脸识别技术是什么?如何进行人脸识别数据标注?

    人脸识别解锁、人脸识别防盗系统、人脸识别登陆账户,相比于传统的指纹识别或者是虹膜识别等生物识别技术,人脸识别的应用更加广泛和多样。人脸识别技术是什么?人脸识别和数据标注有什么关系?阅读本文你会了解: 人脸识别技术什么 数据标注和人脸识别的关系 人

    2024年02月07日
    浏览(41)
  • 【人脸识别】基于facenet_pytorch实现人脸识别

            该代码可以在Pycharm、Jupyter、Python等Python编译器中运行,本文我使用的是Pycharm。 (一)安装pytorch(cpu)         首先在Pycharm中新建一个名为facenet_test的项目,并创建一个名为fp.py的Python文件。         打开PyTorch官网Start Locally | PyTorch,在主页中根据自己的电

    2024年02月04日
    浏览(48)
  • 人脸识别实战之基于开源模型搭建实时人脸识别系统(二):人脸检测概览与模型选型

    进行人脸识别首要的任务就是要定位出画面中的人脸,这个任务就是人脸检测。人脸检测总体上算是目标检测的一个特殊情况,但也有自身的特点,比如角度多变,表情多变,可能存在各类遮挡。早期传统的方法有Haar Cascade、HOG等,基本做法就是特征描述子+滑窗+分类器,随

    2024年02月04日
    浏览(46)
  • 基于OpenCV提供的人脸识别算法LBPH实现人脸识别

    本文通过学习LBPH人脸识别算法,简要了解人脸识别技术的原理,实现人脸采集、训练人脸模型实现人脸识别。 OpenCV库自带的人脸级联分级器具有很好的人脸检测和人脸追踪效果,它是一个基于Haar特征的Adaboost级联分类器。特别注意,OpenCV库虽然自带人脸级联分级器,但是识

    2024年02月03日
    浏览(48)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包