一文openpose姿态估计

这篇具有很好参考价值的文章主要介绍了一文openpose姿态估计。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

1.什么是姿态估计

一文openpose姿态估计
如下是coco数据集的各个点,不同数据集有不同
一文openpose姿态估计
一文openpose姿态估计
举例:
一文openpose姿态估计
一文openpose姿态估计
一文openpose姿态估计

一文openpose姿态估计
一文openpose姿态估计
一文openpose姿态估计

一文openpose姿态估计

2.姿态估计的两种方法

2.1 Top-down方法

一文openpose姿态估计
第一步得到框以后,对单个框做一个回归任务,例如:将单人图裁剪出来,输入17个关键点的网络模型,得到头,肩等位置,注意这里的位置如果要想准确,得是相对位置。
什么是相对位置:相对位置就是头的位置,针对裁处的图的宽高的距离,假设图左上角为原点,那么偷得位置就是距离原点w=1,距离原点h=2.

第二步拼接点,拼接点的规则是我们提前配置好的。

这种方法的优点:
1.点的拼接不会错(准)
这种方法的问题:
一文openpose姿态估计
这种方法适用于:
1.不要求速度
2.要求准
多人,实时的问题举例:
一文openpose姿态估计
openpose的改进就是剥离出目标检测,直接对图像进行关键点检测,然后拼接,怎么拼接呢?
一文openpose姿态估计

2.2 openpose方法

关键点获取:
一文openpose姿态估计
输出18个特征图(每个特征图对应一个关键点),上图输出的是右肩膀的热度图 。那么标签定义的时候,也就需要定义为高斯类型,哪些点离得近概率就高,离得远,概率就低。

拼接:(PAF part affinity fields 部分亲和场)
目的:找到当前最合适的拼接方式(拼接方向)
一文openpose姿态估计
引入向量概念
18个点有19种连接方式,2个点(x1,y1)(x2,y2)会有一个向量
方向有两种,x的方向,y的方向,所以这种预测的特征图的数量为:19*2=38个,38个特征图代表19种方向。

方向有了怎么连接?
一文openpose姿态估计
分数肯定需要网络学习,那么学习就涉及到标签制作:
一文openpose姿态估计
标签制作中,需要向量信息,向量有大小,有方向,现在只需要方向,所以单位向量最适合
一文openpose姿态估计
方向实例1:
一文openpose姿态估计
一文openpose姿态估计
一文openpose姿态估计
标签中的方向明白的话,接下来看:预测中的方向
一文openpose姿态估计
引入积分思想:
积分就是求近似面积,例如估计一个无数个间隔无限接近的长方形图形对于x轴的面积
一文openpose姿态估计
上门投影做积分的思想就是如下的公式体现:
一文openpose姿态估计
回到方向有了,怎么连接?=》分数(权值)权值就是这么算出来的
一文openpose姿态估计
一文openpose姿态估计
得分值知道以后怎么匹配呢?
一个点,例如脖子的点,可以匹配左肩膀,右肩膀,左腿,右腿,一个点匹配很多个点,这样的匹配就很难了(图下情况b),上面得到的积分,只能说哪个方向好,哪个方向坏。
常见的匹配就是二分匹配,直接套用匈牙利算法。
在姿势匹配中,就是规定的脖子只连右肩膀,右肩膀只连右胳膊肘,右胳膊肘只连右手(图下情况c),每一个特征点的匹配都是二分的(图下情况d),二分的做的好。
一文openpose姿态估计
一文openpose姿态估计
如果还看不懂,先往下看,到下面第三张图就明白了!!!

3.框架

一文openpose姿态估计
输入图像(如上图情况a),走两个分支(b,c)
估计关键点实际位置(如上图情况b),得到18个特征图。
估计关键点之间的向量(如上图情况c),得到38个特征图。
一文openpose姿态估计
根据上门的二分匹配,左边绿点为左肩膀,绿线连接左边蓝点(左胳膊肘),红线连接右边蓝点(左胳膊肘),做二分匹配,匹配到对的。
(如上图情况d),得到19张特征图。
一文openpose姿态估计
最后基于19张特征图得到骨架结果(如上图情况e)

4.网络结构

4.1 CPM(一代)

只有关键点的定位
一文openpose姿态估计
引入级联思想
一文openpose姿态估计
一文openpose姿态估计
上图表示的是,当感受野越大,即x坐标轴,看到的像素越多,准确率越高。如下图举例。
一文openpose姿态估计
一文openpose姿态估计
上图表示的是,就算视野小,也加入损失函数,增加小视野找的准确性,那么为后面更大的视野也奠定了基础。(一个学习的过程)

4.2 openpose

一文openpose姿态估计
一文openpose姿态估计
一文openpose姿态估计

5.姿势识别

5.1 得到监督txt

  • 设定站立、行走、奔跑、跳动、坐下、下蹲、踢腿、出拳、挥手等行为标签,每类行为通过摄像头采集相关视频,并将视频分帧成多张图片
  • 将其中的姿态特征利用openpose提取作为完整动作的基本识别特征,并将其中的信息整合到txt文件中。

5.2 特征整合

  • 将提取的特征信息和对应的图片,行为标签一一对应起来整合在一个TXT文件中。整合出的TXT信息分别作为输入(图片和骨骼特征点)和输出标签(行为标签)csv文件。

  • 其中输入的特征可以是关键点的特征,也可以是不同骨骼点连接的线特征,以及不同线之间组合形成的面特征。

  • 这些特征将通过分类算法进行学习。

5.3 机器学习算法分类

一文openpose姿态估计
一文openpose姿态估计

5.4 深度学习算法分类

利用keras搭建RNN网络模型,并加入了二次检测,以防止对坐下、摔倒误判。二次检测主要对人体高度和宽度的比例进行对比以判断是否为跌倒动作。文章来源地址https://www.toymoban.com/news/detail-511339.html

到了这里,关于一文openpose姿态估计的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • python姿态检测实现多人多姿态识别python行为识别openpose行为骨骼框架检测动作识别动作检测行为动作分类

    https://download.csdn.net/download/babyai996/88741189 https://download.csdn.net/download/babyai996/88741257  https://download.csdn.net/download/babyai996/88741262  https://download.csdn.net/download/babyai996/88741266  https://download.csdn.net/download/babyai996/88741272  https://download.csdn.net/download/babyai996/88741274  视频演示: python行为

    2023年04月20日
    浏览(50)
  • 基于YOLOV7的openpose人体姿态检测识别,FPS可以达到“较高”的效果

    前不久yolov7(原yolov4团队)在yolov6(美团)开源不到两周的时间也更新了, 如下图所示,yolov7效果比前面的版本确实牛逼,在精度相同的情况下,速度上面提升了一大截,但是这是在比较好的设备上面; YOLOv7 的发展方向与当前主流的实时目标检测器不同,研究团队希望它能

    2024年02月05日
    浏览(50)
  • 人体姿态估计和手部姿态估计任务中神经网络的选择

    一、 人体姿态估计 任务适合使用 卷积神经网络(CNN) 来解决。         人体姿态估计任务的目标是从给定的图像或视频中推断出人体的关节位置和姿势。这是一个具有挑战性的计算机视觉任务,而CNN在处理图像数据方面表现出色。         使用CNN进行人体姿态估计

    2024年02月05日
    浏览(41)
  • YOLOv7姿态估计pose estimation(姿态估计-目标检测-跟踪)

    YOLOv7姿态估计(pose estimation)是一种基于YOLOv7算法的姿态估计方法。该算法使用深度学习技术,通过分析图像中的人体关键点位置,实现对人体姿态的准确估计。 姿态估计是计算机视觉领域的重要任务,它可以识别人体的关节位置和姿势,从而为人体行为分析、动作识别、运

    2024年01月18日
    浏览(47)
  • 3D人体姿态估计

    3D人体姿态估计是指通过算法对输入的图像或视频进行分析,推断出人体的三维姿态信息。该技术可以应用于许多领域,如虚拟现实、运动分析、人机交互等。 1. 算法原理: 3D人体姿态估计利用深度学习模型作为算法的核心,通过网络学习人体姿态的表示和映射关系。该算法

    2024年02月03日
    浏览(43)
  • 视频姿态估计:DeciWatch

    论文链接:https://arxiv.org/pdf/2203.08713.pdf 论文代码: https://github.com/cure-lab/DeciWatch 项目链接:https://ailingzeng.site/deciwatch 论文出处:2022 ECCV 论文单位:港中文 本文提出了一个简单的 基线框架 ,用于基于 视频的2D/3D人体姿态估计 ,可以在不降低任何性能的情况下实现 10倍的效率

    2024年01月23日
    浏览(37)
  • 【姿态估计】MediaPipe部分solution(手势,人体姿态,面部动作)的用法

    Mediapipe介绍 MediaPipe是个基于图形的跨平台框架,用于构建多模式应用的机器学习管道。 MediaPipe可在移动设备,工作站和服务器上跨平台运行,并支持移动GPU加速。使用MediaPipe,可以将应用的机器学习管道构建为模块化组件的图形。 MediaPipe专为机器学习从业者而设计包括研究

    2024年02月01日
    浏览(85)
  • 水果姿态估计论文、数据集汇总

    摘要 : 深度学习具有良好的图像特征学习能力,并被广泛应用于图像目标检测中。为了提高机器视觉在草莓采集机器人水果检测中的性能,引入了掩模区域卷积神经网络(Mask-RCNN)。采用Resnet50作为骨干网络,结合特征金字塔网络(FPN)架构进行特征提取。区域提案网络(

    2024年02月12日
    浏览(38)
  • OpenCV实战(24)——相机姿态估计

    校准相机后,就可以将捕获的图像与物理世界联系起来。如果物体的 3D 结构是已知的,那么就可以预测物体如何投影到相机的传感器上,图像形成的过程由投影方程描述。当方程的大部分项已知时,就可以通过观察一些图像来推断其他元素 ( 2D 或 3D ) 的值。相机姿态估计就是

    2024年02月05日
    浏览(46)
  • CVPR2023新作:3D人体姿态估计

    Title: 3D Human Pose Estimation via Intuitive Physics Affiliation: Max Planck Institute for Intelligent Systems, Tübingen, Germany Authors: Shashank Tripathi, Lea Müller, Chun-Hao P. Huang, Omid Taheri, Michael J. Black, Dimitrios Tzionas Keywords: 3D human pose estimation, physics engine, intuitive-physics terms, pressure heatmap, stable configuration. Su

    2024年02月16日
    浏览(39)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包