基于Mediapipe的姿势识别并同步到Unity人体模型中

7月前作者：JoeManba 分类：Toy博客阅读(35) 违法举报

这篇具有很好参考价值的文章主要介绍了基于Mediapipe的姿势识别并同步到Unity人体模型中。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

如题，由于是商业项目，无法公开源码，这里主要说一下实现此功能的思路。
人体关节点识别
基于Mediapipe Unity插件进行开发，性能比较低的CPU主机，无法流畅地运行Mediapipe，这个要注意一下。
Mediapipe33个人体关节点图如下：
mediapipe unity,unity,游戏引擎,mediapipe
Mediapipe关节点映射到Unity人体骨骼
这是开发此功能的一个难点，涉及到了关节点位置与骨骼位置的映射，还有骨骼反向运动。
1、使用unity IK插件比如：Animation Rigging、Final IK等
2、参考ThreeDPoseUnityBarracuda自行去映射关节点。

我这边使用的是第二种方法。主参照ThreeDPoseUnityBarracuda项目中的VNectModel.cs脚本，其中abdomenUpper这个关节点的位置要我们根据Mediapipe传过来的位置进行手动计算再赋值，其他位置可以直接从Mediapipe传过来的值中得到。

另外Build的时候记得将资源加载的方式改为StreamingAssets
mediapipe unity,unity,游戏引擎,mediapipe

最终效果如下：

MediaPipe Pose Tracking文章来源地址https://www.toymoban.com/news/detail-672874.html

到了这里，关于基于Mediapipe的姿势识别并同步到Unity人体模型中的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：

领支付宝红包赞助服务器费用

Mediapipe人体骨架检测和实时3d绘制——Mediapipe实时姿态估计

大约两年前，基于自己的理解我曾写了几篇关于Mediapipe的文章，似乎帮助到了一些人。这两年，忙于比赛、实习、毕业、工作和考研。上篇文章已经是一年多前发的了。这段时间收到很多私信和评论，请原谅无法一一回复了。我将尝试在这篇文章里回答一些大家经常问到的问

2024年02月03日
浏览(44)
基于python使用OpenCV和MediaPipe通过人体姿态检测实现对标准的仰卧起坐数量的计量（三）

先来看一下main.py的代码 import cv2 import numpy as np import PoseModule as pm cap = cv2.VideoCapture(\\\'10.mp4\\\') detector = pm.poseDetector() count = 0 dir = 0 while True: success, img = cap.read() img = cv2.resize(img, (400, 300)) img = detector.findPose(img, False) lmList = detector.fi

2024年04月16日
浏览(46)
基于mediapipe的手势数字识别

基于mediapipe识别手势所对应的数字(一、二、三、四、五)。 mediapipe的官网总体思路：mediapipe可以识别手掌的关键点，我的思路是识别单根手指是否弯曲，然后根据五根手指的弯曲程度判断手势所对应的数字。那怎么判断单根手指是否弯曲呢？我是根据手指的四个关键点的相

2024年02月11日
浏览(43)
基于mediapipe的姿态识别和简单行为识别

源码地址： 🚀🚀🚀🚀 其实这部分很简单，直接在windows命令行的环境下就可以啦 Mediapipe是一个用于构建机器学习管道的框架，用户处理视频、音频等时间序列数据。这个跨平台框架适用于桌面/服务器、Android、ios和各类嵌入式设备。目前mediapipe包含16个solutions，分别为总

2024年02月02日
浏览(36)
3D人体骨架检测（mediapipe）

m 在本教程中，我们将学习如何使用python中的mediapipe库进行实时3D骨架检测。首先，我们得用pip下载下来我们需要用到的模组：这个工具不仅得到了谷歌的支持，而且Mediapipe中的模型也被积极地用于谷歌产品中。因此，这个模组，超级牛皮。现在，MediaPipe的姿势检测是高保真

2024年02月02日
浏览(28)
基于opencv-mediapipe的手势识别

上一篇文章介绍了基于opencv的手势识别，如果大家运行了我的代码，会发现代码中找出手部轮廓的效果不是很理想。当时我在网上找寻解决的办法，刚好找到了mediapip库，然后我就利用opencv和mediapipe这两个库重新进行了手势识别的代码编写。效果还不错，写篇文章记录一下。

2024年02月09日
浏览(37)
MediaPipe人体姿态、手指关键点检测

Mediapipe是google的一个开源项目，用于构建机器学习管道提供了16个预训练模型的案例：人脸检测、Face Mesh、虹膜、手、姿态、人体、人物分割、头发分割、目标检测、Box Tracking、Instant Motion Tracking、3D目标检测、特征匹配、AutoFlip、MediaSequence、YouTube-8M 肢体识别本质上还是分类

2024年02月08日
浏览(39)
基于python+opencv+mediapipe实现手势识别详细讲解

目录运行环境：一、opencv 二、meidapipe配置三、实现手部的识别并标注 1、参数分析 1.multi_hand_landmarks 2.multi_hand_world_landmarks 3.multi_handedness 2.绘制信息点和连线 python3.9.7 opencv-python4.6.0.66 mediapipe0.8.11 运行之前先要安装opencv-python、opencv-contrib-python、mediapipe 项目可能对版本的

2024年01月25日
浏览(35)
基于Mediapipe的Python手势识别项目(手势识别游戏）附项目源码

基于Mediapipe的手势识别，完成的手势识别游戏。运行效果图如下：首先是初始的界面效果图：游戏规则：屏幕上会出现蚊子和蜜蜂，当手蜷曲握起时，表示抓的动作。如果抓到右边移动的蚊子，则会增加分数，如果抓到右边的蜜蜂，则会出现被蛰到的声音：）调用Mediapip

2024年02月11日
浏览(74)
基于opencv与mediapipe的民族舞舞蹈动作识别

需要项目的请关注、私信 Opencv（Open Source Computer Vision Library）是一个基于开源发行的跨平台计算机视觉库，它实现了图像处理和计算机视觉方面的很多通用算法，已成为计算机视觉领域最有力的研究工具。在这里我们要区分两个概念：图像处理和计算机视觉的区别：图像处理

2024年02月10日
浏览(35)