Mediapipe+OpenCV与Unity引擎实现动作捕捉

这篇具有很好参考价值的文章主要介绍了Mediapipe+OpenCV与Unity引擎实现动作捕捉。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

前言

之前写了一篇文章: Mediapipe+OpenCV图像识别技术与Unity引擎的结合

其中的技术是Python利用OpenCV图像捕捉,配合强大的Mediapipe库来实现人体动作检测与识别;将识别结果实时同步至Unity中,实现人物模型在Unity中运动身体结构识别

技术更新

因为之前的人物动作捕捉是先通过PythonMediapipe先将人物动作进行捕捉,将捕捉到的数据format后写入到txt中,在Unity端对txt进行数据读取,进而实现Unity人物运动;其中的缺点是:没有时效性

而本次的改进:通过利用socket和UPD通信,在localhost中数据传输,让动捕数据实时传输,到达实时动捕的效果

Demo演示

之前的Demo展示:https://hackathon2022.juejin.cn/#/works/detail?unique=WJoYomLPg0JOYs8GazDVrw
unity姿态识别,OpenCV,python,Unity,opencv,unity,计算机视觉
unity姿态识别,OpenCV,python,Unity,opencv,unity,计算机视觉

更新后效果

unity姿态识别,OpenCV,python,Unity,opencv,unity,计算机视觉

可以和珈乐同步互动…

unity姿态识别,OpenCV,python,Unity,opencv,unity,计算机视觉

本篇文章所用的技术会整理后开源,后续可以持续关注:
项目地址:https://github.com/BIGBOSS-dedsec/OpenCV-Unity-To-Build-3DPerson

GitHub:https://github.com/BIGBOSS-dedsec

CSDN: https://blog.csdn.net/weixin_50679163?type=edu

同时本篇文章实现的技术参加了稀土掘金2022编程挑战赛-游戏赛道-优秀奖
作品展示:https://hackathon2022.juejin.cn/#/works/detail?unique=WJoYomLPg0JOYs8GazDVrw
unity姿态识别,OpenCV,python,Unity,opencv,unity,计算机视觉

认识Mediapipe

项目的实现,核心是强大的Mediapipe ,它是google的一个开源项目:

功能 详细
人脸检测 FaceMesh 从图像/视频中重建出人脸的3D Mesh
人像分离 从图像/视频中把人分离出来
手势跟踪 21个关键点的3D坐标
人体3D识别 33个关键点的3D坐标
物体颜色识别 可以把头发检测出来,并图上颜色

Mediapipe Dev
unity姿态识别,OpenCV,python,Unity,opencv,unity,计算机视觉
以上是Mediapipe的几个常用功能 ,这几个功能我们会在后续一一讲解实现
Python安装Mediapipe

pip install mediapipe==0.8.9.1

也可以用 setup.py 安装
https://github.com/google/mediapipe

项目环境

Python 3.7
Mediapipe 0.8.9.1
Numpy 1.21.6
OpenCV-Python 4.5.5.64
OpenCV-contrib-Python 4.5.5.64

unity姿态识别,OpenCV,python,Unity,opencv,unity,计算机视觉
实测也支持Python3.8-3.9

身体动作捕捉部分

身体数据文件

这部分是我们通过读取视频中人物计算出每个特征点信息进行数据保存,这些信息很重要,后续在untiy中导入这些动作数据
unity姿态识别,OpenCV,python,Unity,opencv,unity,计算机视觉
关于身体特征点
unity姿态识别,OpenCV,python,Unity,opencv,unity,计算机视觉

核心代码

摄像头捕捉部分:

import cv2

cap = cv2.VideoCapture(0)       #OpenCV摄像头调用:0=内置摄像头(笔记本)   1=USB摄像头-1  2=USB摄像头-2

while True:
    success, img = cap.read()
    imgRGB = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)       #cv2图像初始化
    cv2.imshow("HandsImage", img)       #CV2窗体
    cv2.waitKey(1)      #关闭窗体

视频帧率计算

import time

#帧率时间计算
pTime = 0
cTime = 0

while True
cTime = time.time()
    fps = 1 / (cTime - pTime)
    pTime = cTime

    cv2.putText(img, str(int(fps)), (10, 70), cv2.FONT_HERSHEY_PLAIN, 3,
                (255, 0, 255), 3)       #FPS的字号,颜色等设置

身体动作捕捉:

while True:
    if bboxInfo:
        lmString = ''
        for lm in lmList:
            lmString += f'{lm[1]},{img.shape[0] - lm[2]},{lm[3]},'
        posList.append(lmString)

数据传输:

# 定义localhost和端口
sock = socket.socket(socket.AF_INET, socket.SOCK_DGRAM)
serverAddressPort = ("127.0.0.1", 5054)

# 数据发送
date = lmString
sock.sendto(str.encode(str(date)), serverAddressPort)

unity姿态识别,OpenCV,python,Unity,opencv,unity,计算机视觉

完整代码

MotionCapPRO.py

import cv2
from cvzone.PoseModule import PoseDetector
import socket

# cap = cv2.VideoCapture('1.mp4')
cap = cv2.VideoCapture(0)

sock = socket.socket(socket.AF_INET, socket.SOCK_DGRAM)
serverAddressPort = ("127.0.0.1", 5054)      # 定义localhost与端口,当然可以定义其他的host

detector = PoseDetector()
posList = []    # 保存到txt在unity中读取需要数组列表

while True:
    success, img = cap.read()
    img = detector.findPose(img)
    lmList, bboxInfo = detector.findPosition(img)

    if bboxInfo:
        lmString = ''
        for lm in lmList:
            lmString += f'{lm[1]},{img.shape[0] - lm[2]},{lm[3]},'
        posList.append(lmString)

    # print(len(posList))       
    print(lmString)
    date = lmString
    sock.sendto(str.encode(str(date)), serverAddressPort)

    cv2.imshow("Image", img)
    key = cv2.waitKey(1)
    # 记录数据到本地
    # if key == ord('r'):    
    with open("MotionData.txt", 'w') as f:
        f.writelines(["%s\n" % item for item in posList])

运行效果

unity姿态识别,OpenCV,python,Unity,opencv,unity,计算机视觉
unity姿态识别,OpenCV,python,Unity,opencv,unity,计算机视觉

Unity 部分

建模

在Unity中,我们需要搭建一个人物的模型,这里需要一个33个Sphere作为身体的特征点33个Cube作为中间的支架
具体文件目录如下:
unity姿态识别,OpenCV,python,Unity,opencv,unity,计算机视觉
Line的编号对应人物模型特征点
unity姿态识别,OpenCV,python,Unity,opencv,unity,计算机视觉

UPD.cs (用于接收端口数据)

using UnityEngine;
using System;
using System.Text;
using System.Net;
using System.Net.Sockets;
using System.Threading;

public class UDPReceive : MonoBehaviour
{

    Thread receiveThread;
    UdpClient client; 
    public int port = 5052;
    public bool startRecieving = true;
    public bool printToConsole = false;
    public string data;


    public void Start()
    {

        receiveThread = new Thread(
            new ThreadStart(ReceiveData));
        receiveThread.IsBackground = true;
        receiveThread.Start();
    }
    
    private void ReceiveData()
    {

        client = new UdpClient(port);
        while (startRecieving)
        {
            try
            {
                IPEndPoint anyIP = new IPEndPoint(IPAddress.Any, 0);
                byte[] dataByte = client.Receive(ref anyIP);
                data = Encoding.UTF8.GetString(dataByte);

                if (printToConsole) { print(data); }
            }
            catch (Exception err)
            {
                print(err.ToString());
            }
        }
    }
}

unity姿态识别,OpenCV,python,Unity,opencv,unity,计算机视觉

unity姿态识别,OpenCV,python,Unity,opencv,unity,计算机视觉
(水印是我的,非盗用)

Line.cs

这里是每个Line对应cs文件,实现功能:使特征点和Line连接在一起

using System.Collections;
using System.Collections.Generic;
using UnityEngine;

public class LineCode : MonoBehaviour
{

    LineRenderer lineRenderer;

    public Transform origin;
    public Transform destination;

    void Start()
    {
        lineRenderer = GetComponent<LineRenderer>();
        lineRenderer.startWidth = 0.1f;
        lineRenderer.endWidth = 0.1f;
    }
// 连接两个点
    void Update()
    {
        lineRenderer.SetPosition(0, origin.position);
        lineRenderer.SetPosition(1, destination.position);
    }
}

Action.cs

这里是读取上文识别并保存的人物动作数据并将每个子数据循环遍历到每个Sphere点,使特征点随着视频中人物动作运动

using System.Collections;
using System.Collections.Generic;
using UnityEngine;

public class body : MonoBehaviour
{
    // Start is called before the first frame update
    public UDPReceive udpReceive;
    public GameObject[] bodyPoints;
    void Start()
    {
        
    }

    // Update is called once per frame
    void Update()
    {
        string data = udpReceive.data;
        
        // data = data.Remove(0, 1);
        // data = data.Remove(data.Length - 1, 1);
        print(data);
        string[] points = data.Split(',');
        print(points[0]);

        //0        1*3      2*3
        //x1,y1,z1,x2,y2,z2,x3,y3,z3

        for (int i = 0; i < 32; i++)
        {

            float x = float.Parse(points[0 + (i * 3)]) / 100;
            float y = float.Parse(points[1 + (i * 3)]) / 100;
            float z = float.Parse(points[2 + (i * 3)]) / 300;

            bodyPoints[i].transform.localPosition = new Vector3(x, y, z);

        }

    }
}

最终实现效果

这里的视频与Unity运行有延时
unity姿态识别,OpenCV,python,Unity,opencv,unity,计算机视觉

后记

利用这一技术,后期可以开发出更多有意思的玩法,虽然比赛已经结束(也取得一个自己比较满意的成果),但是我的作品更新不会结束,我会一直完善下去,直到成为一款优秀的ASOUL游戏作品!坚持下去的所有动力都是对ASOUL的热爱永远的五人团—“我们是AAAAAASOULLLLLLL!!!”

Good Luck,Have Fun and Happy Coding!!!文章来源地址https://www.toymoban.com/news/detail-779596.html

到了这里,关于Mediapipe+OpenCV与Unity引擎实现动作捕捉的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 基于python使用OpenCV和MediaPipe通过人体姿态检测实现对标准的仰卧起坐数量的计量(三)

    先来看一下main.py的代码 import cv2 import numpy as np import PoseModule as pm   cap = cv2.VideoCapture(\\\'10.mp4\\\') detector = pm.poseDetector() count = 0 dir = 0   while True:     success, img = cap.read()     img = cv2.resize(img, (400, 300))     img = detector.findPose(img, False)     lmList = detector.fi

    2024年04月16日
    浏览(60)
  • 基于opencv与mediapipe的民族舞舞蹈动作识别

    需要项目的请关注、私信 Opencv(Open Source Computer Vision Library)是一个基于开源发行的跨平台计算机视觉库,它实现了图像处理和计算机视觉方面的很多通用算法,已成为计算机视觉领域最有力的研究工具。在这里我们要区分两个概念:图像处理和计算机视觉的区别:图像处理

    2024年02月10日
    浏览(58)
  • mediapipe 实现动作识别

    windows 10 64bit mediapipe 0.8.10.1 本文使用 google 家的 mediapipe 机器学习框架,结合 opencv 和 numpy ,实现了一个实时识别 站立 、 坐下 、 走动 、 挥手 共4个动作的简单系统。 mediapipe 能做的事情非常多,感兴趣的童鞋可以去研究研究。 首先,需要安装 mediapipe 接着,来看代码,部分

    2024年02月11日
    浏览(51)
  • python姿态检测实现多人多姿态识别python行为识别openpose行为骨骼框架检测动作识别动作检测行为动作分类

    https://download.csdn.net/download/babyai996/88741189 https://download.csdn.net/download/babyai996/88741257  https://download.csdn.net/download/babyai996/88741262  https://download.csdn.net/download/babyai996/88741266  https://download.csdn.net/download/babyai996/88741272  https://download.csdn.net/download/babyai996/88741274  视频演示: python行为

    2023年04月20日
    浏览(49)
  • Unity技能学院——RPG动作类游戏角色普攻的实现

    实现角色普攻是每个RPG类型动作游戏都会实现的功能,在游戏过程中,玩家与敌人相互攻击,产生攻击判定、血量减少、攻击效果等等。 这是几乎是我们每一个想上手RPG游戏开发的必修课。 因此本期内容讲各位零基础的学友带来最简单易上手的角色普攻教学。保证你一遍就

    2024年04月16日
    浏览(57)
  • Mediapipe手势识别,并与unity通信

    Mediapipe是goole的一个开源项目,支持跨平台的常用ML方案,详情请戳下面链接 MediaPipe Mediapipe底层封装了手势识别的具体实现内容,而在Python中搭建完环境后经过很简单的调用就能够实现手势识别 环境如下: pip install mediapipe pip install opencv-python 简单的实现,代码很少,代码如

    2024年02月11日
    浏览(42)
  • Mediapipe人体骨架检测和实时3d绘制——Mediapipe实时姿态估计

    大约两年前,基于自己的理解我曾写了几篇关于Mediapipe的文章,似乎帮助到了一些人。这两年,忙于比赛、实习、毕业、工作和考研。上篇文章已经是一年多前发的了。这段时间收到很多私信和评论,请原谅无法一一回复了。我将尝试在这篇文章里回答一些大家经常问到的问

    2024年02月03日
    浏览(60)
  • mediapipe单人动捕驱动unity“火柴人”

    参考自基于mediapipe的动作捕捉和Unity的球棍模型同步_unity 动作捕捉_maxindemaxinde的博客-CSDN博客 在这篇博客中,作者标明了 资源下载: 链接:https://pan.baidu.com/s/1XBBWV1wCxyW0FyRTOtorkw?pwd=sbyq 提取码:sbyq 参考:https://www.youtube.com/watch?v=BtMs0ysTdkM 目录 一.技术介绍(mediapipe介绍) 2.应

    2024年02月06日
    浏览(41)
  • 挑选全身动作捕捉设备需要看哪几点?

    随着数字化发展,虚拟数字人成为企业、品牌营销中不可或缺的一环,虚拟数字人可以通过全身动作捕捉设备,能够打破次元壁与用户实时互动。那要怎么挑选全身动作捕捉设备呢? 广州虚拟动力推出了旗舰版惯性动捕设备DreamsCap X1,一套全身动作捕捉设备套装,就包含了动

    2024年01月23日
    浏览(39)
  • MediaPipe人体姿态、手指关键点检测

    Mediapipe是google的一个开源项目,用于构建机器学习管道 提供了16个预训练模型的案例:人脸检测、Face Mesh、虹膜、手、姿态、人体、人物分割、头发分割、目标检测、Box Tracking、Instant Motion Tracking、3D目标检测、特征匹配、AutoFlip、MediaSequence、YouTube-8M 肢体识别本质上还是分类

    2024年02月08日
    浏览(56)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包