基于 pytorch-openpose 实现 “多目标” 人体姿态估计

这篇具有很好参考价值的文章主要介绍了基于 pytorch-openpose 实现 “多目标” 人体姿态估计。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

前言

还记得上次通过 MediaPipe 估计人体姿态关键点驱动 3D 角色模型,虽然节省了动作 K 帧时间,但是网上还有一种似乎更方便的方法。MagicAnimate 就是其一,说是只要提供一张人物图片和一段动作视频 (舞蹈武术等),就可以完成图片人物转视频。

于是我就去官网体验了一下,发现动作的视频长度不能超过 5 秒,当然,如果说要整长视频可以切多段处理再合成解决。主要的还是视频需要那种背景相对较纯的,不然提交表单一直报错,还有他也不能处理画面内多人物的姿态估计。

基于 pytorch-openpose 实现 “多目标” 人体姿态估计,pytorch,人工智能,python

多目标人体姿态估计

为什么我要弄多目标,其实是我有次拿了一舞团的视频用 MediaPipe 检测,发现一个画面中只能采集到一个人的动作数据。虽然齐舞可能就一套动作,其他的角色模型可以复制粘贴,但是有些编舞为了好看,伴舞也会根据节奏作不同的变化。所以说对于我用来采集舞蹈数据,这个很重要了,当然他也可以用在多人互动的 AR 游戏,或用在同时培训多人的动作规范检测等等场景。

要从单一人体检测到多人体姿态估计,开始我是打算用 YOLO 对画面中的多 Person 区块读出来,然后再将这些方块遍历交给 MediaPipe 对指定区域作人物动作节点识别。但是最后发现有现成的算法,就是 pytorch-openpose,所以果断先用这个来体验了一下。

基于 pytorch-openpose 实现 “多目标” 人体姿态估计,pytorch,人工智能,python

pytorch-openpose 简介

PyTorch-OpenPose 是一个基于 PyTorch 的开源库,它实现了 OpenPose 的功能,可以进行人的面部表情、躯干和四肢甚至手指的跟踪。它不仅适用于单人也适用于多人,同时具有较好的鲁棒性。要运行 PyTorch-OpenPose,需要安装支持 CUDA 的 PyTorch,以下例子有使用作者提供的预训练模型,通过拆分视频帧,绘制多人物动作线条保存图片,最后将图片合成为视频。

基于 pytorch-openpose 实现 “多目标” 人体姿态估计,pytorch,人工智能,python

环境

  • scikit-image
  • opencv-python
  • scipy
  • matplotlib
  • numpy

基于 pytorch-openpose 实现 “多目标” 人体姿态估计,pytorch,人工智能,python文章来源地址https://www.toymoban.com/news/detail-823812.html

编码

帧拆分绘制

import cv2
import matplotlib.pyplot as plt
import copy
import numpy as np
import torch
from src import model
from src import util
from src.body import Body
from src.hand import Hand

body_estimation = Body('model/body_pose_model.pth')
hand_estimation = Hand('model/hand_pose_model.pth')

print(f"Torch device: {torch.cuda.get_device_name()}")

cap = cv2.VideoCapture("D:/3code/6pytorch/opencv_demo/12_open_pose/11.mp4")
cap.set(3, 640)
cap.set(4, 480)

indices = 1
while True:
    ret, oriImg = cap.read()
    if not ret:
        break

    candidate, subset = body_estimation(oriImg)

    canvas = copy.deepcopy(oriImg)
    canvas = util.draw_bodypose(canvas, candidate, subset)

    # detect hand
    hands_list = util.handDetect(candidate, subset, oriImg)

    all_hand_peaks = []
    for x, y, w, is_left in hands_list:
        peaks = hand_estimation(oriImg[y:y+w, x:x+w, :])
        peaks[:, 0] = np.where(peaks[:, 0]==0, peaks[:, 0], peaks[:, 0]+x)
        peaks[:, 1] = np.where(peaks[:, 1]==0, peaks[:, 1], peaks[:, 1]+y)
        all_hand_peaks.append(peaks)

    canvas = util.draw_handpose(canvas, all_hand_peaks)

    cv2.imwrite('image_out/img_{}.jpg'.format(indices), canvas)
    indices += 1

    print("images:", indices)

    # cv2.imshow('demo', canvas)#一个窗口用以显示原视频
    # if cv2.waitKey(1) & 0xFF == ord('q'):
    #     break

cap.release()
cv2.destroyAllWindows()

视频合成

from pathlib import Path
import cv2
import os

# 将视频video_path分割成图片和音频文件,保存到save_path文件夹中
def video2mp3_img(video_path, save_path, audio_path):
    def video_split(video_path, save_path):
        if not os.path.exists(save_path):
            os.makedirs(save_path)
        cap = cv2.VideoCapture(video_path)
        i = 0
        while True:
            ret, frame = cap.read()
            if ret:
                cv2.imwrite(save_path + '/' + str(i) + '.jpg', frame)
                i += 1
            else:
                break
        cap.release()

    if not os.path.exists(save_path):
        os.makedirs(save_path)

    # 视频分割
    video_split(video_path, save_path)

    # 视频转音频
    # os.system("ffmpeg -i {} -vn -acodec copy {}/audio.mp3".format(video_path, audio_path))
    os.system("ffmpeg -i {} -q:a 0 -map a {}/audio.mp3".format(video_path, audio_path))
    # 音频转wav
    # os.system("ffmpeg -i {}/audio.mp3 {}/audio.wav".format(save_path, save_path))

# 将video_imgout文件夹中的图片合成视频并且添加音频文件video_img/audio.mp3
def img2mp4(image_out, save_name):

    BASE_PATH = os.path.dirname(__file__)
    # 读取img size
    img = cv2.imread("{}/img_1.jpg".format(image_out))

    imgInfo = img.shape
    size = (imgInfo[1], imgInfo[0])

    files = []
    for dirpath, dirnames, filenames in os.walk(image_out):
        for filename in filenames:
            fileName = Path(os.path.join(dirpath, filename))
            files.append(os.path.join(dirpath, filename))

    files = [file.replace('\\', '/') for file in files]
    files.sort(key=lambda x: int(x.split('/')[-1].split('.')[0].split('_')[-1]))

    fourcc = cv2.VideoWriter_fourcc(*'mp4v')
    videoWrite = cv2.VideoWriter(f'videos/{save_name}.mp4', fourcc, 25, size)  # 写入对象 1 file name  3: 视频帧率

    for i in files:
        img = cv2.imread(str(i))
        videoWrite.write(img)

    print(f'videos/{save_name}.mp4')

    # 将video_img中的音频文件添加到视频中
    # os.system("ffmpeg -i {}/videos/{}.mp4 -c:v copy -c:a aac -strict experimental {}/videos/{}.mp4".format(BASE_PATH, save_name, BASE_PATH, save_name))

if __name__ == '__main__':
    BASE = os.path.dirname(__file__)
    video_path = os.path.join(BASE, "videos/yangguo.mp4")  # 视频路径
    save_path = os.path.join(BASE, "video_img")            # 拆解视频保存路径
    audio_path = os.path.join(BASE, "audio")               # 分离音频保存路径

    # 视频  ==> imgs
    # video2mp3_img(video_path, save_path, audio_path)

    # # imgs ==> 视频
    img2mp4("image_out", save_name='ldh')

到了这里,关于基于 pytorch-openpose 实现 “多目标” 人体姿态估计的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 基于 Python 和深度学习技术实现的人体姿态识别

    人体姿态识别是计算机视觉领域的一个重要应用,它通过识别人体的关键点和关节位置,能够准确地判断人体的姿态和动作。这项技术可以应用在很多领域,比如运动训练、医疗康复、安保监控等,为人们的生活和工作带来了很大的便利和效益。 在本文中,我们将介绍一种基

    2024年02月07日
    浏览(39)
  • 基于python使用OpenCV和MediaPipe通过人体姿态检测实现对标准的仰卧起坐数量的计量(三)

    先来看一下main.py的代码 import cv2 import numpy as np import PoseModule as pm   cap = cv2.VideoCapture(\\\'10.mp4\\\') detector = pm.poseDetector() count = 0 dir = 0   while True:     success, img = cap.read()     img = cv2.resize(img, (400, 300))     img = detector.findPose(img, False)     lmList = detector.fi

    2024年04月16日
    浏览(54)
  • 基于视频的人体姿态检测

    基于视频的人体姿态检测 设计目的和要求 1.根据已知要求分析视频监控中行人站立和躺卧姿态检测的处理流程,确定视频监中行人的检测设计的方法,画出流程图,编写实现程序,并进行调试,录制实验视频,验证检测方法的有效性,完成系统软件设计。 2.基本教学要求:每

    2024年01月24日
    浏览(46)
  • YOLOPose:除了目标检测,YOLO还能不花代价地估计人体姿态,对实时性能有要求必看!

    导读: YOLO,是一种流行的目标检测框架。如果将YOLO引入姿态检测任务中,将取得什么结果呢?这篇文章实现了单阶段的2D人体姿态检测,与自上而下或自下而上的方法不同,该方法将人体检测与关键点估计联合实现,在不采用数据增强如翻转、多尺度等情况下,实现COCO ke

    2024年02月06日
    浏览(37)
  • 基于matlab视频的人体姿态检测

    设计目的和要求 1.根据已知要求分析视频监控中行人站立和躺卧姿态检测的处理流程,确定视频监中行人的检测设计的方法,画出流程图,编写实现程序,并进行调试,录制实验视频,验证检测方法的基于MATLAB的人体姿态 设计原理 首先利用统计的方法得到背景模型,并实时

    2024年02月02日
    浏览(46)
  • python姿态检测实现多人多姿态识别python行为识别openpose行为骨骼框架检测动作识别动作检测行为动作分类

    https://download.csdn.net/download/babyai996/88741189 https://download.csdn.net/download/babyai996/88741257  https://download.csdn.net/download/babyai996/88741262  https://download.csdn.net/download/babyai996/88741266  https://download.csdn.net/download/babyai996/88741272  https://download.csdn.net/download/babyai996/88741274  视频演示: python行为

    2023年04月20日
    浏览(47)
  • 基于人体姿态识别的AI健身系统(浅谈

    目录 前言 一、人体姿态识别的一些入门知识点 二、Blazepose 算法简介 三、AI健身系统的实现 随着全民健身热潮的兴起,越来越多的人积极参加健身锻炼,但由于缺乏科学 的运动指导,使健身难以取得相应的效果。据市场调查显示,没有产品可以自动分析健身 运动并提供指导。而

    2024年02月02日
    浏览(43)
  • 一文openpose姿态估计

    如下是coco数据集的各个点,不同数据集有不同 举例: 第一步得到框以后,对单个框做一个回归任务,例如:将单人图裁剪出来,输入17个关键点的网络模型,得到头,肩等位置,注意这里的位置如果要想准确,得是相对位置。 什么是相对位置:相对位置就是头的位置,针对

    2024年02月11日
    浏览(38)
  • 深度学习之基于Yolov5人体姿态摔倒识别分析报警系统(GUI界面)

    欢迎大家点赞、收藏、关注、评论啦 ,由于篇幅有限,只展示了部分核心代码。   系统设计概述: 传感器采集:通过在场景中布置摄像头或红外传感器等设备,采集人体姿态数据,包括人体位置、姿态、运动轨迹等信息。 数据预处理:对采集到的数据进行预处理,包括图

    2024年02月05日
    浏览(40)
  • 探索【Stable-Diffusion WEBUI】的插件:骨骼姿态(OpenPose)

    本篇主要提到OpenPose和相关的插件,配合ControlNet使用,可以指定人物的动作。 更多不断丰富的内容参考:🔗 《继续Stable-Diffusion WEBUI方方面面研究(内容索引)》 骨骼姿态很有用,可以控制生成人物的动作。 我们可以用ControlNet或各种插件,从图片中提取人物的骨骼姿态。 也可

    2024年02月04日
    浏览(108)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包