如何本地部署虚拟数字克隆人 SadTalker

这篇具有很好参考价值的文章主要介绍了如何本地部署虚拟数字克隆人 SadTalker。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

环境:

Win10

SadTalker

问题描述:

如何本地部署虚拟数字克隆人 SadTalker

如何本地部署虚拟数字克隆人 SadTalker,人工智能,SadTalker,数字人

解决方案:

SadTalker:学习逼真的3D运动系数,用于风格化的音频驱动的单图像说话人脸动画

单张人像图像🙎 ♂️+音频🎤=会说话的头像视频🎞

一、底层安装

安装 Anaconda、python 和 git

1.下载安装Anaconda

conda是一个开源的软件包管理系统和环境管理系统,用于安装多个版本的软件包及其依赖关系,并在它们之间轻松切换。 conda是为 python程序创建的,适用于 Linux,OS X和Windows,也可以打包和分发其他软件。conda分为Anaconda和MiniConda。Anaconda是包含一些常用包的版本,Miniconda则是精简版,一般建议安装Anaconda,本文也以安装Anaconda为例
如何本地部署虚拟数字克隆人 SadTalker,人工智能,SadTalker,数字人next一直往下直到完成(需要一点时间)
如何本地部署虚拟数字克隆人 SadTalker,人工智能,SadTalker,数字人

2.安装Git

next一直往下直到完成

如何本地部署虚拟数字克隆人 SadTalker,人工智能,SadTalker,数字人
3.安装python

next一直往下直到完成
如何本地部署虚拟数字克隆人 SadTalker,人工智能,SadTalker,数字人

二、创建环境并安装需求

D盘新建SadTalker文件夹

1.git再这里打开

如何本地部署虚拟数字克隆人 SadTalker,人工智能,SadTalker,数字人

2.安装 ffmpeg

下载 ffmpeg-6.1-full_build,解压到D:\SadTalker\

cmd设置环境变量

setx path "%path%;D:\SadTalker\ffmpeg-6.1-full_build\bin\ffmpeg.exe" /M

如何本地部署虚拟数字克隆人 SadTalker,人工智能,SadTalker,数字人

3.通过运行 git clone https://github.com/Winfredy/SadTalker.git 下载 SadTalker 存储库

git clone https://github.com/Winfredy/SadTalker.git

失败
如何本地部署虚拟数字克隆人 SadTalker,人工智能,SadTalker,数字人 去掉https后面s

git clone http://github.com/Winfredy/SadTalker.git

如何本地部署虚拟数字克隆人 SadTalker,人工智能,SadTalker,数字人

如何本地部署虚拟数字克隆人 SadTalker,人工智能,SadTalker,数字人

5.在下载部分下载检查点和 gfpgan 模型。
Run start.bat from Windows Explorer as normal, non-administrator, user, and a Gradio-powered WebUI demo will be started.

从Windows资源管理器正常运行 start.bat ,非管理员,用户和Gradio驱动的WebUI演示将启动。

三、下载模型

Pre-Trained Models 预训练模型

1.checkpoints
如何本地部署虚拟数字克隆人 SadTalker,人工智能,SadTalker,数字人如何本地部署虚拟数字克隆人 SadTalker,人工智能,SadTalker,数字人
移到到SadTalker文件夹

如何本地部署虚拟数字克隆人 SadTalker,人工智能,SadTalker,数字人

2.GFPGAN Offline Patch GFPGAN 离线补丁

解压到SadTalker文件夹如何本地部署虚拟数字克隆人 SadTalker,人工智能,SadTalker,数字人

四、Quick Start 快速上手

1.打开SadTalker目录,点击webui.bat等待安装部署

如何本地部署虚拟数字克隆人 SadTalker,人工智能,SadTalker,数字人
中途报错
如何本地部署虚拟数字克隆人 SadTalker,人工智能,SadTalker,数字人升级一下

python -m pip install --upgrade pip

如何本地部署虚拟数字克隆人 SadTalker,人工智能,SadTalker,数字人
下载相关文件

如何本地部署虚拟数字克隆人 SadTalker,人工智能,SadTalker,数字人首次使用,自动安装
如何本地部署虚拟数字克隆人 SadTalker,人工智能,SadTalker,数字人

就好了,最终看到这个界面

如何本地部署虚拟数字克隆人 SadTalker,人工智能,SadTalker,数字人

浏览器访问http://127.0.0.1:7860即可

如何本地部署虚拟数字克隆人 SadTalker,人工智能,SadTalker,数字人文章来源地址https://www.toymoban.com/news/detail-813016.html

CLI usage CLI 用法
Animating a portrait image from default config:
从默认配置对人像图像进行动画处理:

python inference.py --driven_audio <audio.wav> \
                    --source_image <video.mp4 or picture.png> \
                    --enhancer gfpgan 

The results will be saved in results/$SOME_TIMESTAMP/*.mp4.
结果将保存在 results/$SOME_TIMESTAMP/*.mp4 中。
Full body/image Generation:
全身/图像生成:

Using --still to generate a natural full body video. You can add enhancer to improve the quality of the generated video.
用于 --still 生成自然的全身视频。您可以添加 enhancer 以提高生成的视频的质量。

python inference.py --driven_audio <audio.wav> \
                    --source_image <video.mp4 or picture.png> \
                    --result_dir <a file to store results> \
                    --still \
                    --preprocess full \
                    --enhancer gfpgan 

到了这里,关于如何本地部署虚拟数字克隆人 SadTalker的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 数字人解决方案— SadTalker语音驱动图像生成视频原理与源码部署

    随着数字人物概念的兴起和生成技术的不断发展,将照片中的人物与音频输入进行同步变得越来越容易。然而,目前仍存在一些问题,比如头部运动不自然、面部表情扭曲以及图片和视频中人物面部的差异等。为了解决这些问题,来自西安交通大学等机构的研究人员提出了

    2024年04月22日
    浏览(37)
  • 基于SadTalker的AI数字人视频(以AutoDL算力云平台部署为例)

    目 录 一、SadTalker介绍 二、准备工作 三、数字人案例(图片转视频) 四、展示效果 五、参考资料 SadTalker是一个开源的虚拟数字人制作工具,可以用一张图片生成数字人口播视频。SadTalker生成3DMM的三维(头部姿势、表情)系数,利用三维面部渲染器进行视频生成。SadTalker还

    2024年02月16日
    浏览(66)
  • 开源免费虚拟化KVM的部署及其虚拟机资源变更、快照、克隆等常见运维操作

    实践说明:基于RHEL9(AlmaLinux9.1)部署,同类系统(CentOS9,RockyLinux9等)适用,但适用场景是不限于此的。 文档说明:本文档旨在帮助快速应用KVM虚拟化技术,重在实践操作,提供了简要参考。 文档形成时期:2021-2023年 因系统或软件版本不同,构建部署可能略有差异,但本文未做细

    2024年02月02日
    浏览(56)
  • 如何使用Git工具克隆GitHub仓库到本地

    ①首先,确保你已经在本地安装了Git。如果没有安装,可以前往Git官方网站(https://git-scm.com/)下载并安装适合你操作系统的版本。 ②在本地文件夹打开Git Bash(如果你使用Windows系统)。 ③在GitHub上找到你想要克隆的仓库页面,点击页面右上角的绿色按钮\\\"Code\\\",然后复制显示

    2024年02月16日
    浏览(63)
  • 如何将gitee仓库中的项目克隆(下载)到本地电脑

    在gitee中看到我们 喜欢的项目代码 ,想要 下载源码到本地 , 如何通过克隆/下载来快速获得源码 呢?接下来是将项目克隆到本地的教程。 需要安装git工具,安装地址:https://git-scm.com/downloads 打开或新建一个你想要存放代码的文件夹(仓库),注意路径上不要有中文(盘符不

    2024年02月03日
    浏览(49)
  • AI数字人SadTalker实战

    AI数字人在营销和品牌推广中扮演着至关重要的角色,许多企业和个人正积极利用数字技术来打造属于自己的财富。有没有一种简单而免费的方式来创建自己的数字人呢?本篇博客笔者将为大家介绍如何搭建属于自己的AI数字人。 生成头部说话视频通过人脸图像和语音音频仍

    2024年04月27日
    浏览(32)
  • AI数字人:sadtalker让照片开口说话

            西安交通大学也开源了人工智能SadTalker模型,通过从音频中学习生成3D运动系数,使用全新的3D面部渲染器来生成头部运动,可以实现图片+音频就能生成高质量的视频。         论文地址:Learning Realistic 3D Motion Coefficients        通过人脸图像和一段语音音频

    2024年02月13日
    浏览(36)
  • Stable Diffusion 使用 SadTalker 生成图片数字人

    Heygen和D-ID等照片转视频的工具,都需要在线付费使用。本次介绍一个SadTalker数字人。SadTalker有多种使用方式,包括完整安装程序和stable diffusion插件模式。安装程序操作较繁琐,因此推荐stable diffusion插件模式。 打开SD进入扩展复制链接 https://github.com/OpenTalker/SadTalker.git 到安装

    2024年02月13日
    浏览(78)
  • 尝试着在Stable Diffusion里边使用SadTalker进行数字人制作

    首先需要标明的是,我这里是图片说话类型,而且是看了知识星球AI破局俱乐部大航海数字人手册进行操作的。写下这篇文章是防止我以后遗忘。 我使用的基础软件是Stable Diffusion,SadTalker是作为插件放进来的,需要注意的是这对自己的电脑GPU要求比较高,至少需要8G,至少我

    2024年04月09日
    浏览(47)
  • SD-WebUI-SadTalker:让照片说话,数字人使用方法

    我的SD-WebUI 可以实现照片说话,也就是SadTalker。看了一下有新的版本,不需要之前那么多模型了。那么让我们看看如何在SD-WebUI 中安装使用 SadTalker 吧。 什么是SadTalker: SadTalker 是西安交通大学开源的一个基于Stable Diffusion的插件,它能够通过输入图片和音频文件生成会说话或

    2024年04月10日
    浏览(64)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包