基于SadTalker的AI数字人视频(以AutoDL算力云平台部署为例)

这篇具有很好参考价值的文章主要介绍了基于SadTalker的AI数字人视频(以AutoDL算力云平台部署为例)。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

目 录

一、SadTalker介绍

二、准备工作

三、数字人案例(图片转视频)

四、展示效果

五、参考资料


一、SadTalker介绍

SadTalker是一个开源的虚拟数字人制作工具,可以用一张图片生成数字人口播视频。SadTalker生成3DMM的三维(头部姿势、表情)系数,利用三维面部渲染器进行视频生成。SadTalker还提供了一些新的模式,例如静态模式、参考模式、调整大小模式等,以便更好地进行自定义应用程序。

二、准备工作

部署好AutoDL镜像并开启终端;

部署教程:基于Wav2Lip+GFPGAN的AI数字人视频(以AutoDL算力云平台部署为例)

从我的百度网盘中下载我的源码到AutoDL(该源码包括权重,懒人必备,十分推荐!)

链接:https://pan.baidu.com/s/1etXmmJ_ftwVSaqIe1EK37g?pwd=i2on 

提取码:i2on 
 

也可运行以下命令下载源码。(下载该源码还得另外下载权重,不推荐!)

(另外说明,此SadTalker版本为 v0.0.2 )

git clone https://github.com/Winfredy/SadTalker.git

首先cd到SadTalker目录下,然后按步骤运行以下命令。

sudo apt update

sudo apt install ffmpeg

pip install -r requirements.txt

三、数字人案例(图片转视频)

在命令行中输入以下指令即可跑模型。

python inference.py --driven_audio <audio.wav> \
                    --source_image <video.mp4 or picture.png> \
                    --result_dir <a file to store results> \
                    --still \
                    --preprocess full \
                    --enhancer gfpgan

下面命令是我输入的例子,仅供参考,那些路径都是需要修改的。

python inference.py --driven_audio AIHuman/audio/AIHuman.mp3 --source_image AIHuman/images/03.jpeg --result_dir AIHuman/results --still --preprocess full --enhancer gfpgan

参数说明

--driven_audio:输入的音频文件路径。
--source_image:输入的图像文件路径,支持音频文件和视频MP4格式。
--checkpoint_dir:模型存放路径。
--result_dir:数据导出路径。
--enhancer:高清模型,选择gfpgan或RestoreFormer

四、展示效果

基于SadTalker的AI数字人视频(以AutoDL算力云平台部署为例),AI数字人,人工智能,python,pip,bash,stable diffusion,pytorch

 

五、参考资料

参考项目:SadTalker-GitHub

参考资料:基于SadTalker的AI主播,Stable Diffusion也可用_Mr数据杨的博客-CSDN博客

基于SadTalker的AI数字人视频(以AutoDL算力云平台部署为例),AI数字人,人工智能,python,pip,bash,stable diffusion,pytorch文章来源地址https://www.toymoban.com/news/detail-603863.html

到了这里,关于基于SadTalker的AI数字人视频(以AutoDL算力云平台部署为例)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • stable-diffusion-webui AutoDL 算力平台后台启动命令

    AutoDL官网:AutoDL算力云 | 弹性、好用、省钱。租GPU就上AutoDL AutoDL 算力平台后台启动命令 备注: COMMANDLINE_ARGS=\\\"--share --gradio-debug --port 6006\\\"    要改成 COMMANDLINE_ARGS=\\\"--listen --port 6006\\\"  不然服务启动的是临时会话,72小时后服务可能会过期! 常见问题: 问题1: ValueError: When loc

    2024年02月15日
    浏览(43)
  • AutoDL算力平台租用GPU服务器+VSCode远程开发同步代码

    理由: 便宜好用,性价比高 https://www.autodl.com/market/list 按量计费:就可以理解成按小时计费,不管你用没用GPU,只要开机,就按照小时收钱。 按量计费如果关机后,其他人可能会用卡,也就意味着,其他人把这台服务器的卡全占了,你就不能开机了。 按量计费关机之后再开机

    2024年02月01日
    浏览(48)
  • AI数字人SadTalker实战

    AI数字人在营销和品牌推广中扮演着至关重要的角色,许多企业和个人正积极利用数字技术来打造属于自己的财富。有没有一种简单而免费的方式来创建自己的数字人呢?本篇博客笔者将为大家介绍如何搭建属于自己的AI数字人。 生成头部说话视频通过人脸图像和语音音频仍

    2024年04月27日
    浏览(26)
  • 【3519DV500】AI算法承载硬件平台_2.5T算力+AI ISP图像处理_超感光视频硬件方案开发

    Hi3519DV500集成了高效的神经网络推理引擎,最高2.5Tops NN算力,支持业界主流的神经网络框架。神经网络支持完整的 API 和工具链,易于客户开发,升级 IVE 算子,支持特征点检测、周界、光流及多种计算机形态学算子;升级 DPU 算法实现双目深度图加速单元,最大分辨率 2048

    2024年02月03日
    浏览(40)
  • AI数字人:sadtalker让照片开口说话

            西安交通大学也开源了人工智能SadTalker模型,通过从音频中学习生成3D运动系数,使用全新的3D面部渲染器来生成头部运动,可以实现图片+音频就能生成高质量的视频。         论文地址:Learning Realistic 3D Motion Coefficients        通过人脸图像和一段语音音频

    2024年02月13日
    浏览(30)
  • 打造AI虚拟数字人,Stable Diffusion+Sadtalker教程

    站长笔记 2 个月前 1 1k Stable Diffusion是一个能够根据 文本描述生成高质量图片的深度学习模型 ,它使用了一种叫做 潜在扩散模型的生成网络架构 ,可以在普通的GPU上运行。Sadtalker是一个能够根 据图片和音频生成 视频的开源项目 ,它使用了一种叫做 SadNet的神经网络 ,可以

    2024年02月11日
    浏览(64)
  • 数字人解决方案— SadTalker语音驱动图像生成视频原理与源码部署

    随着数字人物概念的兴起和生成技术的不断发展,将照片中的人物与音频输入进行同步变得越来越容易。然而,目前仍存在一些问题,比如头部运动不自然、面部表情扭曲以及图片和视频中人物面部的差异等。为了解决这些问题,来自西安交通大学等机构的研究人员提出了

    2024年04月22日
    浏览(28)
  • 如何在windows上本地部署SadTalker,实现AI数字人

    设备配置:CPU E3-1240v3, RAM 32G, SSD 1T, GPU0 Nvidia 1080ti,GPU1 Nvidia T4 OS:Windows10专业版 【python安装】 1、下载安装python 3.10.9 https://www.python.org/ftp/python/3.10.9/python-3.10.9-amd64.exe 2、下载安装git https://git-scm.com/downloads   3、下载解压ffmpeg 打开:https://github.com/GyanD/codexffmpeg/releases 下载:

    2024年02月16日
    浏览(26)
  • 【深度学习环境】Windows10系统+AutoDL算力平台|使用MobaXterm终端工具实现SSH远程连接服务器|实现PyCharm与服务器远程连接|远程连接(详细版)

    一般情况下,我们的本地文件项目直接使用本机的GPU/CPU在编译器上编译调试。但是由于深度学习中神经网络模型庞大,在计算时常常会出现爆显存的问题,较小的显存不能满足计算需求。因此通常使用一台有着“大显存”的服务器来代替本机“小显存”以完成运算,我们期待

    2024年02月05日
    浏览(52)
  • 如何从Github拿到代码在云服务器跑起来--算力云从零搭建和配置GPU模型环境

    写在前面: 在服务器的Linux系统中复制使用Ctrl+shift+C,粘贴使用Ctrl+shift+V 1.首先拿到一份代码先研究他的readme.md也就是说明文档(至关重要),根据说明文档的详细程度可以间接判断代码能否跑起来,或者代码是否靠谱,不然花很多时间研究才发现代码没有可行性。以下我的代

    2024年04月13日
    浏览(42)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包