SD-WebUI-SadTalker:让照片说话,数字人使用方法

这篇具有很好参考价值的文章主要介绍了SD-WebUI-SadTalker:让照片说话,数字人使用方法。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

cpu运行sadtalker,stable diffusion,AI作画,学习,AIGC,midjourney

我的SD-WebUI 可以实现照片说话,也就是SadTalker。看了一下有新的版本,不需要之前那么多模型了。那么让我们看看如何在SD-WebUI 中安装使用 SadTalker 吧。


什么是SadTalker:

SadTalker 是西安交通大学开源的一个基于Stable Diffusion的插件,它能够通过输入图片和音频文件生成会说话或唱歌的数字人视频。

项目地址:

https://github.com/OpenTalker/SadTalker

cpu运行sadtalker,stable diffusion,AI作画,学习,AIGC,midjourney

使用SadTalker,我们需要准备以下硬件条件:

  • 一台配备GPU的电脑主机:NVIDIA GeForce RTX 3060显卡(推荐12GB显存以上)、Intel i5 CPU(推荐 i5以上CPU)。

  • Stable Diffusion:这是SadTalker运行的基础平台,推荐使用秋叶的绘世一键包。

  • 安装ffmpeg软件:这是一个用于处理视频和音频文件的工具。安装后,需要在系统的环境变量Path中添加ffmpeg的bin路径。(资源可以在文末自取)


如何安装使用:

1. SadTalker插件安装:

首先,我们运行“A绘世启动器.exe”

cpu运行sadtalker,stable diffusion,AI作画,学习,AIGC,midjourney

在左边的“版本管理” 中找到“安装新扩展” 搜索 “SadTalker” 下载安装。

cpu运行sadtalker,stable diffusion,AI作画,学习,AIGC,midjourney

稍等片刻,弹出安装成功。

cpu运行sadtalker,stable diffusion,AI作画,学习,AIGC,midjourney

到此处,SadTalker插件本体已经安装成功了。

2. 模型安装:

我们来到官方提供的链接中下载模型

cpu运行sadtalker,stable diffusion,AI作画,学习,AIGC,midjourney

将上面4个模型文件下载到checkpoints文件夹下,需要自己创建一个checkpoints文件夹。

再将下载的gfpgan 文件放到SadTalker 目录下。

cpu运行sadtalker,stable diffusion,AI作画,学习,AIGC,midjourney

到此处,我们的模型安装完毕啦。(模型资源可以在文末自取)

3. 安装ffmpeg:

下载ffmpeg软件包,将其解压到C盘。

cpu运行sadtalker,stable diffusion,AI作画,学习,AIGC,midjourney

然后将其完整路径添加到系统环境变量,注意是bin目录。

cpu运行sadtalker,stable diffusion,AI作画,学习,AIGC,midjourney

然后我们可以“win+r” 输出“cmd”

cpu运行sadtalker,stable diffusion,AI作画,学习,AIGC,midjourney

调出控制台输入“ffmpeg -version” 出现详细信息就表示ffmpeg安装成功。

4. 运行SadTalker:

打开“A绘世启动器.exe” 启动器,一键启动WebUI。

cpu运行sadtalker,stable diffusion,AI作画,学习,AIGC,midjourney

cpu运行sadtalker,stable diffusion,AI作画,学习,AIGC,midjourney

等待安装完成,会自动运行Web。找到上面的“SadTalker”页签。

cpu运行sadtalker,stable diffusion,AI作画,学习,AIGC,midjourney

上传一张图片,和音频文件。

cpu运行sadtalker,stable diffusion,AI作画,学习,AIGC,midjourney

调整参数,点击“生成”。我后台爆显存了,关了面部增强又跑了一遍。

好了,到此我们已经完成了SadTalker在WebUI中的安装和使用,文末扫码相关资源自动获取,


总结:

通过上述步骤,我们成功地在SD-WebUI中安装并使用了SadTalker插件。尽管安装过程涉及多个步骤,但只要按照指导仔细操作,即使是没有太多技术背景的用户也能够顺利完成。SadTalker的实用性在于它能够将静态图片与音频结合,创造出仿佛人物在说话或唱歌的动态视频,这在娱乐、教育甚至广告领域都有广泛的应用前景。

写在最后

AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。

感兴趣的小伙伴,赠送全套AIGC学习资料和安装工具,包含AI绘画、AI人工智能等前沿科技教程,模型插件,具体看下方。

cpu运行sadtalker,stable diffusion,AI作画,学习,AIGC,midjourney

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。

cpu运行sadtalker,stable diffusion,AI作画,学习,AIGC,midjourney

cpu运行sadtalker,stable diffusion,AI作画,学习,AIGC,midjourney

二、AIGC必备工具

工具都帮大家整理好了,安装就可直接上手!
cpu运行sadtalker,stable diffusion,AI作画,学习,AIGC,midjourney

三、最新AIGC学习笔记

当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
cpu运行sadtalker,stable diffusion,AI作画,学习,AIGC,midjourney
cpu运行sadtalker,stable diffusion,AI作画,学习,AIGC,midjourney

四、AIGC视频教程合集

观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

cpu运行sadtalker,stable diffusion,AI作画,学习,AIGC,midjourney

五、实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
cpu运行sadtalker,stable diffusion,AI作画,学习,AIGC,midjourney文章来源地址https://www.toymoban.com/news/detail-846783.html

cpu运行sadtalker,stable diffusion,AI作画,学习,AIGC,midjourney 若有侵权,请联系删除

到了这里,关于SD-WebUI-SadTalker:让照片说话,数字人使用方法的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 让图片说话SadTalker

    SadTalker:使用一张图片和一段语音来生成口型和头、面部视频. 西安交通大学开源了人工智能SadTalker模型,通过从音频中学习生成3D运动系数,使用全新的3D面部渲染器来生成头部运动,可以实现图片+音频就能生成高质量的视频。 论文地址:Learning Realistic 3D Motion Coefficients 整

    2024年02月21日
    浏览(37)
  • SadTalker:让stable diffusion人物说话的创新工具

    SadTalker是一个GitHub项目,能够根据图片和音频合成面部说话的视频。现已支持stable diffusion webui,可以结合音频合成面部说话的视频。本文详细介绍了安装过程和使用教程。

    2024年02月08日
    浏览(57)
  • 八、让照片说话之SadTalk

        西安交通大学开源了人工智能SadTalker模型,通过从音频中学习生成3D运动系数,使用全新的3D面部渲染器来生成头部运动,可以实现图片+音频就能生成高质量的视频。内含多个踩坑的解决办法,值得玩一玩。 1、sadtalker安装 1.1 windows运行环境构建 Install Python 3.10.6 Install g

    2024年02月11日
    浏览(37)
  • Stable Diffusion WebUI安装SadTalker插件

    AI绘画已经火了有几个月了,不知道大家有没有去体验一下呢? 要说可操作性最强的莫过于Stable Diffusion WebUI,简称SD,下面我们就来介绍一下如何给SD安装上SadTalker插件,记录一下安装和使用过程中踩过的坑~ 通过Stable Diffusion WebUI安装SadTalker插件,有4种方式: 1. web界面通过在

    2024年02月10日
    浏览(52)
  • AI绘画与虚拟人生成实践(三):让虚拟形象动起来!照片生成说话的视频

    书接上回,本篇的目的是结合上篇生成虚拟的女生形象,以及上一篇生成的关于介绍AI绘画领域的脚本,让生成的虚拟形象来念这段文案。先进入正题说明怎么来生成想要的动态视频。 Yanderify 教程 来实际手把手操作一下这个项目 Yanderify:https://github.com/dunnousername/yanderifier 在

    2024年02月09日
    浏览(44)
  • AI 绘画Stable Diffusion 研究(十四)SD 图生图+剪映制作人物说话视频

    大家好,我是风雨无阻。 前一篇,我们详细介绍了使用 SadTlaker制作数字人视频案例,感兴趣的朋友请前往查看:AI 绘画Stable Diffusion 研究(十三)SD数字人制作工具SadTlaker使用教程。 对于没有安装 SadTlaker 插件的朋友,可以查看这篇文章:AI 绘画Stable Diffusion 研究(十二)SD数

    2024年02月11日
    浏览(51)
  • 阿里最新EMO:只需要提供一张照片和一段音频,即可生成会说话唱歌的AI视频

    只要一张照片加上音频,就能让你说话唱歌,阿里做到了。 最近,阿里新上线了一款AI图片-音频-视频模型技术EMO,用户只需要提供一张照片和一段任意音频文件,EMO即可生成会说话唱歌的AI视频。以及实现无缝对接的动态小视频, 最长时间可达1分30秒左右。 阿里研究团队表

    2024年03月16日
    浏览(53)
  • AI数字人SadTalker实战

    AI数字人在营销和品牌推广中扮演着至关重要的角色,许多企业和个人正积极利用数字技术来打造属于自己的财富。有没有一种简单而免费的方式来创建自己的数字人呢?本篇博客笔者将为大家介绍如何搭建属于自己的AI数字人。 生成头部说话视频通过人脸图像和语音音频仍

    2024年04月27日
    浏览(32)
  • 如何本地部署虚拟数字克隆人 SadTalker

    Win10 SadTalker 如何本地部署虚拟数字克隆人 SadTalker SadTalker:学习逼真的3D运动系数,用于风格化的音频驱动的单图像说话人脸动画 单张人像图像🙎 ♂️+音频🎤=会说话的头像视频🎞 一、底层安装 安装 Anaconda、python 和 git 1.下载安装Anaconda conda是一个开源的软件包管理系统和

    2024年01月21日
    浏览(35)
  • Stable Diffusion 使用 SadTalker 生成图片数字人

    Heygen和D-ID等照片转视频的工具,都需要在线付费使用。本次介绍一个SadTalker数字人。SadTalker有多种使用方式,包括完整安装程序和stable diffusion插件模式。安装程序操作较繁琐,因此推荐stable diffusion插件模式。 打开SD进入扩展复制链接 https://github.com/OpenTalker/SadTalker.git 到安装

    2024年02月13日
    浏览(78)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包