最新能让老外对口型讲中文的AI 视频教程,免费开源AI工具——Wav2Lip

这篇具有很好参考价值的文章主要介绍了最新能让老外对口型讲中文的AI 视频教程,免费开源AI工具——Wav2Lip。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

本期就来教大家制作海外大佬们新年祝福视频吧!对口型视频一直在全网都非常的火爆,随便一个视频都是几千赞以上,简直堪称涨粉利器!

stable diffusion wav2lip,AI,ai

是不是很有意思,口型完全对得上,表情也很自然逼真,不懂内行的人,还真的以为是大佬中文说得非常溜!

这种内容形态非常适合短视频上平台进行引流获客,比如抖音爆火的曾仕强老师讲国学,基本现在这类账号的内容都是利用对口型的方式制作出来的,粉丝超10万+的账号比比皆是。

其实视频对口型的工具早在几年前就有,但应用领域甚少,直到2023AI视频生成式工具大爆发,带动一系列厂商投入到这块领域,像最近这两个月被大家熟知的Runway口型翻译功能,仅凭一条郭德纲说英文就有5000万播放量,几百万点赞量,制作简单,涨粉强,适合新手突围,非常香。

但是Runway的价格确实劝退一大波人,今天重点介绍一款视频对口型AI开源神器——Wav2Lip,直接在SD上安装插件即可免费畅玩。

由于教程篇幅较长,因此会分2期内容进行介绍,本期重点介绍Wav2Lip按照教程,下期将介绍详细的操作教程。

1.Wav2Lip介绍

官方网站:http://wav2lip.cn/

Wav2Lip是一种基于深度学习的技术,旨在将音频与静态图像中的嘴部动作进行同步,生成逼真的口播视频。

它可以让我们在视频中看到一个人说话的样子,而实际上这个人可能根本没有说过这些话。你可以把它想象成一种”口型变脸”的魔术。比如,你可以用任何想要的声音,比如你自己的声音,来配上一段视频,就好像这个人真的在说那些话一样。

它的原理是利用了深度学习技术来分析视频中人物的嘴部动作,并将这些动作与音频同步,生成一个看起来非常真实的口型。为了达到这个效果,它需要一个预测模型来分析视频中的嘴部形状和动作,还需要一个合成器来将声音和嘴部动作结合起来,生成最后的口型视频。

项目演示地址:

https://bhaasha.iiit.ac.in/lipsync/

stable diffusion wav2lip,AI,ai

2.SD上如何使用Wav2Lip

在安装插件之前,得进行安装Wav2Lip所需的环境“FFmpeg”。然后再下载并安装所需的模型。

第一步

(https://ffmpeg.org/download.html)

点击链接,进入“FFmpeg”官网,鼠标在主页中往下滑,在“Get packages & executable files”选择适合电脑的操作系统。

stable diffusion wav2lip,AI,ai

第二步

以Windows为例,点击Windows的图标,然后选择“Windows builds from gyan.dev”。

stable diffusion wav2lip,AI,ai

第三步

打开之后,鼠标往下滑,找到“ffmpeg-git-essentials.7z”文件,点击下载,同时解压当前文件。

stable diffusion wav2lip,AI,ai

第四步

下载完成后,将“FFmpeg”添加到环境变量设置中。在“此电脑”图标上右击并点击“属性”,找到“相关设置”选择“高级系统设置”,将“系统属性”面板打开。

stable diffusion wav2lip,AI,ai

第五步

选择下方的“环境变量”,点击环境变量面板,最后在上方的“用户变量”,选择“Path”,且点击“编辑”。

stable diffusion wav2lip,AI,ai

第六步

在“编辑环境变量”面板中,点击“新建”,然后在点击“预览”,找到刚刚下载好并解压好的文件夹下的“bin”文件夹,然后点击“确定”即可。

stable diffusion wav2lip,AI,ai

第七步

FFmpeg添加后,选择“终端”,并且执行“ffmpeg”命令。最后界面如果出现以下信息,就代表ffmpeg安装成功啦。

stable diffusion wav2lip,AI,ai

环境设置完成后,接着打开Stable Diffusion安装“Wav2Lip”插件。

3.插件安装

首先在Github下载“Wav2Lip”模型。

Wav2Lip插件地址:

https://github.com/numz/sd-wav2lip-uhq


stable diffusion wav2lip,AI,ai

第一步

下载好模型后,在“Stable Diffusion”中选择“扩展”-“从网址安装”,接着将插件的URL复制粘贴在“扩展的git仓库网址”中,最后点击“安装”。

stable diffusion wav2lip,AI,ai

第二步

完成插件安装后,先对Stable Diffusion进行关闭,接着将下载好的模型,拉入对应的文件夹中,接着再次打开“Stable Diffusion”,“Wav2Lip”插件就显示在上方啦。

stable diffusion wav2lip,AI,ai

当然!如果像要对视频人物进行“换脸”,那就还得进行安装和下载“FaceSwap”的模型以及环境。文章来源地址https://www.toymoban.com/news/detail-858060.html

到了这里,关于最新能让老外对口型讲中文的AI 视频教程,免费开源AI工具——Wav2Lip的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 换脸视频怎么做出来的?AI视频换脸教程【完整版手把手】免费AI换脸视频工具制作过程详解

    上期分享了wav2lip-GFPGan图片说话转视频的文章: 超写实虚拟数字人再升级:Wav2Lip-GFPGAN完整版教程及效果视频评测【手把手】_baoxueyuan的博客-CSDN博客 部分饱子好奇 视频如何换脸 。因为近期视频换脸太火爆了,所以今天就给大家分享一个可复现的免费的AI视频换脸完整教程(

    2024年02月15日
    浏览(64)
  • 免费的 AI 视频生成工具 Moonvalley 厉害了!Moonvalley 怎么用(保姆级教程)

    Moonvalley,号称地表最强的 AI 视频生成工具 ,到底有多厉害?今天一起来看一下~ 这是 Moonvalley 官网的介绍: Moonvalley 是一个开创性的新型文本到视频的生成式 AI 模型。用简单的文本即可创建出惊人的电影和动画视频。 比如这些,都是通过 Moonvalley,用简单的文本描述生成的

    2024年02月04日
    浏览(69)
  • FL Studio21免费吗?怎么下载最新中文版本?

    FL Studio中文版已上线,自20.8版起已支持简体中文。推荐使用Windows 10系统安装, Windows 7系统设置FL Studio语言为中文时若出现乱码,可以将Win10系统中的“微软雅黑”字体复制并安装进Win7系统电脑中!FL Studio支持什么格式的插件?在哪里下载?怎么安装? 支持VST/VST3格式插件,

    2024年02月01日
    浏览(75)
  • 让照片开口讲话,让视频人物对口型

    代码地址:https://github.com/Rudrabha/Wav2Lip 我用的python版本是3.10 1. 安装ffmpeg windows:https://www.gyan.dev/ffmpeg/builds/ffmpeg-git-full.7z解压后bin目录添加到环境变量。 Ubuntu: apt-get install ffmpeg 2. 安装依赖 直接安装,使用cpu处理音视频文件,处理速度较慢 或者(有显卡的)删除requirements

    2024年02月12日
    浏览(39)
  • 初学编程入门基础教学视频,中文编程开发语言工具箱之豪华编辑构件,免费版中文编程软件下载

    初学编程入门基础教学视频,中文编程开发语言工具箱之豪华编辑构件,免费版中文编程软件下载  构件的其中一个属性、方法,查找内容,替换内容。 构件工具箱非常丰富,其中该构件在 文本件构件板菜单下。 编程系统化课程总目录及明细,零基础学中文编程视频教程,

    2024年02月07日
    浏览(83)
  • MATLAB中文免费版下载及安装教程

    MATLAB中文免费版下载及安装教程 MATLAB是一种强大的数值计算和科学编程环境,广泛应用于工程、科学和数学领域。在本文中,我们将介绍如何下载和安装MATLAB的中文免费版。请按照以下步骤进行操作: 步骤1:下载MATLAB中文免费版 首先,访问MathWorks官方网站(www.mathworks.com)

    2024年02月03日
    浏览(66)
  • 最新版Typora免费使用教程心得

    Typora是一个功能强大的文本编辑器,它的主要特点是它使用Markdown语言进行编辑和排版。与其他文本编辑器不同的是,Typora的编辑界面具有非常简洁和直观的设计,使得编辑和排版变得更加容易。 在本文中,我们将深入了解Typora的各个方面,并详细介绍它的各种功能和优点。

    2024年02月13日
    浏览(48)
  • 最新PyCharm免费安装和新手使用教程

    介绍 PyCharm是一款由JetBrains开发的强大的Python集成开发环境(IDE),它支持代码智能提示、语法高亮、代码重构、调试和单元测试等多种功能,让Python编程变得更加高效和舒适。PyCharm还支持多种框架和技术,如Django、Flask、科学计算和数据分析等,可以帮助开发人员更快地构

    2024年02月07日
    浏览(36)
  • motionface respeak新的aigc视频与音频对口型数字人

    在当今的数字化时代,人工智能(AI)正在逐渐渗透到我们生活的方方面面。其中,AI技术在视频制作和处理领域的应用也日益广泛。本文将探讨如何利用AI技术实现视频中人脸与音频同步对口型的方法,旨在进一步丰富视频制作的效果和表现形式。   数字人一件对口型说话

    2024年02月09日
    浏览(37)
  • SPSS26中文免费版下载和安装教程

    Spss26是一款由IBM公司开发的专业的数据统计分析软件,有着非常强大的功能,可以帮助用户对各种不同的数据进行分析。IBM SPSS Statistics简称为SPSS,是全球领先的统计分析、数据挖掘、预测模型产品及解决方案,提供高级统计分析、丰富的机器学习算法、文本分析、来源可扩

    2024年01月18日
    浏览(78)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包