Wav2Lip使用教程

这篇具有很好参考价值的文章主要介绍了Wav2Lip使用教程。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。


前言

提示:基本准备工作:

项目名称: Wav2Lip
git地址 : https://github.com/Rudrabha/Wav2Lip.git

工具: 使用语言: python 编辑器: PyCharm 包管理工具: Anaconda

一、基本环境配置流程

  1. Python 3.6 语言环境
  2. ffmpeg: sudo apt-get install ffmpeg 安装
  3. pip install -r requirements.txt 【系统用要求安装的依赖包】
  4. 人脸检测预训练模型应下载到Face_detection/detection/sfd/s3fd.pth。如果以上内容不起作用,请选择其他链接。【需要一个预训练模型】

**

在 PyCharm 中 新建一个项目 并关联 Anaconda 创建一个新的环境

**

注意: 在项目的 pip install requirements.txt 文件中

librosa==0.7.0
numpy==1.17.1
opencv-contrib-python>=4.2.0.34
opencv-python==4.1.0.25
torch==1.1.0    这个地方最好改成   torch==1.10.0   加一个 0 
torchvision==0.3.0
tqdm==4.45.0
numba==0.48  至于这个地方版本冲突的问题  最好直接删除与他冲突的包  pip uninstall

二、下载模型

获得模型
模型说明

Wav2Lip 高度精确的唇同步
Wav2Lip + GAN 嘴唇同步稍差,但视觉质量更好
Expert Discriminator 专家鉴别器的权重
Visual Quality Discriminator 在GAN设置中训练的视盘重量

根据自己需求在git地址中进行下载
项目根目录/Face_detection/detection/sfd/模型放置位置

1.命令行启动

代码如下(示例):

命令行启动开始生成
python inference.py --checkpoint_path /face_detection/detection/sfd/wav2lip.pth  --face video.mp4 --audio 1.mp3 

根据需求进行修改或者在根目录中添加目录,然后在启动命令中也要添加文件夹路径在命令中


总结

下一节开始配置如何训练自己的模型文章来源地址https://www.toymoban.com/news/detail-470848.html

到了这里,关于Wav2Lip使用教程的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 基于Wav2Lip+GFPGAN的高清版AI主播

    继上一篇 基于Wav2Lip的AI主播 的内容之后很多小伙伴反应一个问题就是生成的AI人物并不是很清晰,尤其是放到编辑器里会出现明显的痕迹,因此这次带来的了 Wav2Lip+GFPGAN 高清版的内容,如果不太了解这个项目实做什么的可以来先看一下效果。该项目暂时没有中文介绍,我这

    2024年01月20日
    浏览(33)
  • stable-diffusion-webui安装Wav2Lip

    常见错误 1.错误:Torch is not able to use GPU; add --skip-torch-cuda-test to COMMANDLINE_ARGS variable to disable this check 修改代码: 删除三个地方:

    2024年01月22日
    浏览(29)
  • AI数字人主播技术实现Wav2Lip【详细记录】

    近期很多童鞋私信,想知道关于AI数字人主播的技术实现。现本篇就AI数字人虚拟主播的Wav2Lip技术进行实现与评测,后续还会有其他的相关技术实现与评测。 本文主要实现 图片说话 (如下图的蒙娜丽莎)、 视频融合语音 (这里的核心都是人物口型与音频中的语音唇形同步)

    2024年02月11日
    浏览(27)
  • wav2lip:Accurately Lip-syncing Videos In The Wild

    飞桨AI Studio - 人工智能学习与实训社区 集开放数据、开源算法、免费算力三位一体,为开发者提供高效学习和开发环境、高价值高奖金竞赛项目,支撑高校老师轻松实现AI教学,并助力开发者学习交流,加速落地AI业务场景 https://aistudio.baidu.com/aistudio/education/group/info/16651 wav

    2024年02月06日
    浏览(40)
  • Wav2Lip:深度解析、实现与应用AI数字人语音驱动模型

    Wav2Lip模型作为一种将音频波形转换为面部动画的深度学习技术的重要性。本文将深入探讨Wav2Lip模型的搭建原理、搭建流程以及应用场景,以期为读者提供更具技术深度的理解。 一、Wav2Lip的搭建原理 Wav2Lip模型的搭建基于生成对抗网络(GAN)的原理。GAN由两个主要部分组成:

    2024年03月09日
    浏览(48)
  • 用Wav2Lip+GFPGAN创建高质量的唇型合成视频

    在这里,我可以提供一个简单的代码示例,演示如何使用Wav2Lip+GFPGAN来创建高质量的唇形合成视频。代码示例如下: 这是一个简单的参考实现,并不能保证所有情况下都适用,但是可以帮助您了解如何使用Wav2Lip+GFPGAN来生成唇形合成视频。

    2024年02月13日
    浏览(29)
  • 基于Wav2Lip+GFPGAN的AI数字人视频(以AutoDL算力云平台部署为例)

    目录 前 言 一、AutoDL云算力平台简介 二、在AutoDL云算力平台上部署Wav2Lip-GFPGAN代码 2.1、创建AutoDL云算力实例 2.2、将源码导入实例 2.3、远程AutoDL云服务 2.4、安装依赖 2.5、导入视频和音频目录文件 2.6、配置参数 2.7、学术资源加速 2.8、运行run.py 2.9、导出视频 三、结论 四、参

    2024年02月12日
    浏览(35)
  • 超写实虚拟数字人再升级:Wav2Lip-GFPGAN完整版教程及效果视频评测【手把手】

    在前面的一篇数字人文章中,我们介绍了AI主播虚拟人技术中的一项重要技术——Wav2Lip,并附上了完整版教程和效果评测,具体可见AI数字人虚拟主播技术实现Wav2Lip及效果演示评测【附完整版教程】。然而,我们也发现了一个问题,生成的视频中面部的画质相对模糊,缺乏细

    2024年02月16日
    浏览(37)
  • 基于 Wav2Lip-GFPGAN 深度学习模型的数字人Demo

    工作中遇到简单整理 博文为 Wav2Lip-GFPGAN 环境搭建运行的 Demo 理解不足小伙伴帮忙指正 对每个人而言,真正的职责只有一个:找到自我。然后在心中坚守其一生,全心全意,永不停息。所有其它的路都是不完整的,是人的逃避方式,是对大众理想的懦弱回归,是随波逐流,是

    2024年02月08日
    浏览(38)
  • AI数字人:语音驱动面部模型及超分辨率重建Wav2Lip-HD

    数字人打造中语音驱动人脸和超分辨率重建两种必备的模型,它们被用于实现数字人的语音和图像方面的功能。通过Wav2Lip-HD项目可以快速使用这两种模型,完成高清数字人形象的打造。 项目代码地址:github地址 1.1 语音驱动面部模型wav2lip 语音驱动人脸技术主要是通过语音信

    2024年02月16日
    浏览(35)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包