让照片开口讲话,让视频人物对口型

这篇具有很好参考价值的文章主要介绍了让照片开口讲话,让视频人物对口型。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

代码地址:https://github.com/Rudrabha/Wav2Lip
我用的python版本是3.10

1. 安装ffmpeg
windows:https://www.gyan.dev/ffmpeg/builds/ffmpeg-git-full.7z解压后bin目录添加到环境变量。
Ubuntu:apt-get install ffmpeg
2. 安装依赖

 pip install -r requirements.txt

直接安装,使用cpu处理音视频文件,处理速度较慢
或者(有显卡的)删除requirements.txt里面的torch、torchvision,从https://pytorch.org/get-started/locally下载gpu版本
让照片开口讲话,让视频人物对口型,python,语音识别,人工智能,图像处理
让照片开口讲话,让视频人物对口型,python,语音识别,人工智能,图像处理
执行命令

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu117

3. 下载人脸切割处理模型

下载https://www.adrianbulat.com/downloads/python-fan/s3fd-619a316812.pth放入Wav2Lip-master\face_detection\detection\sfd目录并且重命名为s3fd.pth
让照片开口讲话,让视频人物对口型,python,语音识别,人工智能,图像处理

4. 下载权重模型
点此下载权重文件放入项目根目录
让照片开口讲话,让视频人物对口型,python,语音识别,人工智能,图像处理

5. 准备一张人物照片或者人物视频(人脸清晰),一个音频(视频)文件
让照片开口讲话,让视频人物对口型,python,语音识别,人工智能,图像处理

python inference.py --checkpoint_path wav2lip_gan.pth --face video.mp4 --audio audio.mp3

结果在results文件夹中
让照片开口讲话,让视频人物对口型,python,语音识别,人工智能,图像处理

6. 看效果
图片效果:
文章来源地址https://www.toymoban.com/news/detail-657302.html


视频效果(视频经过其他处理):

到了这里,关于让照片开口讲话,让视频人物对口型的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • python_视频中语音识别转出文本

    注意:没有“stepladder”的同学建议不要看啦 目录 1. 安装需要的包 2. 视频转音频 3. 对音频进行切割 4. 对视频进行切割 5. 从音频中识别出文本 5.1 使用离线方法 5.2 使用在线方法 5.3 两种方法比较 6. 用到的包下载 1.1 安装SpeechRecognition包 pip install SpeechRecognition 1.2 安装 PockSphin

    2023年04月08日
    浏览(29)
  • unity+webgl+websocket实时口型+二次元语音老婆

    文章开始首先感谢 B站UP: 阴沉的怪咖 提供的最初资源包 2.gif 体验地址 体验地址 www.aixmao.com 不能放视频,看效果去B站链接:B站链接_bilibili UP主提供初始代码地址: Github地址:https://github.com/zhangliwei7758/unity-AI-Chat-Toolkit Gitee地址:https://gitee.com/DammonSpace/unity-ai-chat-toolkit 2、LipSy

    2024年02月02日
    浏览(40)
  • 【face-api.js】前端实现,人脸捕获、表情识别、年龄性别识别、人脸比对、视频人脸追踪、摄像头人物识别

    官网看下简介,在线预览看下效果 官方的github文件拷下来 npm i face-api.js 把模型文件拷进你的项目 主要是在图片或视频元素上,盖一个相同大小的canvas 先是录入一些图片的描述信息,然后比较描述信息,判断人脸的相似度 人脸检测器有两种, SSD 和 Tiny 两种,SSD较大,Tiny用

    2024年02月11日
    浏览(41)
  • 【计算机视觉|语音分离】期望在嘈杂环境中聆听:一个用于语音分离的不依赖于讲话者的“音频-视觉模型”

    本系列博文为深度学习/计算机视觉论文笔记,转载请注明出处 标题: Looking to Listen at the Cocktail Party: A Speaker-Independent Audio-Visual Model for Speech Separation 链接:Looking to listen at the cocktail party: a speaker-independent audio-visual model for speech separation: ACM Transactions on Graphics: Vol 37, No 4 译者注

    2024年02月14日
    浏览(36)
  • Whisper JAX 语音识别本地部署 whisperX 语音识别本地部署视频教程

    https://nlpcloud.com/zh/how-to-install-and-deploy-whisper-the-best-open-source-alternative-to-google-speech-to-text.html whisper-jax最详细的安装教程 | 一个号称比whisper快70倍的语音识别项目 | 免费开源的语音识别项目 whisperX 语音识别本地部署_JoeManba的博客-CSDN博客 GitHub - sanchit-gandhi/whisper-jax: JAX implement

    2024年02月16日
    浏览(25)
  • python+unity 做3d动画人物 python做骨骼识别 (一)

    1. 环境准备:pycharm 2017.2.2 python 3.8.6 2. unity 2018.        曾经上学时学过unity开发,但后来工作后,一直没有从事过,此方面的技术研究了,一直想着做个东西捡起来,以前忘却的知识。。。想着想着很多年过去了。。。直到最近不知道。。咋的了突然想搞点东西玩玩,捡起来

    2024年02月11日
    浏览(29)
  • StableDiffusion教程 - 5分钟学会给照片人物换装

    今天给大家整理一个可以很方便给一张照片的人物换装的功能,学会了可以给人物换衣服颜色、样子,换人物的包、换人物的饰品等等。功能很实用,而且很简单,5分钟就可以学会如何使用。 我们先通过以下提示词生成一张图片(当然你也可以上传你已有的图片) 正向提示

    2024年02月10日
    浏览(67)
  • Python - GFPGAN + MoviePy 提高人物视频画质

    目录 一.引言 二.gif_to_png 三.gfp_gan 四.png_to_gif 五.总结 前面我们介绍了 GFP-GAN 提高人脸质量 与 OCR 提取视频台词、字幕,前者可以提高图像质量,后者可以从视频中抽帧,于是博主便想到了将二者进行结合并优化人物 GIF 图像质量。其步骤如下: ◆  MoviePy 截取视频关键帧

    2024年04月25日
    浏览(29)
  • 数学建模——判断照片中的人物是否佩戴眼镜

    人脸识别技术是基于人的脸部特征,对输入的人脸图像或者视频流. 首先判断其是否存在人脸 , 如果存在人脸,则进一步的给出每个脸的位置、大小和各个主要面部器官的位置信息。并依据这些信息,进一步提取每个人脸中所蕴涵的身份特征,并将其与已知的人脸进行对比,

    2024年02月09日
    浏览(52)
  • 英文视频添加中英双语字幕(基于Whisper语音识别和Google翻译)

    可以参考以下博客的内容讲显卡驱动,CUDA和cudnn的安装比较详细,我建议能用GPU加速就尽量使用,Whisper速度有点慢 如何在你的电脑上完成whisper的简单部署_Wayne_WX的博客-CSDN博客  Windows使用whisper前需要进行的一些环境配置 https://blog.csdn.net/m0_52156129/article/details/129263703 我的f

    2024年02月09日
    浏览(35)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包