最近比较火的一个AI场景,就是用原声讲外语,嘴型同步,网上找了些资料,今天也跑起来了,推荐 Wav2Lip,官网地址:Github Wav2Lip
环境准备
- Python3.6
- ffmpeg
- git clone https://github.com/Rudrabha/Wav2Lip.git
- pip install -r requirements.txt
- 下载人脸检测模型,并放在路径 face_detection/detection/sfd/s3fd.pth
- Wav2Lip模型下载,放到路径 checkpoints/wav2lip.pth
上述步骤中涉及到下载地址的,直接访问官网首页对应链接即可下载
安装异常排查
opencv 安装异常
将 requirements.txt
中的 opencv-contrib-python>=4.2.0.34
修改为 opencv-contrib-python==4.2.0.34
pytorch 1.1.0 安装异常
直接进 pytorch 官网,用官网的方法安装 https://pytorch.org/get-started/previous-versions/#v110
视频demo
直接用官方的视频demo,进入 https://bhaasha.iiit.ac.in/lipsync/ 这个地址,里面的三个视频可以直接下载使用
音频生成
推荐这个网站,很好用 https://www.text-to-speech.cn/文章来源:https://www.toymoban.com/news/detail-791399.html
运行命令
python inference.py --checkpoint_path ./checkpoints/wav2lip.pth --face D:/Ekoz/Items/QiuBao/dictator_orig.mp4 --audio D:/Ekoz/Items/QiuBao/output.wav
最终合成的视频,在 results 目录下文章来源地址https://www.toymoban.com/news/detail-791399.html
到了这里,关于Wav2Lip视频人脸口型同步(Win10)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!