【AI】文本转语音变声音色克隆数字人音视频口型同步AI应用-Toy模板网

这篇具有很好参考价值的文章主要介绍了【AI】文本转语音变声音色克隆数字人音视频口型同步AI应用。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

文本转语音

项目地址：https://github.com/coqui-ai/TTS

环境安装：

下载项目；
安装Python，安装项目依赖：

pip install TTS

1. 下载安装AI模型：

https://github.com/facebookresearch/fairseq/tree/main/examples/mms

模型文件放到：C:\Users\Administrator\AppData\Local\tts

2. 将文本转换为语音：

tts --text “要转换的文本内容” --model_name “指定语音模型” --out_path .\outFile.wav

语音模型可通过命令tts –list_models列出

示例(使用中文语音模型)：

tts --text "你好，中文。" --model_name "tts_models/zh-CN/baker/tacotron2-DDC-GST" --out_path .\test.wav

3. 自定义人声：

就是给定一段语音，生成语音的音色就会与给定语音相似。也就是自定义人声。

自定义人声需要依赖xtts模型，下载地址：https://huggingface.co/coqui/XTTS-v2/tree/main

也可以通过以下命令行下载：

git lfs install
git clone https://huggingface.co/coqui/XTTS-v2

下载的模型文件必须放到特定文件夹：C:\Users\Administrator\AppData\Local\tts\tts_models--multilingual--multi-dataset--xtts_v2

使用以下命令生成自定义人声的语音：

tts --model_name tts_models/multilingual/multi-dataset/xtts_v2 --language_idx zh-cn --speaker_wav ./out/output.wav --text "感谢榜一大哥，王思春送来的一发火箭。" --out_path ./out/ai_output.wav

语音转语音(变声)

项目地址：https://github.com/voicepaw/so-vits-svc-fork

1. 环境安装：

下载项目；
安装依赖：pip install –r requirements.txt
下载语音模型：

https://huggingface.co/models?search=so-vits-svc

https://civitai.com/?query=so-vits-svc

模型存放目录结构configs/模型文件.pth；configs/44k/config.json

2. 使用方法：

1. GUI使用:

命令: svc gui打开UI界面

tts_models–zh-cn–baker–tacotron2-ddc-gst,AI应用,人工智能,音视频,AI变声,音视频合成,数字人,TTS

选择模型文件、模型配置文件、原语音文件wav；

点击Infer按钮生成语音文件;

2. 使用命令行：

svc infer C:\Users\Administrator\Desktop\test.wav -m "C:\Users\Administrator\Desktop\configs"

视频同步语音口型

项目地址：https://github.com/OpenTalker/video-retalking

1. 环境安装：

下载项目；
安装conda：Index of /anaconda/miniconda/ | 清华大学开源软件镜像站 | Tsinghua Open Source Mirror
使用conda创建python环境:

conda create -n video_retalking python=3.8

conda activate video_retalking

安装依赖：

conda install ffmpeg

pip install -r requirements.txt

AI模型下载：https://drive.google.com/drive/folders/18rhjMpxK8LVVxf7PI6XwOidt8Vouv_H0?usp=share_link

在项目工程下新建checkpoints文件夹并将模型全部文件放入文件夹；文章来源地址https://www.toymoban.com/news/detail-826487.html

2. 使用方法：

.\inference --face 3.mp4 --audio D:\Workspace\TTS-0.21.3\test.wav --outfile C:\Users\Administrator\Desktop\out_3.mp4

到了这里，关于【AI】文本转语音变声音色克隆数字人音视频口型同步AI应用的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

【AI】文本转语音变声音色克隆数字人音视频口型同步AI应用

文本转语音

1. 下载安装AI模型：

2. 将文本转换为语音：

3. 自定义人声：

语音转语音(变声)

1. 环境安装：

2. 使用方法：

视频同步语音口型

1. 环境安装：

2. 使用方法：

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

微信扫一扫打赏

支付宝扫一扫领取红包，优惠每天领

二维码1

二维码2

【AI】文本转语音 变声 音色克隆 数字人音视频口型同步AI应用

文本转语音

1. 下载安装AI模型：

2. 将文本转换为语音：

3. 自定义人声：

语音转语音(变声)

1. 环境安装：

2. 使用方法：

视频同步语音口型

1. 环境安装：

2. 使用方法：

相关文章

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

微信扫一扫打赏

支付宝扫一扫领取红包，优惠每天领

二维码1

二维码2

【AI】文本转语音变声音色克隆数字人音视频口型同步AI应用