AI孙燕姿 ?AI东雪莲 !—— 本地部署DDSP-SVC一键包,智能音频切片,本地训练,模型推理,为你喜欢的角色训练AI语音模型小教程

这篇具有很好参考价值的文章主要介绍了AI孙燕姿 ?AI东雪莲 !—— 本地部署DDSP-SVC一键包,智能音频切片,本地训练,模型推理,为你喜欢的角色训练AI语音模型小教程。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

目录

感谢B站UP羽毛布团

演示视频

稻香——东雪莲

虚拟——东雪莲

反方向的钟——东雪莲

晴天+龙卷风——东雪莲

ZOOD——东雪莲

DDSP-SVC 3.0 (D3SP) 是什么?

下载资源:

解压整合包

准备数据集

智能音频切片 

数据集准备

填写训练设置和超参数

 开始训练

推理模型


感谢B站UP羽毛布团

羽毛布団的个人空间_哔哩哔哩_bilibilihttps://space.bilibili.com/3493141443250876/?spm_id_from=333.999.0.0

演示视频

稻香——东雪莲

稻香——冬雪莲

虚拟——东雪莲

虚拟——冬雪莲

反方向的钟——东雪莲

反方向的钟——冬雪莲

晴天+龙卷风——东雪莲

晴天+龙卷风——冬雪莲

ZOOD——东雪莲

ZOOD-----东雪莲

DDSP-SVC 3.0 (D3SP) 是什么?

DDSP-SVC 是一个相对年轻的音声转换项目,相较于常用的So-VITS和更早的Diff-SVC,DDSP在训练推理速度和配置要求上都可以说是全面优于前两个项目,一般来说只要有一张2G以上显存的N卡,花上一两个小时就可以训练完成,大大降低了AI变声的门槛。当然,带来的牺牲就是其原本的转换效果是不太尽人意的。

但是最近DDSP项目迭代到了3.0版本,在原有的基础上加入了浅扩散机制,将DDSP输出的质量较低的音频梅尔谱图输入扩散模型进行浅扩散处理,输出梅尔谱图并通过声码器转换为高质量音频,使得转换效果大幅提升,在部分数据集上可以达到媲美So-VITS的效果。因此DDSP-SVC 3.0也可以称为D3SP(DDSP with Diffusion, DDDSP, 带带大涩批)。DDSP-SVC 是一个相对年轻的音声转换项目,相较于常用的So-VITS和更早的Diff-SVC,DDSP在训练推理速度和配置要求上都可以说是全面优于前两个项目,一般来说只要有一张2G以上显存的N卡,花上一两个小时就可以训练完成,大大降低了AI变声的门槛。当然,带来的牺牲就是其原本的转换效果是不太尽人意的。

但是最近DDSP项目迭代到了3.0版本,在原有的基础上加入了浅扩散机制,将DDSP输出的质量较低的音频梅尔谱图输入扩散模型进行浅扩散处理,输出梅尔谱图并通过声码器转换为高质量音频,使得转换效果大幅提升,在部分数据集上可以达到媲美So-VITS的效果。因此DDSP-SVC 3.0也可以称为D3SP(DDSP with Diffusion, DDDSP, 带带大涩批)。

下载资源:

提取码:g8n4 

百度网盘 请输入提取码百度网盘为您提供文件的网络备份、同步和分享服务。空间大、速度快、安全稳固,支持教育网加速,支持手机端。注册使用百度网盘即可享受免费存储空间https://pan.baidu.com/share/init?surl=2u_LDyb5KSOfvjJ9LVwCIQ&pwd=g8n4

解压整合包

将整合包解压到电脑硬盘中(路径中尽量不要包含中文),整合包内已经搭建好了运行所需的所有环境依赖,你无需自己手动搭建环境。

准备数据集

转化数据格式为wav

AI孙燕姿 ?AI东雪莲 !—— 本地部署DDSP-SVC一键包,智能音频切片,本地训练,模型推理,为你喜欢的角色训练AI语音模型小教程

 用uvr5获得原声,去除杂音和背景音效

AI孙燕姿 ?AI东雪莲 !—— 本地部署DDSP-SVC一键包,智能音频切片,本地训练,模型推理,为你喜欢的角色训练AI语音模型小教程

智能音频切片 

音频长度时间最好在30~60min左右

AI孙燕姿 ?AI东雪莲 !—— 本地部署DDSP-SVC一键包,智能音频切片,本地训练,模型推理,为你喜欢的角色训练AI语音模型小教程

数据集准备

将切片后的数据集放置在data/train/audio文件夹下,在数据集中按训练集:验证集=100:1的比例挑选验证集音频放置到data/val/audio文件夹中
单说话人模型,直接将所有wav文件放置到对应的audio文件夹下即可。如果是训练多说话人模型,需要在训练集和验证集的"audio"文件夹下新建不同说话人的目录,只能以纯数字命名,以1开始
如果你不想手动挑选验证集,在数据集放置到data/train/audio后也可以点击下面的一键划分数据集完成操作。
验证集的条数最好不要超过10条,否则训练验证会变得很慢。验证集的音频质量越高越好。

AI孙燕姿 ?AI东雪莲 !—— 本地部署DDSP-SVC一键包,智能音频切片,本地训练,模型推理,为你喜欢的角色训练AI语音模型小教程

 确认训练集和验证集正确放置后请选择训练编码器和f0提取算法
编码器:hubertsoft: 咬字较为清晰 | contentvec(768l12): 音色更为还原
f0算法:crepe: 抗噪能力较强但预处理速度慢 | parselmouth: 抗噪能力较弱但预处理速度快
注意,不同编码器训练出来的模型不通用,并且对应不同的配置文件,在推理时选择不匹配的配置文件会导致错误

AI孙燕姿 ?AI东雪莲 !—— 本地部署DDSP-SVC一键包,智能音频切片,本地训练,模型推理,为你喜欢的角色训练AI语音模型小教程

填写训练设置和超参数

D3SP的完整推理过程需要训练2个模型,分别是DDSP模型和扩散模型。因此你需要在下面设置2份配置文件的超参数。

AI孙燕姿 ?AI东雪莲 !—— 本地部署DDSP-SVC一键包,智能音频切片,本地训练,模型推理,为你喜欢的角色训练AI语音模型小教程

 开始训练

D3SP的完整推理过程需要训练2个模型
首先选择训练进度,从头开始训练将会将exp文件夹中的对应模型进度保存备份至models_backup文件夹,如果是训练扩散模型,会自动装载对应编码器的预训练底模。
两个模型的训练是独立的,你可以以任意顺序训练两个模型。训练前请先在上方选择预处理对应的编码器。

AI孙燕姿 ?AI东雪莲 !—— 本地部署DDSP-SVC一键包,智能音频切片,本地训练,模型推理,为你喜欢的角色训练AI语音模型小教程

推理模型

AI孙燕姿 ?AI东雪莲 !—— 本地部署DDSP-SVC一键包,智能音频切片,本地训练,模型推理,为你喜欢的角色训练AI语音模型小教程文章来源地址https://www.toymoban.com/news/detail-461268.html

到了这里,关于AI孙燕姿 ?AI东雪莲 !—— 本地部署DDSP-SVC一键包,智能音频切片,本地训练,模型推理,为你喜欢的角色训练AI语音模型小教程的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 2023.05.09-使用AI克隆孙燕姿的声音来进行唱歌

    如果我们想要克隆孙燕姿的声音,整体的思路很简单,首先找一些孙燕姿唱歌时没有伴奏的人声,然后把这个声音放到模型中进行训练拟合,让AI学习说话的这种声线风格,最后使用这个训练出来的模型进行推理和风格迁移,这样一首孙燕姿唱其他人歌曲的音频就制作出来了

    2024年02月05日
    浏览(47)
  • AI孙燕姿爆火背后:语音转换技术so-vits-svc

    AIGC的风最近终于吹到了语音生成领域。上面视频中\\\"孙燕姿\\\"翻唱周杰伦的《七里香》,该歌是AI歌唱,并非孙燕姿本人。背后核心技术来自声音转换,voice convertion,而不是之前我们讲过的声音克隆,voice clone。 语音转换,voice convertion,简称VC。简单来说,就是把一个人的声音

    2024年02月12日
    浏览(44)
  • 「AI 孙燕姿」翻唱华语乐坛歌曲爆红全网,AI 翻唱将带来哪些影响?是否会有版权等问题?

    在某视频平台上,“AI孙燕姿”成了新网红,它翻唱过周杰伦的《发如雪》、翻唱过郭顶的《水星记》、翻唱过赵雷的《我记得》,受到了网友的追捧,甚至有网友宣布“这是2023年最火的声音”。 网上除了AI孙燕姿,还有AI周杰伦、AI王心凌、AI披头士、AI德雷克,网友们乐此

    2024年02月03日
    浏览(65)
  • AI天后,在线飙歌,人工智能AI孙燕姿模型应用实践,复刻《遥远的歌》,原唱晴子(Python3.10)

    忽如一夜春风来,亚洲天后孙燕姿独特而柔美的音色再度响彻华语乐坛,只不过这一次,不是因为她出了新专辑,而是人工智能AI技术对于孙燕姿音色的完美复刻,以大江灌浪之势对华语歌坛诸多经典作品进行了翻唱,还原度令人咋舌,如何做到的? 本次我们借助基于Python3.

    2024年02月03日
    浏览(42)
  • 保姆级教程!教你打造自己的AI孙燕姿;全程使用AI工具设计一款桌游;搭建基于LLM的客服系统的实践 | ShowMeAI日报

    👀 日报周刊合集 | 🎡 生产力工具与行业应用大全 | 🧡 点赞关注评论拜托啦! 王咏刚,创新工场CTO,技术撰稿人,有数个知名出版作品。他结合自己在AI领域投资、深度孵化和创业的丰富经验,分享了自己对AI技术最新应用场景的思考。 第一部分围绕GPT等通用大语言模型,

    2024年02月06日
    浏览(45)
  • DDSP-SVC-3.0完全指南:一步步教你用AI声音开启音乐之旅

    本教程教你怎么使用工具训练数据集推理出你想要转换的声音音频,并且教你处理剪辑伴奏和训练后的音频合并一起,在文章的最后有用我自己声音处理的歌曲,哎哟,还怪不好意思的~,哈哈,快来试试看把! DDSP-SVC3.0训练推理克隆声音,超物有所值,训练完毕有伴奏处理教

    2024年02月03日
    浏览(35)
  • 体验本地部署AI绘画程序

    目录 前言 一、AI绘画是什么? 二、Stable Diffusion简介 二、部署步骤 1.克隆代码 2.部署环境 3. 安装 4 一些错误提示的排除 总结         随着人工智能的不断发展,尤其是chatGPT的成熟,AI绘画也获得了热捧,甚至AI画的太空歌剧院( Midjourney 所作)还获得了奖项。        由于

    2024年02月16日
    浏览(27)
  • 学习AI第一课:本地部署AI大模型

    AI 大模型发展到现在,国内外都有在线和离线版本,那如何在自己本地部署大模型呢?本文分享了一种简单的办法,一起来看看吧。我们经常能看到某某公司开源了一款 AI 大模型的新闻。这些模型都有着超强的能力,从生成大段的文字、逼真的图像,到理解和翻译不同语言,

    2024年04月26日
    浏览(29)
  • TavernAI+KoboldAI本地部署实现AI对话

    必需的前提: (1)1个GPU,本文使用的是nvidia的,amd应该也可以但我没试过。显存6G或以上,大于等于16G更好; (2)科学的上网; (3)Windows系统。 linux系统也是可以的,但是我没完整地试过。本文以Windows为准。 另外最好会一些英语,因为目前KoboldAI对话模型对中文的支持

    2024年02月10日
    浏览(48)
  • 本地部署Stable Diffusion Webui AI 记录

    Stable Diffusion Webui AI本地部署基本分为两种方式: 1、使用大佬的打包好的安装包一键部署 b站秋葉aaaki 2、手动部署(个人实践记录)参考文章 1、 需要拥有NVIDIA显卡,GTX1060 (或者同等算力的N卡)以上,显存4G以上。 2、操作系统需要win10或者win11的系统。 3、内存16G或者以上,

    2024年02月05日
    浏览(55)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包