【开源语音项目OpenVoice](一)——实操演示

这篇具有很好参考价值的文章主要介绍了【开源语音项目OpenVoice](一)——实操演示。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

目录

一、前菜

1、Python选择

2、pip源切换

3、ffmpeg配置问题

4、VSCode添加Jupyter扩展

 二、配置虚拟环境

1、下载源码

方法一 直接下载源码压缩包

方法二 使用git

1)git加入鼠标右键

2)git clone源码

2、VSCode出场

1)创建python虚拟环境

 2)安装所需插件

A、没有意外

B、若有意外

3)激活python虚拟环境

 4)安装ipykernel

5) 安装ipywidgets

6)下载checkpoints

3、操作模型

1)第一步

2)第二步 

3)第三步

4)第四步

5)第五步

 4、简单讲解

三、模型深度解析


一、前菜

开始之前,前菜是必备的,需要先设置好。

1、Python选择

本项目使用的python版本是3.9版,因此,实操之前需要安装python3.9.

这里简单说明即可。

官网Python Release Python 3.9.0 | Python.orgDownload Python | Python.org,系统为Windows版,点击如图windowsPython Release Python 3.9.0 | Python.org

openvoice怎么用,开源语音项目OpenVoice,开源

这里就不纠结了,直接3.9.0版本即可。 

openvoice怎么用,开源语音项目OpenVoice,开源

 安装时以管理员身份运行,选择自定义安装。以3.12.2为例,其实是一样的。

openvoice怎么用,开源语音项目OpenVoice,开源

注意勾选将python加入环境变量,就不需要手动添加环境变量了。

 另外,选择自定义安装位置。其他默认即可。

2、pip源切换

勾选显示隐藏的项目

openvoice怎么用,开源语音项目OpenVoice,开源

切到路径C:\Users\whyafer\AppData\Roaming\pip,其中,whyafer为自己的电脑用户名。记事本打开pip.ini文件,删除原有的代码,覆盖如下代码即可。

[global]
index-url = https://pypi.tuna.tsinghua.edu.cn/simple
[install]
trusted-host=pypi.tuna.tsinghua.edu.cn

 这样可以一劳永逸地解决安装插件时网络问题。

3、ffmpeg配置问题

使用的python虚拟环境会用到ffmpeg,但需要环境变量的配置。

官网Builds - CODEX FFMPEG @ gyan.dev下载6.1.1即可

openvoice怎么用,开源语音项目OpenVoice,开源

选择一个位置,解压,然后打开环境变量设置。

按win键,输入环境变量

openvoice怎么用,开源语音项目OpenVoice,开源

openvoice怎么用,开源语音项目OpenVoice,开源

双击系统变量,path 

openvoice怎么用,开源语音项目OpenVoice,开源 依次选择

openvoice怎么用,开源语音项目OpenVoice,开源

 点击到ffmpeg解压的bin文件夹下

 openvoice怎么用,开源语音项目OpenVoice,开源

确定即可

openvoice怎么用,开源语音项目OpenVoice,开源 按win键,cmd,输入如下代码

ffmpeg -version

openvoice怎么用,开源语音项目OpenVoice,开源

说明配置完成。

若还是不行,则需要另外的操作。

配合创建的python虚拟环境使用。找到路径:.venv\Lib\pydub\utils.py,找到which()函数下如下代码

openvoice怎么用,开源语音项目OpenVoice,开源

 下一行添加:路径为自己解压路径。保存ctrl+s即可。

    envdir_list.append(r'D:\pythonvenv\ffmpeg\ffmpeg-7.0-full_build\bin')

openvoice怎么用,开源语音项目OpenVoice,开源

4、VSCode添加Jupyter扩展

点击F1,选择Extensions:Install Extensions

openvoice怎么用,开源语音项目OpenVoice,开源

 输入Jupyter搜索,安装第一个即可,会自动安装附带扩展。

openvoice怎么用,开源语音项目OpenVoice,开源

 二、配置虚拟环境

1、下载源码

源码地址:myshell-ai/OpenVoice: Instant voice cloning by MyShell. (github.com)

两种方法

方法一 直接下载源码压缩包

建议使用此方法。如图下载压缩包,解压到你新建的空白项目文件夹下即可。

openvoice怎么用,开源语音项目OpenVoice,开源

方法二 使用git

如果你电脑里有git,可以使用

openvoice怎么用,开源语音项目OpenVoice,开源

首先,新建文件夹

在空文件夹下,右键鼠标选择Git Bash Here,前提是你已经将git加入鼠标右键了。如果没有的话,请将git加入鼠标右键。

1)git加入鼠标右键

win+R,输入regedit,打开注册表,收起计算机项目

openvoice怎么用,开源语音项目OpenVoice,开源

 在地址栏输入如下代码,回车enter

\HKEY_CLASSES_ROOT\Directory\Background

openvoice怎么用,开源语音项目OpenVoice,开源

 在Background\shell下,新建项“Git Bash Here”,名称随意。然后,在新建项下,新建项“command",我是已经新建好的。

 openvoice怎么用,开源语音项目OpenVoice,开源

openvoice怎么用,开源语音项目OpenVoice,开源 然后,点击新建项"Git Bash Here",随后注册表右侧空白处右键新建字符串值,命名为"Icon"。

openvoice怎么用,开源语音项目OpenVoice,开源

还是在鼠标点击"Git Bash Here"的情况下,即上图1,双击右侧默认项,值为”Git Bash Here",即显示在鼠标右键的名称。

openvoice怎么用,开源语音项目OpenVoice,开源

 双击"Icon",值为"E:\software\Git\mingw64\share\git\git-for-windows.ico",为鼠标右键的图标。

openvoice怎么用,开源语音项目OpenVoice,开源

然后,鼠标点击"commond",双击右侧默认项,值为:" E:\software\Git\git-bash.exe"

openvoice怎么用,开源语音项目OpenVoice,开源

2)git clone源码

在新建的空白项目文件夹下,右键鼠标,选择"Git Bash Here",若没有这个选择,可能需要点击"显示更多选项",在控制台输入如下代码,回车即可。

git clone https://github.com/myshell-ai/OpenVoice.git

openvoice怎么用,开源语音项目OpenVoice,开源

 openvoice怎么用,开源语音项目OpenVoice,开源

2、VSCode出场

1)创建python虚拟环境

使用VSCode打开项目,按F1按钮,选择如图选项,Python:Select Interpreter

openvoice怎么用,开源语音项目OpenVoice,开源

 选择新建虚拟环境

openvoice怎么用,开源语音项目OpenVoice,开源

选择"Venv"

openvoice怎么用,开源语音项目OpenVoice,开源

 选择3.9python

openvoice怎么用,开源语音项目OpenVoice,开源

若没有3.9python选项,选择第一个"Enter interpreter path"

openvoice怎么用,开源语音项目OpenVoice,开源 点击"Find",选到你按照python3.9的文件夹下的python.exe即可。openvoice怎么用,开源语音项目OpenVoice,开源

 2)安装所需插件

A、没有意外

正确切换pip源之后,一般是不会出现意外的。

选好python编译器之后,勾选如图项,然后点击ok。过程需要些时间,耐心等待VSCode安装完成。

openvoice怎么用,开源语音项目OpenVoice,开源

 不要动,等待就好。

openvoice怎么用,开源语音项目OpenVoice,开源

B、若有意外

如果你没有勾选上一步,那么就需要手动操作安装了。

此步骤在激活python虚拟环境的情况下,在控制台,输入代码

pip install -r requirements.txt

openvoice怎么用,开源语音项目OpenVoice,开源

3)激活python虚拟环境

选择Terminal->New Terminal

openvoice怎么用,开源语音项目OpenVoice,开源

 下方输入代码,回车enter即可。

.\.venv\Scripts\activate

openvoice怎么用,开源语音项目OpenVoice,开源

 4)安装ipykernel

激活虚拟环境的情况下,控制台输入代码

pip install ipykernel

openvoice怎么用,开源语音项目OpenVoice,开源

5) 安装ipywidgets

激活虚拟环境的情况下,控制台输入代码

pip install ipywidgets

openvoice怎么用,开源语音项目OpenVoice,开源

6)下载checkpoints

网址:

https://myshell-public-repo-hosting.s3.amazonaws.com/checkpoints_1226.zip

直接下载压缩包,解压之后放在项目根目录下。

openvoice怎么用,开源语音项目OpenVoice,开源

 checkpoints包含中文ZH和英文EN两种语言的模型处理文件。

openvoice怎么用,开源语音项目OpenVoice,开源

3、操作模型

A、操作demo_part1.ipynb

点击左侧文件demo_part1.ipynb,然后点击右侧红框部分选择虚拟环境。

openvoice怎么用,开源语音项目OpenVoice,开源

 选择Python Environments

openvoice怎么用,开源语音项目OpenVoice,开源选择我们创建的虚拟环境.venv openvoice怎么用,开源语音项目OpenVoice,开源

注意:每次关闭项目或者demo_part1.ipynb文件,要依次重新执行。每个都可多次点击,以消除警告信息。

1)第一步

 点击下面的三角按钮openvoice怎么用,开源语音项目OpenVoice,开源

2)第二步 

点击Initialization下的三角按钮。

openvoice怎么用,开源语音项目OpenVoice,开源

3)第三步

 执行source_se,可省略。openvoice怎么用,开源语音项目OpenVoice,开源

4)第四步

执行reference_speaker,可多点击几次,便不会出现问题。

openvoice怎么用,开源语音项目OpenVoice,开源

5)第五步

执行Inference,挑选一个执行即可。默认情况下,选择英文例子。

注意:运行英文代码最好加一句,避免出错中英文checkpoints不对应。

ckpt_base = 'checkpoints/base_speakers/EN'

openvoice怎么用,开源语音项目OpenVoice,开源

第一个是默认英文例子。

openvoice怎么用,开源语音项目OpenVoice,开源

第二个也是英文,修改了语气与语速。

语气speaker="whispering",其余可选friendly, cheerful, excited, sad, angry, terrified, shouting

语速speed=0.9,可尝试自己。

语言language='English',为英文,切换中文为'Chinese’。

base_speaker_tts.tts(text, src_path, speaker='whispering', language='English', speed=0.9)

openvoice怎么用,开源语音项目OpenVoice,开源

 第三个是中文,只有默认语气。

openvoice怎么用,开源语音项目OpenVoice,开源

B、操作demo_part2.ipynb 

这个要使用OPENAI_API_KEY,如果你有的话,那么,应该就不需要我来实操演示了,请根据demo_part2.ipynb说明操作即可。

 4、简单讲解

要使用的训练语音为:

reference_speaker = 'resources/example_reference.mp3'

 更改自己的语音,将自己的语音文件,如"ky_kk.mp3",放在项目路径resources文件夹下,注意,为mp3后缀文件。将example_reference更改为自己语音的名称即可。刚更改好,最好重启VSCode,以防报错找不到文件。更改完毕,然后执行这一步。

openvoice怎么用,开源语音项目OpenVoice,开源

openvoice怎么用,开源语音项目OpenVoice,开源

以中文为例 ,但是中文不能选择语气,只有默认的。

openvoice怎么用,开源语音项目OpenVoice,开源

 变量ckpt_base表示语音模仿对象语种模型处理的文件夹位置。中文ZH,英文则为EN。

ckpt_base = 'checkpoints/base_speakers/ZH'

 变量source_se用于模仿语音语调的提取训练,区分中英文。中文为zh_default_se.pth,英文为en_default_se.pth。

source_se = torch.load(f'{ckpt_base}/zh_default_se.pth').to(device)

 变量save_path表示输出的语音文件存档位置,output_chinese.wav为输出文件名,每次运行可更改,即可不断生成不同语音文件。

save_path = f'{output_dir}/output_chinese.wav'

变量text表示要输出的语音内容。 

text = "今天天气真好,我们一起出去吃饭吧。"

 变量src_path与变量save_path作用相同,使用语调为默认。默认音色输出为tmp.wav。

src_path = f'{output_dir}/tmp.wav'

因此,对于输出的语音文件,你有两个选择

output_chinese.wav和tmp.wav,随自己选择。

三、模型深度解析

敬请期待。文章来源地址https://www.toymoban.com/news/detail-855486.html

到了这里,关于【开源语音项目OpenVoice](一)——实操演示的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 有什么开源的python汉语语音转文字项目?

    随着语音技术的不断发展,语音识别技术已经逐渐成熟,成为了很多智能应用的重要组成部分,比如智能家居、语音助手等等。而在语音识别技术中,汉语语音识别则是一个更具有挑战性的领域。为了方便程序员们进行汉语语音识别,这里推荐了十款Python开源的汉语语音转文

    2024年02月06日
    浏览(24)
  • 毕业设计 stm32智能语音垃圾分类系统(项目开源)

    Hi,大家好,这里是丹成学长,今天向大家介绍一个 单片机项目 毕业设计 stm32智能语音垃圾分类系统(项目开源) 大家可用于 课程设计 或 毕业设计 🧿 项目分享: https://gitee.com/sinonfin/sharing 学长设计的系统主要使用 stm32单片机为基础设计并开发一个智能垃圾桶系统。该系

    2023年04月08日
    浏览(36)
  • 毕设开题分享 stm32智能语音垃圾分类系统(项目开源)

    Hi,大家好,这里是丹成学长,今天向大家介绍一个 单片机项目 毕业设计 stm32智能语音垃圾分类系统(项目开源) 大家可用于 课程设计 或 毕业设计 🧿 项目分享: https://gitee.com/sinonfin/sharing 学长设计的系统主要使用 stm32单片机为基础设计并开发一个智能垃圾桶系统。该系

    2024年01月23日
    浏览(61)
  • 单片机毕设 stm32智能语音垃圾分类系统(项目开源)

    Hi,大家好,这里是丹成学长,今天向大家介绍一个 单片机项目 毕业设计 stm32智能语音垃圾分类系统(项目开源) 大家可用于 课程设计 或 毕业设计 🧿 项目分享:见文末! 学长设计的系统主要使用 stm32单片机为基础设计并开发一个智能垃圾桶系统。该系统实现智能开盖, 垃

    2024年03月10日
    浏览(51)
  • 训练自己的ai模型(四)学习笔记与项目实操(什么也不懂,但有数据,怎么搞?无监督学习算法)

    很开心有人还在催更,有点小震惊吧。 (原来真有人在csdn发学习记录啊) (原来真有人在csdn看学习记录啊) ai模型方向的知识,我也在学习中,可能疑惑不比大家少。 直接开始! 不管你的是什么数据,只要你有数据,你就可以试一试,跑一跑。 使用 无监督学习算法 。

    2024年02月07日
    浏览(58)
  • 超快的 AI 实时语音转文字,比 OpenAI 的 Whisper 快4倍 -- 开源项目 Faster Whisper

    faster-whisper 这个项目是基于 OpenAI whisper 的模型,在上面的一个重写。 使用的是 CTranslate2 的这样的一个库,CTranslate2 是用于 Transformer 模型的一个快速推理引擎。 在相同精度的情况下,faster-whisper 的速度比 OpenAI whisper 快 4 倍,并且使用更少的内存。 这是 faster-whisper 与 OpenAI

    2024年03月27日
    浏览(42)
  • if __name__ == ‘__main__‘详细解释及实操演示

    在Python中,每个模块都有一个内置的变量 name ,用于表示 当前模块的名称 。当一个Python文件被执行时,Python解释器会首先将该文件作为一个模块导入,并执行其中的代码。此时,__name__的值为模块的名称。 if name == ‘ main ’ 是一个常见的用法,它的意思是:当该模块被直接

    2024年02月16日
    浏览(26)
  • ElasticSearch6.x版本的Scroll滚动查询讲解及Kibana和SpringBoot实操演示

    ElasticSearch中在进行普通的查询时, 默认只会查询出来10条数据 。我们通过设置ElasticSearch中的 size 可以将最终的查询结果从 10 增加到 10000 。但这时候如果我们需要查询的数据大于10000条怎么办呢?这时候有两种方法: 深度分页 和 滚动查询 。在这里我们优选选择 滚动查询

    2024年01月17日
    浏览(28)
  • Gitee开源项目issue模板怎么写

    itee Issue 模板配置存储于仓库的 默认分支 下 .gitee/ISSUE_TEMPLATE 隐藏目录中。 以下是一个完整 Issue 模板配置和对应的目录结构参考: 注意 如果你在另一个分支中创建模板,配置将不会生效,相关的功能协作用户将无法使用该功能。 Issue 模板文件名不区分大小写,文件以 .md

    2024年01月24日
    浏览(27)
  • GitHub 2800颗星,支持GPT/Transformer,字节跳动这个开源项目是怎么来的?

    AI 绘画、机器翻译、多轮对话……对于各类 AI 相关的功能来说,总有一个痛点,困扰着所有训模型的算法工程师们: 想要效果更好,那么 AI 模型一般都很大,耗费的算力更多不说,运行起来还更费时间; 如果希望模型小、运行快,那么效果通常不如前者好。 这就像天平的

    2024年02月09日
    浏览(55)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包