AIGC之文生音乐及实践应用
(一)序言
近期 AIGC 如同上了热搜一般,火热程度居高不下,当然除了名头格外响亮,突破也是绝对斐然:输入自然语言就可自动生成图像、视频甚至是 3D 模型,你说意不意外?
但在音频音效的领域,AIGC 的福利似乎还差了一些。主要由于高自由度音频生成需要依靠大量文本 - 音频对数据,同时长时波形建模还有诸多困难。目前主流解决思路是将自然语言描述作为输入,而且是任意模态(例如文本、音频、图像、视频等)均可,同时输出符合描述的音频音效,广大网友很难不为其可控性以及泛化性点赞。文章来源:https://www.toymoban.com/news/detail-491558.html
可以预见的是,音频合成 AIGC 将会在未来电影配音、短视频创作等领域发挥重要作用,而借助 Make-An-Audio 等模型,或许在未来人人都有可能成为专业的音效师,都可以凭借文字、视频、图像在任意时间、任意地点,合成出栩栩如生的音频、音效。但现阶段 Make-An-Audio 也并不是完美无缺的,可能由于丰富的数据来源以及不可避免的样本质量问题,训练过程中难免会产生副作用,例如生成不符合文字内容的音频,Make-An-Audio 在技术上被定位是 “辅助艺术家生成”,可以肯定的一点,AIGC 领域的进展确实令人惊喜。文章来源地址https://www.toymoban.com/news/detail-491558.html
(二)常见算法框架
(1)Mubert
- 官网: https://mubert.com/
- GitHub:https://github.com/MubertAI/Mubert-Text-to-Music
(2)Make-An-Audio
- 论文链接: https://arxiv.org/abs/2301.12661
- 项目链接: https://text-to-audio.github.io
(3)bark
- 项目链接: https://github.com/suno-ai/bark
(三)研究里程碑
时间 | 所属机构 | 描述 |
---|---|---|
2022年10月 | Mubert | 推出Mubert-Text-to-Music API |
2023年1月 | 浙大+北大+火山语音 | 推出模型 Make-An-Audio,共同提出了Distill-then-Reprogram 文本增强策略,即使用教师模型获得音频的自然语言描述,再通过随机重组获得具有动态性的训练样本。 |
(四)当前挑战
(1)高自由度音频生成需要依靠大量文本 - 音频对数据
(2)长时波形建模存在诸多困难
(五)最新研究进展
- AIGC基于文本生成音乐,现在压力来到配乐行业这边
- 这段音频火爆外网!文字、图片一键生成逼真音效,音频界AIGC来了
- 最新语音合成变声器轻松克隆你的声音,SoVits AI体验
- 语音合成工具_bark
到了这里,关于【精华】AIGC之文生音乐及实践应用的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!