【精华】AIGC之文生音乐及实践应用

这篇具有很好参考价值的文章主要介绍了【精华】AIGC之文生音乐及实践应用。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

AIGC之文生音乐及实践应用

(一)序言

近期 AIGC 如同上了热搜一般,火热程度居高不下,当然除了名头格外响亮,突破也是绝对斐然:输入自然语言就可自动生成图像、视频甚至是 3D 模型,你说意不意外?

但在音频音效的领域,AIGC 的福利似乎还差了一些。主要由于高自由度音频生成需要依靠大量文本 - 音频对数据,同时长时波形建模还有诸多困难。目前主流解决思路是将自然语言描述作为输入,而且是任意模态(例如文本、音频、图像、视频等)均可,同时输出符合描述的音频音效,广大网友很难不为其可控性以及泛化性点赞。

可以预见的是,音频合成 AIGC 将会在未来电影配音、短视频创作等领域发挥重要作用,而借助 Make-An-Audio 等模型,或许在未来人人都有可能成为专业的音效师,都可以凭借文字、视频、图像在任意时间、任意地点,合成出栩栩如生的音频、音效。但现阶段 Make-An-Audio 也并不是完美无缺的,可能由于丰富的数据来源以及不可避免的样本质量问题,训练过程中难免会产生副作用,例如生成不符合文字内容的音频,Make-An-Audio 在技术上被定位是 “辅助艺术家生成”,可以肯定的一点,AIGC 领域的进展确实令人惊喜。文章来源地址https://www.toymoban.com/news/detail-491558.html

(二)常见算法框架
(1)Mubert
  • 官网: https://mubert.com/
  • GitHub:https://github.com/MubertAI/Mubert-Text-to-Music
(2)Make-An-Audio
  • 论文链接: https://arxiv.org/abs/2301.12661
  • 项目链接: https://text-to-audio.github.io
(3)bark
  • 项目链接: https://github.com/suno-ai/bark
(三)研究里程碑
时间 所属机构 描述
2022年10月 Mubert 推出Mubert-Text-to-Music API
2023年1月 浙大+北大+火山语音 推出模型 Make-An-Audio,共同提出了Distill-then-Reprogram 文本增强策略,即使用教师模型获得音频的自然语言描述,再通过随机重组获得具有动态性的训练样本。
(四)当前挑战
(1)高自由度音频生成需要依靠大量文本 - 音频对数据
(2)长时波形建模存在诸多困难
(五)最新研究进展
  • AIGC基于文本生成音乐,现在压力来到配乐行业这边
  • 这段音频火爆外网!文字、图片一键生成逼真音效,音频界AIGC来了
  • 最新语音合成变声器轻松克隆你的声音,SoVits AI体验
  • 语音合成工具_bark

到了这里,关于【精华】AIGC之文生音乐及实践应用的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 手把手教你从零搭建ChatGPT网站AI绘画系统,(SparkAi系统V6)GPTs应用、DALL-E3文生图、AI换脸、垫图混图、SunoAI音乐生成

    SparkAi创作系统是基于ChatGPT进行开发的Ai智能问答系统和Midjourney绘画系统,支持OpenAI-GPT全模型+国内AI全模型。本期针对源码系统整体测试下来非常完美,那么如何搭建部署AI创作ChatGPT?小编这里写一个详细图文教程吧。已支持GPTs、GPT语音对话、GPT-4模型、GPT联网提问、DALL-E

    2024年04月17日
    浏览(46)
  • 【精华】AIGC之Stable Diffusion专栏

    【精华】AIGC之Stable Diffusion专栏 Stable-diffusion-webui 小白使用大全+插件和模型推荐2.0 Stable-diffusion-webui 插件拓展及依赖汇总 (1)openpose editor(♥♥♥♥♥) 【AI绘画】使用OpenPose editor打造个性化的人物姿势绘画 GitHub地址 :https://github.com/fkunn1326/openpose-editor GitHub地址 :https:/

    2024年02月11日
    浏览(49)
  • AIGC + RTE,一个实时互动的应用实践

    一夜之间,区块链、元宇宙、Web3、VR等风口似乎都消散了,似乎只有 AI 才是C位。声网 RTC + 云市场各类插件 + AIGC,会迸发出什么样的火花呢? 最近,声网内部组织了一次黑客松,经过激烈的角逐,我们团队荣获冠军。接下来,我们来介绍下我们的项目:Infinite Lego(无限乐高

    2024年02月09日
    浏览(29)
  • 行业前沿 | 畅想AIGC技术研究与应用实践(一)

    AIGC的火热之势已经蔓延到各行各业,技术浪潮冲击下,关于AIGC创业、AIGC未来发展方向以及AIGC的应用实践等,企业、投资者以及技术产品专家们有着不一样的思考。 近日,数美科技联合AMD举办的AIGC沙龙活动,邀请了 经纬创投投资董事王冰醒、启元世界战略总监王思捷、AM

    2024年02月09日
    浏览(51)
  • AIGC-文生视频-学习之路

    马尔可夫链 ▏小白都能看懂的马尔可夫链详解 点击蓝字关注我们1.什么是马尔可夫链 在机器学习算法中,马尔可夫链(Markov chain)是个很重要的概 https://mp.weixin.qq.com/s?__biz=MzU0MDQ1NjAzNg==mid=2247568069idx=1sn=8d0d44b4a4f939ff37cbda62bef9d26achksm=fb3b6fcecc4ce6d88a38e767c20ec9afdbc6901188489e80f2f2e4fa96fc

    2024年02月02日
    浏览(44)
  • AIGC-文生视频

    马尔可夫链 ▏小白都能看懂的马尔可夫链详解 点击蓝字关注我们1.什么是马尔可夫链 在机器学习算法中,马尔可夫链(Markov chain)是个很重要的概 https://mp.weixin.qq.com/s?__biz=MzU0MDQ1NjAzNg==mid=2247568069idx=1sn=8d0d44b4a4f939ff37cbda62bef9d26achksm=fb3b6fcecc4ce6d88a38e767c20ec9afdbc6901188489e80f2f2e4fa96fc

    2024年02月03日
    浏览(40)
  • 玖章算术CEO叶正盛受邀AIGC论坛,分享NineData 在 AIGC 的应用实践

    2023年3月24日下午,由人工智能关键技术与应用评测实验室、中国信通院云计算与大数据研究所、中国信通院(浙江)创新中心人工智能分中心主办,杭州市余杭区信通人工智能研究院、浙江菜根科技产业发展有限公司承办的生成式 AI 技术沙龙顺利召开。  邀请了信通院、玖

    2024年02月12日
    浏览(40)
  • 谷歌产品大更新:Bard可生成图像;文生音乐平台等5大免费功能

    2月2日,谷歌在官网对生成式AI产品进行了大更新,包括类ChatGPT聊天助手Bard可以通过文本提示生成图像; 全新的文生音乐平台MusicFX;新的文生图像平台ImageFX;新的文本扩写平台TextFX;在谷歌地图中增加生成式AI功能,用文本提示快速查找路线、店铺等。 值得一提的是,这

    2024年02月20日
    浏览(52)
  • golang aigc 文生图demo

    image.png 视频 链接: https://pan.baidu.com/s/1qfrOYKd76oZAhWKRkXcozA?pwd=t9ta 提取码: t9ta 技术选型 golang + js + css zui ui框架 代码 https://gitee.com/home_robertzhai/go_txt2img ref https://home_robertzhai.gitee.io/index/index.html  

    2024年02月17日
    浏览(40)
  • AIGC专栏10——EasyAnimate 一个新的类SORA文生视频模型 轻松文生视频

    在过年期间,OpenAI放出了SORA文生视频的预览效果,一瞬间各大媒体争相报道,又引爆了一次科技圈,可惜的是,SORA依然没选择开源。 在这个契机下,本来我也对文生视频的工作非常感兴趣,所以也研究了一些与SORA相关的技术,虽然我们没有像OpenAI那么大的算力,但做一些基

    2024年04月17日
    浏览(40)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包