AIGC音乐生成#riff + diffusion 以生成频谱图图像来转换为音乐 | 无界日报 第2期

这篇具有很好参考价值的文章主要介绍了AIGC音乐生成#riff + diffusion 以生成频谱图图像来转换为音乐 | 无界日报 第2期。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

AIGC音乐生成#riff + diffusion 以生成频谱图图像来转换为音乐 | 无界日报 第2期

AIGC音乐生成#riff + diffusion 以生成频谱图图像来转换为音乐 | 无界日报 第2期

小杜

无界日报第2期,本期头条 - stable diffusion 微调模型 riff + diffusion 以生成频谱图图像来转换为音乐。

无界日报

2022.12.16

第02期

- 头条 -

riff + diffusion

#AIGC# #工具#

AIGC音乐生成#riff + diffusion 以生成频谱图图像来转换为音乐 | 无界日报 第2期

riff + diffusion 是 stable diffusion 的微调模型,以生成频谱图图像来转换为音乐。开发团队制作了一个交互式网络应用程序来输入提示并实时无限生成音频内容,同时以 3D 方式可视化频谱图时间线。

当用户输入新提示时,音频会平滑地过渡到新提示风格。如果没有新提示,应用程序将在同一提示的不同种子值之间进行音频生成。频谱图被可视化为沿时间线的 3D 波纹图,带有半透明的播放条提示播放进度。

-音频频谱图:如图所示,是一种表示声音片段频率内容的可视化方式。x 轴代表时间,y 轴代表频率。每个像素的颜色给出了音频在其行和列给定的频率和时间的振幅。

AIGC音乐生成#riff + diffusion 以生成频谱图图像来转换为音乐 | 无界日报 第2期

除了用文本生成/修改生成音频,riffuion 也支持用图像-图像生成/修改音乐,并且能保留原始频谱图图像的结构,不改变音频走势框架的同时对音频进行定向的微调修改。

AIGC音乐生成#riff + diffusion 以生成频谱图图像来转换为音乐 | 无界日报 第2期

1.带有爵士乐萨克斯管独奏的放克低音
- 微调后 -
 2.放克钢琴


项目官网给出了详细的提示语建议与微调操作指南,感兴趣的朋友可以前往项目页体验一番~

AIGC音乐生成#riff + diffusion 以生成频谱图图像来转换为音乐 | 无界日报 第2期
......

项目官网:
www.riffusion.com/
项目解读:
www.riffusion.com/about

- More -

# 02

#AIGC##工具#

Whisper to Stable Diffusion

用母语说话(或唱歌)来生成图形,任何语言都将自动翻译为英文,由 Sylvain @fffiloni 制作 -Whisper:是一种通用的语音识别模型。它是在各种音频的大型数据集上训练的,也是一个多任务模型,可以执行多语言语音识别以及语音翻译和语言识别。

AIGC音乐生成#riff + diffusion 以生成频谱图图像来转换为音乐 | 无界日报 第2期

demo地址:
huggingface.co/spaces/fffiloni/whisper-to-stable-diffusion

更多

# 03

#智能产品# #插件# 文章来源地址https://www.toymoban.com/news/detail-490571.html

到了这里,关于AIGC音乐生成#riff + diffusion 以生成频谱图图像来转换为音乐 | 无界日报 第2期的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • AIGC专栏3——Stable Diffusion结构解析-以图像生成图像(图生图,img2img)为例

    用了很久的Stable Diffusion,但从来没有好好解析过它内部的结构,写个博客记录一下,嘿嘿。 https://github.com/bubbliiiing/stable-diffusion 喜欢的可以点个star噢。 Stable Diffusion是比较新的一个扩散模型,翻译过来是稳定扩散,虽然名字叫稳定扩散,但实际上换个seed生成的结果就完全不

    2024年02月10日
    浏览(60)
  • AIGC专栏2——Stable Diffusion结构解析-以文本生成图像(文生图,txt2img)为例

    用了很久的Stable Diffusion,但从来没有好好解析过它内部的结构,写个博客记录一下,嘿嘿。 https://github.com/bubbliiiing/stable-diffusion 喜欢的可以点个star噢。 Stable Diffusion是比较新的一个扩散模型,翻译过来是稳定扩散,虽然名字叫稳定扩散,但实际上换个seed生成的结果就完全不

    2024年02月10日
    浏览(50)
  • AIGC实战——基于Transformer实现音乐生成

    Transformer 是最流行的音乐生成技术之一,因为音乐可以视为一个序列预测问题, Transformer 模型将音符视为一个个符号的序列(类似于句子中的单词),从而用于生成音乐。 Transformer 模型基于先前音符预测下一个音符,生成音乐作品。在本节中,将学习如何处理音乐数据,并应用

    2024年04月26日
    浏览(33)
  • 【专题速递】音频生成、TTS和AIGC在音乐上的运用

      //   AIGC的发展为音频带来了什么?AIGC如何赋能音乐创作?如何识别虚假音频?TTS可以在哪种场景下解决特定问题?7月29日LiveVideoStackCon2023上海站音频新体验专场,为您解答。 音频新体验 随着多媒体和通信网络技术的不断更新,以及新型音视频应用场景的不断涌现,音频

    2024年02月13日
    浏览(37)
  • 【AIGC】Stable Diffusion的生成参数入门

    Stable Diffusion 的生成参数是用来控制图像生成过程的重要设置,下面是一些常见的生成参数及其详解 1、 采样器 ,关于采样器的选择参照作者的上一篇文章 2、 采样步数 (Sampling Steps)是指在生成图像时模型执行的总步数,每一步都包含了一系列操作,例如在潜在空间中移动

    2024年02月20日
    浏览(40)
  • aigc图像生成技术

    【AI绘画】AI图像生成技术时间轴(截至2023年2月28日)_哔哩哔哩_bilibili 摸了两天鱼做出来的ppt, 视频播放量 31473、弹幕量 186、点赞数 1618、投硬币枚数 1014、收藏人数 2654、转发人数 907, 视频作者 大江户战士, 作者简介 The future is now,相关视频:第1集 热血重燃!16名顶尖AI程序

    2024年02月15日
    浏览(42)
  • AIGC之图像生成内容介绍

    AIGC(Artificial Intelligence Generated Content)是一种基于人工智能技术生成内容的方法,它在图像生成领域有广泛的应用。图像生成是指通过计算机算法和模型生成新的图像,这些图像可能是完全虚构的、艺术创作的、或者是根据现有图像进行修改和增强的。下图的人物则是由图像

    2024年02月09日
    浏览(40)
  • 【带文字的图像生成-附开源代码】AIGC 如何在图像中准确生成文字?字体篇(上)

    文字图像生成是什么? “文字图像生成(Text-image generation)”即生成带有指定文字的图像。如下图所示,市面常见的通用文生图很难准确地生成带有指定文字的图像。文字图像生成也被称为文本渲染(Text rendering)。 为什么重要? 在图像生成中进行文本渲染至关重要,因为

    2024年04月24日
    浏览(36)
  • AI图像(AIGC for PIC)大模型实战|Stable Diffusion

    AI GC text to pic 图像生成模型  目前随着AIGC模型的火爆,AI内容创作远超人类创造水平和能力,极大了提升了创作空间。 为此我们要接触新鲜事物,用于尝试新技术。 那针对目前火爆的AImodel我们开始进行学习,尝试本地化部署,生成自己的模型。 先感性的认识下模型的基础知

    2023年04月24日
    浏览(36)
  • AIGC图像生成的原理综述与落地畅想

    AIGC,这个当前的现象级词语。本文尝试从文生图的发展、对其当前主流的 Stable Diffusion 做一个综述。以下为实验按要求生成的不同场景、风格控制下的生成作品。 概述 ▐  技术演进一:昙花初现 GAN 家族 GAN 系列算法开启了图片生成的新起点。GAN的主要灵感来源于博弈论中

    2024年02月06日
    浏览(36)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包