公众号关注 “GitHubDaily”
设为 “星标”,每天带你逛 GitHub!
过去一周,从外界看,AI 貌似放缓了进步速度,但只有身处其中的人才能知道,AI 一直没有停下进化的脚步。
以下是 GitHub 过去一周,诞生的多个实用的 AI 开源项目,今天给大家做下介绍。
1. Meta 开源 AI 生成音乐模型
Meta 今天在 GitHub 开源了一个 Python 库:Audiocraft,可直接用 AI 生成音乐。
点击播放下方视频,查看音乐生成效果:
GitHub:https://github.com/facebookresearch/audiocraft
里面主要用到了一个名为 MusicGen 的音乐生成模型,MusicGen 是一个单级自回归 Transformer 模型,在 32kHz EnCodec 分词器上训练,具有 4 个以 50Hz 采样的码本。
与 MusicLM 等现有方法不同,MusicGen 不需要自我监督的语义表示,它一次生成所有 4 个码本。
卷完了文生文和文生图,接下来就看文本生成音乐要怎么发力了。
2. Diffusers 发布重磅更新
Diffusers v0.17.0 正式发布,改进了 LoRA、Kandinsky 2.1、Torch 编译加速等特性。
Diffusers 是 GitHub 上一个知名的预训练扩散模型首选库,可用于生成图像、音频,甚至分子的 3D 结构。
GitHub:https://github.com/huggingface/diffusers
无论你是在寻找简单的推理解决方案还是训练自己的扩散模型,Diffusers 均可作为模块化工具箱提供支持。
该库设计重在可用性与可定制性,主要提供以下 3 个核心组件:
最先进的扩散管道,只需几行代码即可在推理中运行;
可互换的噪声调度器,用于不同的扩散速度和输出质量;
预训练模型可用作构建块,并与调度程序结合使用,用于创建自己的端到端扩散系统。
该项目由 Hugging Face 免费开源,你可以用它来快速训练 ControlNet,以便进一步提升 AI 绘画的效果与质量。
3. 万物皆可识别
Meta 之前在 GitHub 上开源过一个 Segment Anything Model,可自动实现图像切割。
不过该模型在图像定位表现出色,但在图像识别方面便反响平平。
为此,复旦大学联合 OPPO 研究员、国际数字经济学院,在 GitHub 开源了一个强大的图像标记基础模型:Recognize Anything Model (RAM)。
该模型采用一种新的图像标记范例,可高精度地识别任何常见类别,并利用大规模图像文本对进行训练,而不是手动注释。
GitHub:https://github.com/xinyu1205/Recognize_Anything-Tag2Text
RAM 的开发包括四个关键步骤:
通过自动文本语义解析大规模获取无注释图像标签;
使用统一标题和标记任务,训练初步模型进行自动注释,分别由原始文本和解析标签监督;
利用数据引擎生成额外注释并清除不正确的注释;
利用处理后的数据对模型进行再训练,并使用更小但质量更高的数据集进行微调。
经过众多基准测试评估,RAM 的标记能力颇为优秀,效果明显优于 CLIP 和 BLIP。值得注意的是,RAM 甚至超越了完全监督的方式,甚至可媲美 Google API。
于此同时,该项目里面还包含着一个名为 Tag2Text 的工具,可直接批量化给图像中的指定对象,生成标签。
如果结合 Meta 开源的 SAM 模型,那我们就能做到批量移除图像中的指定对象,进一步提升图像处理效率。
以上,就是本期给大家推荐的 AI 开源项目。
如果你想了解更多 AIGC 相关的内容,欢迎扫描文章底部二维码,加入我们星球进一步探讨交流:
文章来源:https://www.toymoban.com/news/detail-620628.html
文章来源地址https://www.toymoban.com/news/detail-620628.html
到了这里,关于3 个令人惊艳的 AI 项目,开源了!的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!