Stable Diffusion 3 来了 —— 充满了巨大的改进

这篇具有很好参考价值的文章主要介绍了Stable Diffusion 3 来了 —— 充满了巨大的改进。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。


stable diffusion 3.0,大语言模型,stable diffusion,人工智能

图片由 Stability AI 提供

AI 历史上最重要的一周还没有结束。就在 OpenAI 宣布了可以生成令人惊叹的视频的 Sora 和 Google 公布了支持高达 150 万个上下文窗口的 Gemini 1.5 之后,Stability AI 今天展示了 Stable Diffusion 3 的早期预览。

什么是Stable Diffusion 3?

Stable Diffusion 3 是来自 Stability AI 的最新、能力最强的文本到图像模型。它在处理多主题提示、图像质量甚至文本渲染能力方面都有显著改进。

该模型套件目前的参数范围从 8 亿到 80 亿。它结合了扩散变换器架构(类似于 Sora)和流匹配。

扩散变换器架构

扩散变换器(DiT)架构 是一种新颖的扩散模型类别,它结合了变换器技术。与通常使用卷积 U-Net 骨干的传统扩散模型不同,DiT 使用变换器在图像的潜在块上进行操作。

stable diffusion 3.0,大语言模型,stable diffusion,人工智能

扩散变换器(DiT)架构

这种架构在大型数据集(如 ImageNet)上的类条件图像生成任务中特别有效,DiT 在图像质量和生成模型性能方面树立了新的基准。

流匹配

流匹配(FM) 是一种新的、无需模拟的连续归一化流(CNF)训练方法,它使得以前所未有的规模训练 CNF 成为可能。FM 通过回归与一般高斯概率路径兼容的固定条件概率路径的向量场来工作,包括扩散路径。

stable diffusion 3.0,大语言模型,stable diffusion,人工智能

在 ImageNet 上训练的模型的相同初始噪声的样本路径

这不仅使得扩散模型的训练更加稳健,还为使用非扩散概率路径(如最优传输路径)的 CNF 提供了更快的训练、采样和更好的泛化能力。

Stable Diffusion 3 有哪些新功能?

以下是 SD3 带来的关键改进:

  • 文本渲染支持
  • 性能提升
  • 多主题提示
  • 更好的图像质量

这个新图像模型最令人兴奋的功能可能是它能够像 OpenAI 的 Dall-E 3 和 Google 的 Gemini 中的 Imagen 2 一样渲染文本。Stability AI 的首席执行官 Emad Mostaque 已经分享了使用 SD 3 生成的图像,以下是我最喜欢的一些:

提示:“一张红色球体放在蓝色立方体的顶部。它们后面是一个绿色三角形,右边是一只狗,左边是一只猫”

stable diffusion 3.0,大语言模型,stable diffusion,人工智能

Stable Diffusion 3 的样本图像

我觉得这张图片有趣的地方是动物白色毛发上微妙的绿色色调。我想知道模型是否从幕后绿幕拍摄的照片中学到了这种效果。

提示:“一个红苹果在教室的桌子上的影视照片,黑板上用粉笔写着“go big or go home””

stable diffusion 3.0,大语言模型,stable diffusion,人工智能

Stable Diffusion 3 的样本图像

Stable Diffusion 3 对比 Dall-E 3 和 Gemini

我快速比较了 SD3 和 OpenAI 的 Dall-E 3 生成的图像。在下面的例子中,我使用了 SD3 公告 博文 中的提示。

提示:“夜晚,一个巫师站在山顶上施放魔法,将彩色能量化作“Stable Diffusion 3”字样的宇宙法术”

stable diffusion 3.0,大语言模型,stable diffusion,人工智能

图片由 Jim Clyde Monge 提供

Stable Diffusion 3 刚刚击败了 Dall-E 3 吗?老实说,我很惊讶 Dall-E 3 反复拒绝使用这个提示来渲染文本。你可以自己试试。

出于好奇,我还将提示输入 Gemini Advance,以下是结果:

stable diffusion 3.0,大语言模型,stable diffusion,人工智能

图片由 Jim Clyde Monge 提供

如何获得Stable Diffusion 3 的访问权限?

目前,Stable Diffusion 3.0 尚未对公众开放。但你可以在这里注册,以获得 Discord 服务器的邀请。

stable diffusion 3.0,大语言模型,stable diffusion,人工智能

Stable Diffusion 3 的等待列表

总结

总的来说,我对看到更多Stable Diffusion 3 的例子感到非常兴奋。我已经注册了,以获得预览模型的早期访问权限。

不过,我有一个担忧,就是公告帖子的一半内容都在谈论 AI 安全性。考虑到最近的 Gemini 事件,这种对安全性的过度关注感觉像是一个错失的营销机会。

Stable Diffusion的主要用途不就是你可以将其安装在自己的计算机上,制作你想要的东西吗?

无论如何,如果需要,社区可以对开源模型进行微调。只要明确一点,SD3 图像模型仍然是开源的。预览版是为了提高其质量和安全性,就像其他Stable Diffusion版本一样。文章来源地址https://www.toymoban.com/news/detail-848764.html

到了这里,关于Stable Diffusion 3 来了 —— 充满了巨大的改进的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • SDXL-Stable Diffusion改进版

    论文: 《SDXL: Improving Latent Diffusion Models for High-Resolution Image Synthesis》 github: https://github.com/Stability-AI/generative-models SDXL,用于文生图,与之前SD相比,SDXL使用3倍大的UNet backbone:归因于更多的attention block、更大的cross-attention。作者设计多种新颖条件机制,同时引入一个精细化

    2024年02月13日
    浏览(36)
  • Stable Diffusion 2.0来了,皮卡智能AI早已“抢先”优化升级

    就在昨日,Stability AI发布了Stable Diffusion 2.0 版本上线,玩家惊呼V1还没整明白,V2版本就来了。其实在Stable Diffusion 1.0开源后,皮卡智能AI许多功能都是基于此模型,来进行升级优化的。 就图像修复而言,皮卡智能AI在Stable Diffusion 1.0 版本上增加了新的编码模型训练,该模型可

    2024年02月12日
    浏览(46)
  • AI绘画新手必看,Stable Diffusion提示词神器来了!

    大家好,我是程序员晓晓 对于AI绘画来说,提示词写得好坏,十分影响最终生成图片的结果。会写提示词的话,生成的图片质量就会比较高,不会写的话,结果可能就不会好。 之前大家在使用Stable Diffuison(以下简称SD)时,写提示词往往要去翻译软件先输入中文,然后翻译成

    2024年04月12日
    浏览(83)
  • 最近超火的Stable Diffusion来了,用文本AI生成图像!

    前言 Stable Diffusion 应该是目前最流行的两个项目之一,另外一个就是大名鼎鼎的 ChatGPT前几天也给大家更新过 。     软件介绍 最近抖音小红人刷屏的AI人物,基本都是这款软件做的,相信很多做设计的小伙伴都知道它 ,只需要描述一段文字,它就能帮你生成一张图片。

    2024年02月10日
    浏览(77)
  • 4G显存玩转AI绘画!Stable Diffusion WebUI Forge来了!

    经常使用Stable Diffusion WebUI的同学可能都被显存的问题困扰过,其运行时需要巨大的显存空间,跑着跑着显存可能就爆了,不得不重新启动。不过现在这个问题解决了,因为Stable Diffusion WebUI Forge来了。 相较于原版的SD WebUI(针对1024像素分辨率下的SDXL图片生成),可以获取以下

    2024年04月29日
    浏览(47)
  • 秋叶大佬24年最新的Stable Diffusion整合包V4.6.7来了~

    ! 「 无套路!文末提供下载方式 」 要说今年绘画圈最大的新秀 那妥妥的就Stable Diffution V4升级版无需安装 **,直接解压就能用 (在此要感谢秋葉aaaki大佬的分享! ) 比之前推送的更加智能、快速和简单 有多简单呢?这么说吧 之前的版本需要初中生级别 现在的V4加强版小学

    2024年04月12日
    浏览(30)
  • Fast.ai 的新课来了,给你详细介绍 Stable Diffusion 原理

    最近跟学生们学了个新词儿,叫做「双厨狂喜」。一般形容两个知名创作者合作出来的作品 ------ 例如视频或者直播等 ------ 很受大伙儿欢迎。 这次,告诉你一个好消息,fast.ai 要和 Huggingface, Stability.ai(Stable Diffusion 作者之一)等各方一起创作一门新课程,叫做 From Deep Learn

    2024年02月11日
    浏览(47)
  • AI绘画Stable diffusion 4.7最新版终于来了!一键安装,本地部署!

    如果这个世界有上帝,那么他一定是程序员。 国内SD绘画启动器第一人是我认为是B站的秋葉aaaki 因为制作了这款Stable Diffusion启动器,降低了国内使用SD的门槛,秋叶被粉丝戏称赛博菩萨。 ▍Stable Diffusion 是什么? Stable Diffusion(简称SD)是一种生成式人工智能,于2022年发布,

    2024年04月14日
    浏览(63)
  • 刚刚!Stable diffusion 4.7+ComfyUI升级版终于来了!(一键安装包,感谢大佬)

    「 无套路!文末提供免费下载 」 如果这个世界有上帝,那么祂一定是程序员。 国内SD绘画启动器第一人是我认为是B站的秋葉aaaki 因为制作了这款Stable Diffusion启动器,降低了国内使用SD的门槛且分文不收,秋叶被粉丝戏称赛博菩萨。 1 Stable Diffusion(简称SD)是一种生成式人工

    2024年04月25日
    浏览(57)
  • 1秒AI出图的时代来了!Stable Diffusion WebUI Forge+SVD整合包

    要说今年绘画圈最大的新秀 那妥妥的就Stable Diffution 本次更新的 Stable Diffusion WebUI Forge整合包+SVD 比之前推送的更加智能、快速和简单 有多简单呢?这么说吧 之前的版本需要初中生级别 现在的的幕后网整合包加强版小学生也能上手! 【新版软件介绍】 Stable Diffusion WebUI Forg

    2024年03月18日
    浏览(46)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包