AI 绘画Stable Diffusion 研究(八)sd采样方法详解

这篇具有很好参考价值的文章主要介绍了AI 绘画Stable Diffusion 研究(八)sd采样方法详解。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。


大家好,我是风雨无阻。


本期内容:

  • 什么是采样方法 ?
  • 采样方法的分类有哪些?
  • 怎么选择合适的采样方法?

在 Stable Diffusion中目前已经有很多采样方法 ,不同的采样方法,出图效果不同。这里将详细介绍这些采样方法,以及在使用 Stable Diffusion 的过程中,怎么选择合适的采样方法。

一、什么是采样方法 ?


在了解采样之前,我们得先了解 一下Stable Diffusion webui 是如何工作的,建议看看我之前的AI 绘画Stable Diffusion 研究(七)sd webui如何工作这篇文章。


我们知道 sd webui 生成图像,大致会经过以下过程:

1、为了生成图像, Stable Diffusion 会在潜在空间中生成一个完全随机的图像

2、噪声预测器会估算图像的噪声

3、噪声预测器从图像中减去预测的噪声

4、这个过程反复重复 N 次以后,会得到一个干净准确的图像

这个去噪的过程,就被称为采样。

采样中使用的方法被称为 Sampling method (采样方法或者是采样器)。


采样步骤 Sampling steps 有什么影响?

采样步骤,那么每个步骤降噪就越小 ,这样可以减少采样过程中的截断误差。


二、采样方法的分类

为了便于使用和理解,我们可以将这些采样方法进行分类:


(1)、经典ODE求解器

包含:Euler \Heun \LMS。

Euler采样器:欧拉采样方法。
Heun采样器:欧拉的一个更准确但是较慢的版本。
LMS采样器:线性多步法,与欧拉采样器速度相仿,但是更准确。


(2)、祖先采样器 (名称中有一个字母 a 的)

包含 :Euler a \ DPM2 a \DPM++2S a \DPM2 a Karras \DPM++2S a Karras


这些采样器会在每个采样步骤中,向图像添加噪声,因此具有一定的随机性。

注意:部分采样器的名字中虽然没有明确标识属于祖先采样器,但也属于随机采样器。



(3)、DDIM、PLMS(已过时,不再使用)

  • DDIM :去噪扩散隐式模型, 是为扩散模型设计的第一个采样器。
  • PLMS:伪线性多步方法, 则是DDIM 更快速的替代品 。

当前这两种采样方法都不再广泛使用。


(4)、DPM 和 DPM++ 系列

DPM 和 DPM++ 体系结构的求解器系列, 是2022年发布的用于扩散模型的新采样器 ,它们具有相似的结构。

DPM的缺点:由于DPM会自适应调整步长,不能保证在约定的采样步骤内完成任务,整体速度可能会比较慢。

DPM的优点:对Tag的利用率较高,在使用时建议适当放大采样的步骤数以获得较好的效果。


DPM++ 是对DPM 的改进,采用二阶方法,其结果更准确,但是相应的也会更慢一些。




(5)、UniPC采样器

这UniPC采样器是2023年发布的新采样器,根据 ode 求解器中预测校正方法的启发,可在5-10步内实现高质量图像生成。


(6)、K-diffusion 采样器

当前常用的采样器中,除了DDIM、PLMS与UniPC之外的采样器均来自于k-diffusion, 通常这些采样器都带有 Karras 字样。



了解了以上采样器的分类,相信大家对选择采样器,已经可以缩小选择的范围了。


三、采样器方法详解


接下来我们根据 Stable Diffusion WebUI 中采样器的顺序,对每个采样器进行详细介绍。


1、Euler a

祖先采样器的一种 , 类似于 Euler ,但在每个步骤中它会减去比“应该”更多的噪声。并添加一些随机噪声以匹配噪声计划。去噪图像取决于前面步骤中添加的特定噪声。


2、Euler

最简单的采样器,在采样过程中不添加随机噪声,通过噪声计划告诉采样器,每个步骤中应该有多少噪声。并使用欧拉方法减少恰当数量的噪声。以匹配噪声计划,直到最后一步为0 为止。


3、LMS 解决常微分方程的标准方法

LMS采样速度与Euler 相同 。


4、Heum

Heum 是对Euler 更精确的改进,但是需要在每个步骤中预测两次噪声。

因此速度比Euler 慢2倍。


5、DPM2

dpm2 是Katherine Crowson在K-diffusion项目中自创的 ,灵感来源Karras论文中的DPM-Solver-2和算法2 ,受采样器设置页面中的 sigma参数影响。


6、DPM2 a

祖先采样器的一种,使用 DPM2 方法 ,受采样器设置中的ETA参数影响 。


7、DPM++2S a

随机采样器一种

在K-diffusion实现的2阶单步并受采样器设置中的ETA参数影响。


8、 DPM++2M

在Kdiffusion实现的2阶多步采样方法,在Hagging face Diffusers中被称作已知最强调度器。在速度和质量的平衡最好。这个代表m的多步比上面的s单步,在采样时会参考更多步,而非当前步,所以能提供更好的质量,但是也更复杂。


9、 DPM++SDE

DPM++的SDE版本,DPM++ 原本是0DE 求解器及常微分方程在Ktifusion实现的版本,代码中调用了随机采样方法,所以受采样器设置中的ETA参数影响。


10、 DPM fast

在Ktifusion实现的固定步长采样方法 ,用于steps小于20的情况。受采样器设置中的ETA参数影响。


11、 DPM adaptive

在K-diffusion 实现的自适应步长采样方法,DPM-Solver-12 和23,受采样器设置中的ETA参数影响。


12、带有Karras字样的6种采样器

LMS karras 、DPM2 karras 、DPM2 a karras 、DPM++ 2S a karras 、DPM++2M karras、DPM++ SDE karras 、DPM++2M SDE karras

这些含有Karras名字的采样方法 都是相当于 Karras噪声时间表的版本。


13 、DDIM

官方采样器之一,使用去噪后的图像来近似最终图像,并使用噪声预测器估计的噪声,来近似图像方向。


14、PLMS

官方采样器之一,PLMS则是DDIM的新版且更快速的替代品。


15、unipc

最新添加的采样器,应该是目前最快最新的采样方法,10步内实现高质量图像。


四、怎么选择合适的采样方法?


以下是我的建议:文章来源地址https://www.toymoban.com/news/detail-661505.html

  • 如果想快速生成质量不错的图片,建议选择 DPM++ 2M Karras (20 -30步) 、UNIPC (15-25步)
  • 如果想要高质量的图,不关心重现性,建议选择 DPM++ SDE Karras (10-15步 较慢) ,DDIM(10-15步 较快)
  • 如果想要简单的图,建议选择 Euler, Heun(可以减少步骤以节省时间)
  • 如果想要稳定可重现的图像,请避免选择任何祖先采样器(名字里面带a或SDE)
  • 相反,如果想要每次生成不一样的图像,可以选择不收敛的祖先采样器(名字里面带a或SDE)

到了这里,关于AI 绘画Stable Diffusion 研究(八)sd采样方法详解的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • AI 绘画Stable Diffusion 研究(五)sd文生图功能详解(下)

    大家好,我是风雨无阻。 上一篇文章详细介绍了sd文生图的功能及使用注意事项,感兴趣的朋友可以前往查看:AI 绘画Stable Diffusion 研究(四)sd文生图功能详解(上) 。 那今天这篇文章,我们接着介绍 sd文生图功能,主要是 sd 提示词prompt 。 大家都知道,提示词是整个Sta

    2024年02月14日
    浏览(29)
  • AI 绘画Stable Diffusion 研究(十一)sd图生图功能详解-美女换装

    免责声明: 本案例所用安装包免费提供,无任何盈利目的。 大家好,我是风雨无阻。 为了让大家更直观的了解图生图功能,明白图生图功能到底是干嘛的,能做什么事情?今天我们继续介绍图生图的实用案例-美女换装的制作。 对于新朋友,想详细了解Stable Diffusion 的话,请

    2024年02月12日
    浏览(32)
  • AI 绘画Stable Diffusion 研究(三)sd模型种类介绍及安装使用详解

    本文使用工具,作者:秋葉aaaki 免责声明: 工具免费提供 无任何盈利目的 大家好,我是风雨无阻。 今天为大家带来的是 AI 绘画Stable Diffusion 研究(三)sd模型种类介绍及安装使用详解。 目前,AI 绘画Stable Diffusion的各种模型层出不穷,这些模型都有什么作用?又该怎么安装使用

    2024年02月12日
    浏览(29)
  • AI 绘画Stable Diffusion 研究(十)sd图生图功能详解-精美二维码的制作

    免责声明: 本案例所用安装包免费提供,无任何盈利目的。 大家好,我是风雨无阻。 为了让大家更直观的了解图生图功能,明白图生图功能到底是干嘛的,能做什么事情?今天我们继续介绍图生图的实用案例-精美二维码的制作。 对于新朋友,想详细了解Stable Diffusion 的话,

    2024年02月09日
    浏览(35)
  • AI 绘画Stable Diffusion 研究(九)sd图生图功能详解-老照片高清修复放大

    大家好,我是风雨无阻。 通过前面几篇文章的介绍,相信各位小伙伴,对 Stable Diffusion 这款强大的AI 绘图系统有了全新的认知。我们见识到了借助 Stable Diffusion的文生图功能,利用简单的几个单词,就可以生成完美的图片。本期我们一起来研究 Stable Diffusion图生图功能这个宝

    2024年02月12日
    浏览(52)
  • AI 绘画Stable Diffusion 研究(六)sd提示词插件

    大家好,我是风雨无阻。 今天为大家推荐一款可以有效提升我们使用 Stable Diffusion WebUI 效率的插件, 它就是 prompt-all-in-one, 它不但能直接将 WebUI 中的中文提示词转换为英文,还能一键为加权重,更能建立常用提示词库,这对于英语不熟练的朋友非常实用。 今天的内

    2024年02月13日
    浏览(34)
  • AI 绘画Stable Diffusion 研究(一)sd整合包v4(1)

    可选ControlNet模型 :可以不用下载,这里只是提供,按需下载,安装方法参考我的另一篇教程:AI 绘画Stable Diffusion 研究(二)sd模型ControlNet1.1 介绍与安装。 启动器运行依赖-donet-6.0.11.exe: 启动器运行依赖,以前没使用过启动器的需要安装。 sd-webui-aki-v4.zip: 整合包 如图: 二、

    2024年04月17日
    浏览(24)
  • AI 绘画Stable Diffusion 研究(一)sd整合包v4.2 版本安装说明

    部署包作者:秋葉aaaki 免责声明: 本安装包及启动器免费提供 无任何盈利目的 大家好,我是风雨无阻。众所周知,StableDiffusion 是非常强大的AI绘图工具,需要详细了解StableDiffusion的朋友,可查看我之前的这篇文章: 最近大火的两大AI绘图工具 Midjourney VS StableDiffusion。 那么从本

    2024年02月15日
    浏览(39)
  • AI 绘画Stable Diffusion 研究(十四)SD 图生图+剪映制作人物说话视频

    大家好,我是风雨无阻。 前一篇,我们详细介绍了使用 SadTlaker制作数字人视频案例,感兴趣的朋友请前往查看:AI 绘画Stable Diffusion 研究(十三)SD数字人制作工具SadTlaker使用教程。 对于没有安装 SadTlaker 插件的朋友,可以查看这篇文章:AI 绘画Stable Diffusion 研究(十二)SD数

    2024年02月11日
    浏览(36)
  • AI 绘画Stable Diffusion 研究(十三)SD数字人制作工具SadTlaker使用教程

    免责声明: 本案例所用安装包免费提供,无任何盈利目的。 大家好,我是风雨无阻。 想必大家经常看到,无论是在产品营销还是品牌推广时,很多人经常以数字人的方式来为自己创造财富。而市面上的数字人收费都比较昂贵,少则几千,多则上万。 那么如何才能免费制作属

    2024年02月12日
    浏览(35)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包