Stable Diffusion ComfyUI 基础教程(六)图片放大与细节修复

这篇具有很好参考价值的文章主要介绍了Stable Diffusion ComfyUI 基础教程(六)图片放大与细节修复。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

我们都知道文生图、图生图、局部重绘,生成的图片分辨率太小,怎么办?我们可以通过模型放大、潜在放大、非潜在放大、分块放大多种方式对图像进行放大。

放大工作流:

我们以文生图后的图片进行放大,在开始之前我们打开之前搭建的文生图基础流程

模型放大:
  1. 模型放大是最简单,也是效果最差的放大方式,他就和我们在 Web UI 上使用后期处理进行放大一样,只是通过放大算法对图像直接放大(也就是图像空间放大),这也会导致我们放大的图片损失细节,甚至看起来会很腻很假;

  2. 虽然上面说的一无是处,但是使用它搭配在其他的放大方式上效果就大大增强,我们先看一下怎么使用模型放大吧;

  3. “右键-新建节点-图像-放大-图像通过模型放大”

comfyui怎么用放大算法,stable diffusion,人工智能,计算机视觉,AI作画,midjourney,AIGC

  1. 左侧的“放大模型”通过拖拽连接“放大模型加载器”(“右键-新建节点-加载器-放大模型加载器”进行连接也可以);

  2. 选择自己需要的放大模型,我给大家准备好的 17个放大模型,都放在网盘里面了(管理器的安装模型也可以下载放大模型),其中BSRGAN、ESRGAN、SwinIR_4K、RealESRGAN_x4plus 效果不错;

  3. 左侧的“图像”连接“VAE解码”输出的图像,右侧直接连接保存图像就可以了;

comfyui怎么用放大算法,stable diffusion,人工智能,计算机视觉,AI作画,midjourney,AIGC

  1. 有没有发现我们没有设置图片放大的倍数,其实模型放大是直接根据所选放大模型进行放大的,一般都是放大4倍。
潜在放大:
  1. 这时候我们插个知识点,在 Web UI 上我们进行高分辨率修复的时候,我们会看到在选择放大算法时,有 Latent 开头的几个算法可选择,这其实就是我们进行潜在放大所需要用到的流程;

comfyui怎么用放大算法,stable diffusion,人工智能,计算机视觉,AI作画,midjourney,AIGC

  1. 潜在放大是在潜空间进行放大,也就是对 Latent 进行缩放,然后对缩放后的 Latent 进行重新采样,进而增加细节达到放大的目的;

  2. “右键-新建节点-Latent-Latent缩放/Latent按系数缩放”,可以看到我这边放了两个节点,这两个节点一个是需要设置宽高、一个是根据倍数放大,根据自己的需要选择就好;

comfyui怎么用放大算法,stable diffusion,人工智能,计算机视觉,AI作画,midjourney,AIGC

  1. 如果前几节课学明白了,后面的就不用我多说了吧,再串连一个采样器就可以了;

  2. 下方是我连接好的工作流,这里我选择的是“Latent按系数缩放”,这个比较方便一些,大家也可以选择“Latent缩放”

comfyui怎么用放大算法,stable diffusion,人工智能,计算机视觉,AI作画,midjourney,AIGC

注意:降噪数值一定要在0.5左右,数值过低会有崩坏的情况。放大倍数也不要太大,太大同样会有崩坏的情况

非潜在放大:
  1. 非潜在放大可以理解成模型放大和潜在放大的结合,先进行模型放大后对模型放大的图片进行重新采样;

  2. 是不是有思路了?不过不要忘了对模型放大后的图片进行缩放(因为直接对放大4倍的图片进行重新采样会占用太多显存并且添加的细节不够);

  3. 我们想要得到更高像素的图像可以多次叠加“非潜在放大”流程,只要你的显存够大,你想要多大的图都可以。

comfyui怎么用放大算法,stable diffusion,人工智能,计算机视觉,AI作画,midjourney,AIGC

分块放大:
  1. 非潜在放大要得到一张 4K 图需要很高的显存,但是我们可以通过分块放大,使用较小的显存出更大的图。

  2. 分块放大其实就是把一张图切成 n 个块,然后对小块进行重新采样,最后把小块拼接在一起。他的好处是可以使用更小的显存得到一张更大分辨率的图;

  3. 分块放大是需要用到一个插件的:
    https://github.com/BlenderNeko/ComfyUI_TiledKSampler.git(压缩包解压安装、git拉取、管理器安装都可以)

  4. 我们需要用到这个插件中的“分块采样器”,“右键-新建节点-采样器-K采样器(分块)”,他同样有一个高级采样器,这个我们要进行 refiner 模型细化的时候可以使用。

comfyui怎么用放大算法,stable diffusion,人工智能,计算机视觉,AI作画,midjourney,AIGC

  1. 来看一下和我们的普通采样器有什么区别吧,只多了三个操作,分块宽度、分块高度、无缝分块策略

  2. random(随机):也是默认策略,它是通过在水平和垂直的分块图像之间随机交替采样来消除拼接痕迹(效果最好,与 uni 采样器不兼容);

  3. random strict(随机严格):因为 random 很有可能会对有边框的图像产生不好的效果,所以 random strict 使用遮罩来确保不裁剪边框图块(效果和random 类似,但不适用于 SDE 采样器)。

  4. padded(填充):为每块图像在四周提供一定的范围进行叠加来减少拼接缝隙,正因为这样,他需要对多达 4 倍的图块进行采样(效果不如 random ,速度慢,支持 uni 采样器)。

  5. simple(简单):看名字就知道,最简单的策略,就是直接一块块的去噪(效果最差,速度最快,不建议使用)

  6. 数值不要太小(根据你放的后图片的大小决定,比如我要放大成2048*2048,我是设置为1024*1024的)

  7. 数值越小分的块越多,分的块越多也就越慢;也会增加出现伪影的几率(比如你生成猫,你会在某些小区域得到猫的影子,即使你降噪数值小也会出现不同程度的伪影)

  8. 分块宽度、分块高度:是指我们放大时每一次进行分块采样时绘制的宽高;

  9. 无缝分块策略:是指在我们分块采样的每一块相接处会出现明显的拼接痕迹,而无缝分块策略就是通过不同的方式减少拼接痕迹的,有四种可选策略,random(随机)、random strict(随机严格)、padded(填充)、simple(简单),我建议使用 random 和 random strict。

  10. 是不是以为当成普通采样器连接就可以了,,,,那当然不是,在“正面条件”中间要把 ControlNet 的 tile 连接进去;

  11. “右键-新建节点-加载器-ControlNet加载器”,加载器选择“tile”的(tile模型我会放在网盘里面,其他的ControlNet使用方法我会在第八节课讲给大家)

comfyui怎么用放大算法,stable diffusion,人工智能,计算机视觉,AI作画,midjourney,AIGC

  1. “ControlNet加载器”连接“ControlNet应用”,直接拖拽连接就可以(或:右键-新建节点-条件-ControlNet应用)

  2. 我们“ControlNet应用”两边的“条件”连接“正面条件/提示词”,图像连接“VAE解码”输出的图像;大模型连接“K采样器(分块)”上的模型;

  3. 这时候我们就剩下设置出图大小了,我们可以在“VAE解码的图像”连接过来一个“图像缩放/按系数放大”(或:模型放大流程,我个人测试下来,模型放大效果最好);

  4. 然后对图像进行“VAE编码”然后连接到“K采样器(分块)”上,这不用细说了吧,图生图的流程;

  5. 注意:降噪同样不要太低,分块宽高根据情况设置,如果出现伪影就增大数值

comfyui怎么用放大算法,stable diffusion,人工智能,计算机视觉,AI作画,midjourney,AIGC

comfyui怎么用放大算法,stable diffusion,人工智能,计算机视觉,AI作画,midjourney,AIGC

UltimateSDUpscale(终极SD放大):

  1. 我们使用时每次都要搭建一遍“非潜在放大或分块放大”等流程会很麻烦,使用“ComfyUI_UltimateSDUpscale”插件会更简单。

  2. 下载地址:
    https://github.com/ssitu/ComfyUI_UltimateSDUpscale.git(压缩包解压安装、git拉取、管理器安装都可以)

  3. “右键-新建节点-图像-放大-SD放大”,这个插件有两个功能,一个是细节修复+放大(SD放大),一个是细节修复(SD放大(不放大))。我们主要用到的是 SD(放大),他们的区别只是是否连接放大模型;

comfyui怎么用放大算法,stable diffusion,人工智能,计算机视觉,AI作画,midjourney,AIGC

  1. 这个放大插件可以说是把上方的“模型放大+分块放大”进行了一个组合;

  2. 我们可以看到这个节点和我们上面用的“K采样器(分块)”很相似对吧,这个地方我们主要去关注几个操作就可以了

  3. Linear(直线):逐行进行拼接(更快,但是会有几率出现伪影,我们默认使用这个)

  4. Chess:棋盘拼接 ,可以理解成“X”形状的拼接样式(慢一些,出现伪影的几率小)

  5. mode_type(模式类型):有两个可选择

  6. mask_blur(模糊):拼接区域的羽化程度,默认8就可以,融合不好的情况下适当调高

  7. Tile_padding(分块区域):相邻融合像素,和我们上面说的 padded(填充)策略一样,不过这个插件我们可以设置融合像素的值

  8. seam_fix_mode(接缝修复模式):有三种模式选择,Band Pass(速度快)、Half Tile(质量好)、Band Pass+Half Tile(速度和质量做一个折中)

  9. 连接就更简单了,连接一个“放大模型加载器”,其他的就按照名字连接就可以;

comfyui怎么用放大算法,stable diffusion,人工智能,计算机视觉,AI作画,midjourney,AIGC

总结:

  1. “模型放大”最快也是效果最差,最不推荐的。我常用的是“非潜在放大”和“UltimateSDUpscale 插件放大”;

  2. 每个放大方式都有利弊,我们完全可以多种方式一起进行放大,比如:潜在放大/非潜在放大 + UltimateSDUpscale 插件放大,这样我们放大后的图片效果更好,细节更丰富;

  3. 我们 refiner 模型细化、图生图、还有我们以后要学习的 文/图生视频 等都可以用这几种方式进行放大;

文章使用的大模型、Lora模型、SD插件、示例图片等,都已经上传到我整理的 Stable Diffusion 绘画资源中。有需要的小伙伴文末扫码自行获取。

写在最后

AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。

感兴趣的小伙伴,赠送全套AIGC学习资料和安装工具,包含AI绘画、AI人工智能等前沿科技教程,模型插件,具体看下方。

comfyui怎么用放大算法,stable diffusion,人工智能,计算机视觉,AI作画,midjourney,AIGC

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。

comfyui怎么用放大算法,stable diffusion,人工智能,计算机视觉,AI作画,midjourney,AIGC

comfyui怎么用放大算法,stable diffusion,人工智能,计算机视觉,AI作画,midjourney,AIGC

二、AIGC必备工具

工具都帮大家整理好了,安装就可直接上手!
comfyui怎么用放大算法,stable diffusion,人工智能,计算机视觉,AI作画,midjourney,AIGC

三、最新AIGC学习笔记

当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
comfyui怎么用放大算法,stable diffusion,人工智能,计算机视觉,AI作画,midjourney,AIGC
comfyui怎么用放大算法,stable diffusion,人工智能,计算机视觉,AI作画,midjourney,AIGC

四、AIGC视频教程合集

观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

comfyui怎么用放大算法,stable diffusion,人工智能,计算机视觉,AI作画,midjourney,AIGC

五、实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
comfyui怎么用放大算法,stable diffusion,人工智能,计算机视觉,AI作画,midjourney,AIGC文章来源地址https://www.toymoban.com/news/detail-859698.html

comfyui怎么用放大算法,stable diffusion,人工智能,计算机视觉,AI作画,midjourney,AIGC 若有侵权,请联系删除

到了这里,关于Stable Diffusion ComfyUI 基础教程(六)图片放大与细节修复的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • stable diffusion comfyui的api使用教程

    1、自带队列 2、支持websocket 3、无需关心插件是否有开放api接口,只要插件在浏览器中可以正常使用,接口就一定可以使用 4、开发人员只需关心绘图流程的搭建 5、切换模型、进度查询soeasy 6、轻松实现图片生成时的渐变效果 7、支持中断绘图任务 8、无需繁琐的base64图片转换

    2024年02月05日
    浏览(29)
  • AI绘画利器:Stable-Diffusion-ComfyUI保姆级教程

    AI绘画在今天,已经发展到了炽手可热的地步,相比于过去,无论是从画面精细度,真实性,风格化,还是对于操作的易用性,都有了很大的提升。并且如今有众多的绘画工具可选择。今天我们主要来聊聊基于stable diffusion的 comfyUI ! comfyUI具有可分享,易上手,快速出图,以

    2024年04月26日
    浏览(75)
  • AI绘画:使用Stable Diffusion ComfyUI进行换脸:IPAdapter FaceID全面教程

            在数字艺术和媒体编辑领域,换脸技术已经成为一种流行且强大的工具。它允许创作者将一个人物的面部特征无缝地转移到另一个人物上,创造出令人信服的视觉作品。Stable Diffusion ComfyUI提供了一个高效的平台,让用户能够轻松地实现换脸。本文将详细介绍如何使用

    2024年04月09日
    浏览(117)
  • AI绘图:Stable Diffusion ComfyUI局部重绘与智能扩图全面教程

    在数字艺术创作中,局部重绘和智能扩图是两个非常重要的功能。局部重绘允许我们在保留原有图像的基础上,对特定区域进行修改或创新。而智能扩图则能够帮助我们在图像的边缘添加新的元素,从而扩展图像的内容。本文将详细介绍如何在Stable Diffusion ComfyUI中实现这两个

    2024年04月12日
    浏览(38)
  • AI绘图:Controlnet在ComfyUI中的使用教程:提升Stable Diffusion可控性

    Controlnet是Stable Diffusion中一个至关重要的功能,它极大地增强了图像生成的可控性。通过引入额外的条件,Controlnet使我们能够更精确地控制生成的图像内容。本教程将详细介绍如何在ComfyUI中使用Controlnet,从而让你的创作过程更加灵活和精确。 在开始使用Controlnet之前,我们需

    2024年04月17日
    浏览(28)
  • Stable Diffusion WebUI 附加功能/图片放大(Extras):单张图片/批量处理/从目录进行批量处理

    本文收录于《AI绘画从入门到精通》专栏,专栏总目录:点这里,订阅后可阅读专栏内所有文章。 大家好,我是水滴~~ 篇文章主要讲解 Stable Diffusion WebUI 的附加功能/图片放大(Extras)的使用,主要包括:单张图片、批量处理、从目录进行批量处理。文章中包含大量的图片和示

    2024年04月23日
    浏览(36)
  • Stable Diffusion ComfyUI 速度更快,控制更精准

    大家在使用Stable Diffusion(简称SD)时,通常是通过网页界面进行操作的。但你们有没有听说过ComfyUI呢? ComfyUI是一个建立在节点流程上的SD操作界面。它通过流程节点来实现更细致的工作流定制以及更好的可复现性。 每个节点都承担着特定的功能,用户可以通过调节这些节点

    2024年03月21日
    浏览(44)
  • Windows安装Stable Diffusion ComfyUI及问题解决记录(注意不是Stable Diffusion WebUI)

    本文是 Stable Diffusion ComfyUI 的安装介绍,并非Stable Diffusion WebUI。该软件使用了流程管理,目前来看更适合专业的设计师,虽然已能实现所有原生的功能,但软件本身目前仍处于初级阶段,还有很多地方需要改进,比如中文版、更多的扩展…的支持~~所以如果你对stable diffusion还

    2024年02月09日
    浏览(31)
  • stable diffusion图片转图片(教程)

    一般我们有两种途径对图像进行修复: PS 和 InPaint ,使用方法也十分多样。 WebUI 使用  --gradio-img2img-tool color-sketch  启动会带入一个插件对图片进行颜色涂抹(这里不是 Inpaint) Just resize : 将图像调整为目标分辨率。除非高度和宽度完全匹配,否则图片会被挤压 Crop and resize:调

    2024年02月06日
    浏览(23)
  • stable diffusion文字转图片(教程)

    请先通过前文 调参基础 了解 SD-WebUI 网页应用提供的基本参数。 这是一个通用的指南,内容是基本通用的,可能有例外情况,请读对应的章节了解不同应用的特性。 写什么?# TIP 提示词是提示而不是判定依据,比如你输入质量判定词汇的时候,其实是在限制数据的范围,而

    2024年02月11日
    浏览(42)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包