本文为博主原创文章,未经博主允许不得转载。文章来源:https://www.toymoban.com/news/detail-472619.html
本文为专栏《Python从零开始进行AIGC大模型训练与推理》系列文章,地址为“https://blog.csdn.net/suiyingy/article/details/130169592”。文章来源地址https://www.toymoban.com/news/detail-472619.html
Stable Diffusion webui的详细安装步骤以及文生图(txt2img)功能详细介绍请参考本专栏前一篇文章,本节将具体介绍 img2img、Extras、PNG Info、Checkpoint Merger、Train、Settings和Extensions等功能的详细使用方式。另外,本专栏具体更新可关注文章下方公众号,也可关注本专栏。所有相关文章会在《Python从零开始进行AIGC大模型训练与推理》中进行更新,地址为“https://blog.csdn.net/suiyingy/article/details/130169592”。所有AIGC类模型部署的体验效果将在RdFast小程序中同步上线。
图1 img2img室内设计生成
1 Img2img
Img2img(图生图)是指在已有图片基础之上,通过Stable Diffusion进行修改,从而生成新的图片。如下图所示,img2img包括img2img、Sketch、Inpaint、Inpaint sketch、Inpaint upload和Batch等6个子页面。下面将分别介绍页面中各个参数的使用方式。
图2 img2img
1.1 img2img
正向提示词(Prompt)和反向提示词(Negative Prompt)与上一篇博文《AI图片生成Stable Diffusion参数及使用方式详细介绍》中的txt2img(文生图)的提示词用法与效果保持一致,地址为“https://blog.csdn.net/suiyingy/article/details/130008913”。
interrogate CLIP / interrogate DeepBooru:自动生成正向提示词,相当于是对现有图片的智能理解。可在自动生成的prompt基础上进行修改。
Resize mode:缩放模式。(1)Just resize 只调整图片大小,如果输入与输出长宽比例不同,图片会被拉伸。如果比例与原图不同,那么图片将会发生变形。(2)Crop and resize裁剪与调整大小,如果输入与输出长宽比例不同,会以图片中心向四周,将比例外的部分进行裁剪。这种模式属于等比例缩放,但是会将超出范围的部分进行裁剪。(3)Resize and fill 调整大小与填充,如果输入与输出分辨率不同,会以图片中心向四周,将比例内多余的部分进行填充。这种模式也属于等比例缩放,但是会将多余部分进行填充。
Denoising strength:重绘幅度,取值范围是0-1,默认设置0.75。取值越大,说明图片变化越大,0表示图片几乎不变,1表示可能严重偏离原图。一般将该参数设置在0.6~0.8范围。
其它参数与上一篇博文中txt2img的参数完全一致,详细说明请前往《AI图片生成Stable Diffusion参数及使用方式详细介绍》,地址为“https://blog.csdn.net/suiyingy/article/details/130008913”。
1.2 Sketch
Sketch是对整张图片进行调整,即对整张图进行重绘。Sketch英文原始意思是草图。这里如果我们输入一张手绘的草图,那么模型会基于草图重绘整个图片。
1.3 Inpaint
Inpaint是指局部重绘,即对指定区域进行修改。很多去水印的软件也以Inpaint作为命名或关键词。去水印也属于一种局部重绘,因而也可以在该功能页面中实现。
Mask blur:蒙版模糊度,值越大表示绘图区域与原图边缘的过度越平滑,越小则边缘越锐利。
Mask mode:蒙版模式,Inpaint masked表示只重绘涂色部分,Inpaint not masked表示重绘除了涂色的部分。涂色可通过在图片上长按并拖动鼠标左键来实现。涂色过程记为蒙版制作过程。
Masked Content:蒙版内容。fill表示用其他内容填充,original是在原来的基础上重绘,适合去水印模式。Latent noise和latent nothing是另外两种模式,主要是从模型中间过程来生成蒙版区域的图像。
Inpaint area:重绘区域,Whole picture表示重绘整个图像区域,Only masked表示只在蒙版区域内重绘。
Only masked padding, pixels:个人理解为蒙版区域向外围扩展的像素数量,相当于对模板区域进行了一定程度放大。
Denoising strength:重绘幅度,取值范围是0-1,默认设置0.75。取值越大,说明图片变化越大,0表示图片几乎不变,1表示可能严重偏离原图。一般将该参数设置在0.6~0.8范围。
下图是仅对地面进行重绘的示例。
图3 Inpaint地面重绘
1.4 Inpaint Sketch
Sketch是结合输入完整图像进行重绘,而Inpaint Sketch主要是基于蒙版区域内的图像进行重绘。
1.5 Inpaint upload
这里仍然是Inpaint模式,蒙版不再是通过鼠标绘制,而是可上传一张蒙版图片。Crop to fit则相当于前面的Crop and resize。
1.6 Batch
指定输入和输出文件夹目录,批量进行img2img操作。
2 Extras
Extras主要是对图片大小进行调整,比如进行等比例高清放大。
图4 Extras
Scale by:图片放大倍数,默认为4。放大倍数越大,分辨率尺寸越大,图片越清晰,所需时间也会相应有所增加。
Scale to:将图片尺寸调整为指定宽高,类似于前文的Resize mode。
Upscaler 1:上采样模型。默认为None,其中LDSR耗时长;ScuNET PSNR适用于动漫效果;SwinIR_4x效果较好。
Upscaler 2:上采样模型,默认为None,模型选项与Upscaler 1的一致。相当于可同时有两种模型来共同进行上采样,第二个模型的权重由Upscaler 2 visibility决定。
同样地,上采样模型还可以加入GFPGAN和CodeFormer,并可以设置其相应权重。Batch Process和Batch from Directory是用于多张图片的批量操作。
3 PNG info
PNG info用于查看Stable Diffusion所生成的图片的图像信息,包括提示词、反向提示词、步骤数、采样器、种子等参数。通常情况下,图片文件中含有图片说明的头文件,称为exif信息。该信息可通过图片工具或python等读取出来。Stable Diffusion会将图像生成相关的信息写入exif中。如果我们在网上看到比较感兴趣的Stable Diffusion生成图像,那么可以在PNG info中看到相关参数设置信息,从而复现或微调相应图片。
图5 PNG info
4 Checkpoint Merger
Checkpoint Merger是指模型合并不同的模型,生成新的模型。我们可能会根据基础模型微调得到不同生成风格的新模型。合并不同的微调模型可能能够同时获得两种模型的生成特点。合并完成之后,新的模型也会保存在models/Stable Diffusion文件目录下,并且可以在网页页面直接选择调用。
图6 Checkpoint Merger
Primary model (A)、Secondary model (B)、Tertiary model (C)用于选择将要合并的模型。需要注意,这些模型最好来自于同一类基础模型,具有相同的结构参数。如果模型结构不同,那么会出现参数不匹配的错误。
Custom Name (Optional):自定义合并后的模型名称。
Multiplier (M) - set to 0 to get model A:模型合并时,A模型所占权重比例。
Interpolation Method:三种模型合并方法。
(1)No interpolation:不进行模型合并,仅对模型A进行转换。它可实现模型类型格式转换(ckpt/safetensors)或者增加VAE(人脸修复等特定功能的编码优化算法)。
(2)Weighted sum,模型A和模型B合并,合并方式为 A * (1 - M) + B * M。
(3)Add difference,模型A与模型B、C之间的偏差进行合并,即A + (B - C) * M。
Checkpoint format:模型保存格式。Ckpt是以字典格式保存,可以存储额外的脚本信息。Safetensors则是纯粹保存tensors,不含额外的信息。因此,safetensors格式更加安全。
Save sa float16:保存为float16(FP16)精度的模型,可以降低模型显存占用。
Copy config from:复制模型的配置文件。
Bake in VAE:增加VAE(人脸修复等特定功能的编码优化算法)。
Discard weights with matching name:设置不参与合并的参数权重。
5 Train
Train用于自己训练或微调Stable Diffusion,以在某些特定领域达到更好的结果。这里不进行介绍,下一节将单独详细介绍Stable Diffusion的训练模式。
图7 Train
6 Settings
Settings设置内容较多,包括了上述各个功能的部分参数设置。例如,我们可以在Face restoration中选择面部修复所使用的模型。一般设置完成后需要先后分别点击“Apply settings”和“Reload Ul”按钮。
图8 Settings
7 Extensions
Extensions 是一些扩展功能,例如Lora或SwinIR等模型功能。扩展还可以通过Available设置一些额外的展示信息。
图9 Extensions
8 参考资料
(1)《Ai 绘图日常 篇四:Stable Diffusion WebUI中的重绘幅度在提升图片分辨率中的使用》,“https://post.smzdm.com/p/ao957kxr/”。
(2)《超详细!AI 绘画神器 Stable Diffusion 基础教程》,“https://www.uisdc.com/stable-diffusion-2”。
(3)《2023-03-22_5分钟学会Stable Diffusion图生图功能》,“https://zhuanlan.zhihu.com/p/616895208”。
(4)《Stable Diffusion功能介绍之Extras & PNG Info》,“https://scratchina.com/html/aihuihua/aihuihuajiaoxue/83.html”。
(5)《浅谈stable diffusion (三)》,“https://zhuanlan.zhihu.com/p/617026822”
(6)《有没有人能详细介绍一下Stable Diffusion AI绘画?》,“https://www.zhihu.com/question/585008573/answer/2953494275”
9 其它部分
本专栏具体更新可关注文章下方公众号,也可关注本专栏。所有相关文章会在《Python从零开始进行AIGC大模型训练与推理》中进行更新,地址为“https://blog.csdn.net/suiyingy/article/details/130169592”。所有AIGC类模型部署的体验效果将在RdFast小程序中同步上线。
本文为博主原创文章,未经博主允许不得转载。
本文为专栏《Python从零开始进行AIGC大模型训练与推理》系列文章,地址为“https://blog.csdn.net/suiyingy/article/details/130169592”。
到了这里,关于图生图—AI图片生成Stable Diffusion参数及使用方式详细介绍的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!