Stable Diffusion - 超分辨率插件 StableSR v2 (768x768) 配置与使用

这篇具有很好参考价值的文章主要介绍了Stable Diffusion - 超分辨率插件 StableSR v2 (768x768) 配置与使用。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

欢迎关注我的CSDN:https://spike.blog.csdn.net/
本文地址:https://spike.blog.csdn.net/article/details/131582734

Stable Diffusion - 超分辨率插件 StableSR v2 (768x768) 配置与使用,大模型(LLM&AIGC),AIGC,stable diffusion,超分辨率,stablesr

论文:Exploiting Diffusion Prior for Real-World Image Super-Resolution

StableSR 算法提出了一种新颖的方法,利用预训练的文本到图像扩散模型中封装的先验知识,来实现盲超分辨率(SR)。具体来说,通过使用时间感知编码器,可以在不改变预训练的合成模型的情况下,实现令人满意的恢复结果,从而保留了生成先验并最小化了训练成本。为了弥补扩散模型固有的随机性造成的保真度损失,引入了一个可控的特征包裹模块,允许用户在推理过程中通过简单地调整一个标量值来平衡质量和保真度。此外,开发了一种渐进式聚合采样策略,以克服预训练扩散模型的固定尺寸限制,使其能够适应任何尺寸的分辨率。使用合成和真实世界的基准数据集对我们的方法进行了全面的评估,结果表明它优于当前最先进的方法。

工程:sd-webui-stablesr

网站:https://github.com/pkuliyi2015/sd-webui-stablesr/blob/master/README_CN.md

插件依赖 Tiled Diffusion 和 Tiled VAE。

启动命令:

cd stable-diffusion-webui
conda deactivate
source venv/bin/activate
nohup python -u launch.py --port 9301 --xformers --theme dark > nohup.sd.out &
tail -f nohup.sd.out

1. 模型和插件

下载参考:https://github.com/pkuliyi2015/sd-webui-stablesr/blob/master/README_CN.md

下载 StableSR 模型的v2版本,即768版本,准备使用,建议提前下载 (下载时间大约 40 min):

  • v2-1_768-ema-pruned.ckpt (5.21G): https://huggingface.co/stabilityai/stable-diffusion-2-1/blob/main/v2-1_768-ema-pruned.ckpt
  • webui_768v_139.ckpt (422M): https://huggingface.co/Iceclear/StableSR/blob/main/webui_768v_139.ckpt
  • vqgan_cfw_00011_vae_only.ckpt (746M): https://drive.google.com/file/d/1ARtDMia3_CbwNsGxxGcZ5UP75W4PeIEI/view

需要安装 2 个扩展插件工程:

  • sd-webui-stablesr: https://ghproxy.com/https://github.com/pkuliyi2015/sd-webui-stablesr.git
  • multidiffusion-upscaler-for-automatic1111: https://ghproxy.com/https://github.com/pkuliyi2015/multidiffusion-upscaler-for-automatic1111.git

在 GitHub 工程链接之前,加入前缀 https://ghproxy.com/ ,即可快速安装,例如:

https://ghproxy.com/https://github.com/pkuliyi2015/multidiffusion-upscaler-for-automatic1111.git 

使用百度云盘下载模型至服务器:

pip install bypy
bypy info
bypy --help
bypy downdir /stable_diffusion/stable_sr/ stable_sr/

复制模型至工程目录:

  • Stable Diffusion 模型,v2-1_768-ema-pruned.ckptstable-diffusion-webui/models/Stable-diffusion
  • VAE 模型,vqgan_cfw_00011_vae_only.ckptstable-diffusion-webui/models/VAE
  • StableSR 模型,webui_768v_139.ckptstable-diffusion-webui/extensions/sd-webui-stablesr/models

模型与插件安装完成之后,重新启动即可,即:

Stable Diffusion - 超分辨率插件 StableSR v2 (768x768) 配置与使用,大模型(LLM&AIGC),AIGC,stable diffusion,超分辨率,stablesr

2. 参数配置

选择合适的参数配置,出图效果较好。

2.1 配置模型与提示词

修改 Stable Diffusion 模型外挂 VAE 模型 为已准备的模型:

  • Stable Diffusion 模型v2-1_768-ema-pruned.ckpt
  • 外挂 VAE 模型vqgan_cfw_00011_vae_only.ckpt

即:

Stable Diffusion - 超分辨率插件 StableSR v2 (768x768) 配置与使用,大模型(LLM&AIGC),AIGC,stable diffusion,超分辨率,stablesr

同时,采样方法使用 Eular a,即可,其余不需修改。

注意:不需勾选 面部修复重绘幅度 使用默认 0.7重回尺寸倍数 也不需修改,默认1倍,其实以 StableSR 脚本为准,脚本设置 2 倍,即缩放 2 倍。

根据官方指引,添加 负向提示词,效果更好,即

3d, cartoon, anime, sketches, (worst quality:2), (low quality:2)

2.2 配置 StableSR

点击 图生图 选项,在最下面的脚本中,选择 StableSR,配置参数:

  1. 选择 SR Modelwebui_768v_139.ckpt
  2. Color Fix:选择 Wavelet
  3. 勾选 Pure Noise
  4. 注意:StableSR 的放大倍数,需要与 Tiled Diffusion 的放大倍数保持一致。

即:

Stable Diffusion - 超分辨率插件 StableSR v2 (768x768) 配置与使用,大模型(LLM&AIGC),AIGC,stable diffusion,超分辨率,stablesr

2.3 配置 Tiled Diffusion 和 Tiled VAE

Tiled DIffusionTiled VAE 都是用于减轻内存消耗,否则显存溢出,无法运行。

  • 参考官网配置:https://github.com/pkuliyi2015/sd-webui-stablesr/blob/master/README_CN.md

Tiled DIffusion:根据官方最新说明,v2版本 (768x768),不需要修改数值,使用默认的 96x96 即可,速度可明显加快。

  • 启用 Tiled DIffusion
  • 修改方案:Mixture of Diffusers
  • 注意:StableSR 的放大倍数,需要与 Tiled Diffusion 的放大倍数保持一致。
  • 其他,如噪声反转分区提示词控制,均使用默认。

即:

Stable Diffusion - 超分辨率插件 StableSR v2 (768x768) 配置与使用,大模型(LLM&AIGC),AIGC,stable diffusion,超分辨率,stablesr

Tiled VAE:启用 Tiled VAE,其余保持默认。

即:

Stable Diffusion - 超分辨率插件 StableSR v2 (768x768) 配置与使用,大模型(LLM&AIGC),AIGC,stable diffusion,超分辨率,stablesr

3. 图像效果

运行日志,如下:

[StableSR] Target image size: 2048x3072
[Tiled Diffusion] StableSR found, support is enabled.
MixtureOfDiffusers Sampling: : 0it [00:00, ?it/s]Mixture of Diffusers hooked into 'Euler a' sampler, Tile size: 96x96, Tile batches: 9, Batch size: 4.
[Tiled VAE]: the input size is tiny and unnecessary to tile.
MixtureOfDiffusers Sampling: : 0it [00:02, ?it/s]
100%|███████████████████████████████████████████████████████████████████████████████| 30/30 [00:57<00:00,  1.93s/it]
[Tiled VAE]: input_size: torch.Size([1, 4, 384, 256]), tile_size: 256, padding: 11██| 30/30 [00:57<00:00,  1.90s/it]
[Tiled VAE]: split to 2x1 = 2 tiles. Optimal tile size 256x192, original tile size 256x256
[Tiled VAE]: Fast mode enabled, estimating group norm parameters on 170 x 256 image
[Tiled VAE]: Executing Decoder Task Queue: 100%|█████████████████████████████████| 246/246 [00:01<00:00, 205.38it/s]
[Tiled VAE]: Done in 2.509s, max VRAM alloc 10456.432 MB
Total progress: 100%|███████████████████████████████████████████████████████████████| 30/30 [01:07<00:00,  2.26s/it]
Total progress: 100%|███████████████████████████████████████████████████████████████| 30/30 [01:07<00:00,  1.90s/it]

出图效果的差距,非常明显,经过 StableSR 处理的图像,明显细节丰富。使用 Imgsli,如图所示:

Stable Diffusion - 超分辨率插件 StableSR v2 (768x768) 配置与使用,大模型(LLM&amp;AIGC),AIGC,stable diffusion,超分辨率,stablesr

眼睛、皮肤、嘴唇等细节差异,也非常明显。右侧是StableSR的图,左侧是原图:

Stable Diffusion - 超分辨率插件 StableSR v2 (768x768) 配置与使用,大模型(LLM&amp;AIGC),AIGC,stable diffusion,超分辨率,stablesr

其他

Imgsli 图像对比

图像对比的网站 imgsli,链接:https://imgsli.com/MTg5MzAx/0/1,用于对比图像差异。

Bugfix

Bug1: 遇到 Bug “/tmp/gradio/ 已满,无法缓存文件,导致 图库浏览器 功能无法使用”

原因是:服务器的 /tmp 空间较小,导致 gradio 无法缓存,替换为新的 /tmp 空间,即可。

launch.py 中,添加如下代码:

import tempfile
print(f"[Info] old tempfile: {tempfile.gettempdir()}")
tempfile.tempdir = "tmp/"
print(f"[Info] new tempfile: {tempfile.gettempdir()}")

输出日志:

[Info] old tempfile: /tmp
[Info] new tempfile: /data/tmp/

Bug2: 遇到 RuntimeError: output with shape [320, 320] doesn't match the broadcast shape [320, 320, 320, 320]

原因:提示词中出现部分 LoRA 无法兼容,删除即可。文章来源地址https://www.toymoban.com/news/detail-553628.html

参考

  • 如何安装/更新/卸载 Stable Diffusion WebUI 插件?一篇文章帮你弄懂!
  • GitHub - Web UI, How to set it to dark mode?
  • 探索【Stable-Diffusion WEBUI】的图片超分辨插件:StableSR
  • GitHub - 运行web_demo_hf.py时遇到tmp文件写入被拒的问题

到了这里,关于Stable Diffusion - 超分辨率插件 StableSR v2 (768x768) 配置与使用的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 屏幕分辨率:PC / 手机 屏幕常见分辨率,前端如何适配分辨率

    一、常见的PC屏幕分辨率 序号 水平像素点数和垂直像素点数 也被称为 常见显示器 1 1366 × 768 720p 或 HD Ready 常见于笔记本电脑和低端桌面显示器 2 1920 × 1080 1080p 或 Full HD / 全高清 高端笔记本电脑和中高档台式机 3 2560 × 1440 2K 分辨率 常见于高端笔记本电脑和高端台式机 4 38

    2024年02月03日
    浏览(73)
  • iphone更改照片分辨率?手机怎样修改图片分辨率?

    现在手机越来越智能,已经能替代电脑完成很多平时的工作,而且手机携带也更加方便,例如现在很多的考试网上报名就可以通过手机来完成,但最近有很多小伙伴来咨询提交证件照时为什么总是显示上传失败无法识别?其实这种问题一般是由于提交的证件照的分辨率不符合

    2024年02月11日
    浏览(78)
  • windows多显示器设置分辨率,自定义分辨率

    方法1:系统自带分辨率 1、单机设置 2、单击屏幕 3、根据显示效果选择显示方式,我这里设置为扩展显示器,可以根据显示器排列方式,拖动上面的两个显示器框来更改显示效果,例如我的副显示器在右边就把图中的2显示器拖到右边 4、根据需要设置哪个显示器来设置分辨率

    2024年02月06日
    浏览(58)
  • Flutter如何获取屏幕的分辨率和实际画布的分辨率

    在Flutter中,你可以使用MediaQuery来获取屏幕的分辨率和实际画布的分辨率。 要获取屏幕的分辨率,你可以使用MediaQuery.of(context).size属性,它返回一个Size对象,其中包含屏幕的宽度和高度。下面是一个获取屏幕分辨率的例子: 要获取实际画布的分辨率,你可以使用MediaQuery.of

    2024年02月09日
    浏览(52)
  • 【视频超分辨率】视频超分辨率的介绍(定义,评价指标,分类)

    视频超分率起源于图像超分率,旨在根据已有的低分辨率视频序列生成具有真实细节和内容连续的高分辨率视频序列。视频超分辨率技术可以将 低分辨率(低清晰度)视频转换为高分辨率(高清晰度)视频 ,以提供更多的细节和清晰度。 视频超分辨率技术主要分为 传统方法

    2024年02月04日
    浏览(52)
  • 显示器尺寸 和 屏幕分辨率 和 有源信号分辨率 关系

    1、 显示器尺寸尺寸:常用显示器对角线长度表示 。比如,23.8寸显示器指的是显示器的液晶屏对角线长度是23.8英寸。 只靠英寸并不能决定显示屏长宽,通常,我们还要知道其长宽比,比如16:9。通过长宽比例,以及斜边长度就可算得当前屏幕的尺寸。一块显示屏显示屏幕的

    2024年02月09日
    浏览(65)
  • 手机怎么提高图片分辨率?手机怎么改照片分辨率dpi?

    现在有很多考试可以通过手机提交报名,在报名时需要上传证件照,但是最近有很多小伙伴说上传的照片尺寸、背景颜色都符合要求了但是还是提示上传失败,那么这种情况往往就是由于照片分辨率不符合要求导致的,那么手机怎么提高图片分辨率呢?今天来给大家分享一款

    2024年02月16日
    浏览(62)
  • Arch Linux高分辨率屏幕设置分辨率及dpi缩放

    由于笔记本原生屏幕分辨率太渣,于是购入一块2440x1400、14英寸副屏。窗口管理器为dwm,使用 startx 命令进入环境 注 :此文不会改变tty的设置,仅设置xorg下某用户的个人设置 关闭笔记本屏幕,只使用副屏 副屏分辨率设置为最高,且屏幕缩放设置为合适大小 高分辨率小屏幕导致

    2024年02月05日
    浏览(69)
  • 照片怎么改像素分辨率?照片分辨率怎么调成300dpi?

    照片分辨率怎么更改?一般在打印照片时经常会遇到对照片dpi有要求,如果达不到要求的数值就需要提高照片分辨率,我们电脑上的图片大部分是96dpi,在打印时经常需要300dpi,那么照片分辨率怎么调成300dpi?下面给大家推荐一款在线 修改分辨率 工具,操作简单,下面一起来

    2024年02月16日
    浏览(53)
  • 图片1920x1080分辨率怎么调 ?图片如何修改分辨率?

    图片是我们日常生活中经常需要使用到的东西,但是在使用图片时我们会遇到需要调图片分辨率的情况,有很多小伙伴对于图片分辨率这个概念并不了解,今天就来为大家具体介绍一下图片1920x1080怎么调以及怎么给图片 修改分辨率 ,下面一起来看一下吧。 图片1920x1080分辨率

    2024年02月16日
    浏览(54)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包