Stable-diffusion-webui本地部署和简要介绍

这篇具有很好参考价值的文章主要介绍了Stable-diffusion-webui本地部署和简要介绍。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

  Stable Diffusion 是一款基于人工智能技术开发的绘画软件,它可以帮助艺术家和设计师快速创建高品质的数字艺术作品。是2022年发布的深度学习文本到图像生成模型。它主要用于根据文本的描述产生详细图像,同时也可以应用于其他任务,如内补绘制、外补绘制,以及在提示词指导下产生图生图的翻译。 

  Stable Diffusion 项目本地化的部署,是纯代码界面,而Stable Diffusion WebUI,是基于 Stable Diffusion 项目的可视化操作项目。这里我们也是部署Stable Diffusion WebUI。

本地部署StableDiffusion UI

前置条件

  在部署StableDiffusion前,如果instance是GPU的instance,需要安装Nividia的driver,如果对安装dirver等不熟悉,可查看我之前的博客“AWS instance上部署大模型”

  按前置条件准备好instance环境后,就可以按照StableDiffusion官网的步骤快速安装StableDiffusion UI了。命令如下图所示,因为我自己的instance是ubuntu,属于Debian-based,所以,执行第一行的命令,安装相关的依赖。

# Debian-based:
sudo apt install wget git python3 python3-venv libgl1 libglib2.0-0
# Red Hat-based:
sudo dnf install wget git python3 gperftools-libs libglvnd-glx 
# openSUSE-based:
sudo zypper install wget git python3 libtcmalloc4 libglvnd
# Arch-based:
sudo pacman -S wget git python3

 一键安装stable-diffusion-webui

 安装了基础依赖包后,下载webui.sh文件,执行该文件,即可一键完成stable-diffusion-webui的安装。具体命令如下图所示:

#下载shell脚本
wget -q https://raw.githubusercontent.com/AUTOMATIC1111/stable-diffusion-webui/master/webui.sh

#给文件分配执行权限
chmod -x webui.sh

#执行shell文件
./webui.sh

 执行shell文件后,可以看到整个shell文件大致完成了三个任务。

第一:创建python虚拟环境并激活

第二:通过python执行launch.py文件,这也是stable-diffusion-webui的入口文件。

第三:执行launch.py文件时,会下载stable-diffusion的模型参数文件,即后缀是.safetensors的文件,最后启动整个webui应用。stable-diffusion-webui的前端是用gradio写的,默认启动在7860端口。

Stable-diffusion-webui本地部署和简要介绍,LLM,大模型

  如果是在本机上运行,执行完上面的命令,就可以在浏览器中输入“http://127.0.0.1:7860”访问应用了。我的实验是在aws的instance上进行,所以需要在security group的inbound 中开放7860端口。另外,执行了下面的命令,将aws上instance的端口与自己的本地电脑端口做了映射,如果不做映射,无法在外面本地电脑上直接访问127.0.0.1 或者localhost等地址。当然,还有第二个办法,就是修改gradio的默认地址,将127.0.0.1修改成0.0.0.0也可以。

# -L 7860:localhost:7860: 设置本地端口转发,将本地端口 7860 转发到远程主机的本地回环地址(localhost)的端口 7860。
# 这种端口转发允许你在本地访问远程主机上的服务

ssh -i /Users/taoli/Downloads/taoli-tokyo.pem -N -f -L 7860:localhost:7860 ubuntu@aws public instance ip

   在本地浏览器上访问到的stable-diffusion-webui的界面如下图所示,这里的checkpoint list就是stablediffusion模型列表,在安装的时候默认下载了v1-5这个基础模型。

Stable-diffusion-webui本地部署和简要介绍,LLM,大模型

   stable-diffusion-webui代码目录如下图所示,extensions下面放下载的所有插件,models下面放下载的所有模型,models下面又分了Stable-diffusion,Lora,VAE等目录,因为除了主模型外,还有很多用于特定作用的模型,例如Lora就是用于模型微调的。安装时下载的主模型存放在Stable-diffusion目录下面。

Stable-diffusion-webui本地部署和简要介绍,LLM,大模型

一些主要的模型以及其作用汇总如下图所示:

Stable-diffusion-webui本地部署和简要介绍,LLM,大模型

Stable-Diffusion-WebUI提供的主要功能

txt2image功能

顾名思义,通过文本生成图片,在生成图片的时候分prompt和negative prompt。prompt很容易理解,期望生成怎样的图片,在prompt中描述即可。negative prompt的含义是:不期望图片中生成的东西,例如写black hair在negative prompt中,理想情况下生成的图片中,人物都不是黑头发。

Stable-diffusion-webui本地部署和简要介绍,LLM,大模型

 除了prompt,还有Sampling method,工具中提供了很多Sampling method。我们知道 sd webui 生成图像,大致会经过以下过程:
1、为了生成图像, Stable Diffusion 会在潜在空间中生成一个完全随机的图像
2、噪声预测器会估算图像的噪声
3、噪声预测器从图像中减去预测的噪声
4、这个过程反复重复 N 次以后,会得到一个干净准确的图像
这个去噪的过程,就被称为采样。采样中使用的方法被称为 Sampling method (采样方法或者是采样器)。总结而言不同采样器的特点大致如下:

  • 如果想快速生成质量不错的图片,建议选择 DPM++ 2M Karras (20 -30步) 、UNIPC (15-25步)
  • 如果想要高质量的图,不关心重现性,建议选择 DPM++ SDE Karras (10-15步 较慢) ,DDIM(10-15步 较快)
  • 如果想要简单的图,建议选择 Euler, Heun(可以减少步骤以节省时间)
  • 如果想要稳定可重现的图像,请避免选择任何祖先采样器(名字里面带a或SDE)
  • 相反,如果想要每次生成不一样的图像,可以选择不收敛的祖先采样器(名字里面带a或SDE)

Hires.fix是Stable Diffusion中文网提供的一个功能,用于高清修复生成的图片。 通过应用Hires.fix,可以将图像放大并提高分辨率,以获得更清晰的结果。 这是一个非常实用的功能,可以提高图片的质量并满足您的需求。 无论是在打印还是在网络上展示,修复后的高清图片都能够给观看者带来更好的视觉体验。

Image2image功能

Image2Image的功能,顾名思义就是通过图片生成另外的图片,这里除了生成图片外,还有Inpaint功能,即如果只想修改原图中的某个部分,则使用Inpaint功能。如下图所示:将原图的人物头像换成了根据prompt中新生成的头像。

Stable-diffusion-webui本地部署和简要介绍,LLM,大模型

在Inpaint过程中,有两个关键参数CFG scale和Masked Content,需要理解其含义。

CFG scale:与文生图中的CFG类似,表示生成的图片要follow prompt的程度
1:基本忽略prompt
3:带些创造性
7:创造性与prompt之间的一个较好的平衡
15:紧跟prompt提示走
30:完全follow prompt
Masked content:控制覆盖的区域如何初始化
Fill:使用原图的高模糊图作为初始化
Original:无修改
Latent noise:先使用fill的模式对masked区域做初始化,然后再加入随机噪点到latent 空间
Latent nothing:与latent noise类似,但是不加入随机噪点

Extras功能

附加功能的主要作用就是:把一张小图、模糊的图、有噪点的图,放大、清晰化处理为更大的图。如下图所示,生成的图片比原始图片更大了。

Stable-diffusion-webui本地部署和简要介绍,LLM,大模型

  除了上面的三个主功能外,在web ui上还可以安装各种插件,在Extension界面上进行安装。如下图所示:可以选择需要安装的插件,点击install后,就会下载插件,并存放在web-ui的extensions目录下。如果要让插件生效,需要重启应用(即执行python3 launch.py命令即可)。安装某些插件后,webui上会出现新的tab页,例如,EasyPhoto就是安装对应插件后才出现的新tab。

Stable-diffusion-webui本地部署和简要介绍,LLM,大模型

  除了上面介绍的功能外,web-ui界面上还有Settings tab,主要用于设置各类参数。还有Checkpoint merger功能,主要用于合并多个模型成一个模型,并设置不同模型的权重。

  以上就是对Stable-Diffusion-WebUI的主要功能的简要介绍,对于某些功能,后面还会在专门的博客中做详细介绍。文章来源地址https://www.toymoban.com/news/detail-774670.html

到了这里,关于Stable-diffusion-webui本地部署和简要介绍的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Ubuntu18.04本地部署Stable-Diffusion-webui绘画

    记录Ubuntu下安装Stable-Diffusion-webui,比较简单,以供参考。 一、安装cuda 支持安装的cuda版本可以用nvidia-smi命令查看:   显卡驱动支持的cuda版本最高是11.4,可以在这里下载对应的cuda版本:CUDA Toolkit Archive | NVIDIA Developer(https://developer.nvidia.com/cuda-toolkit-archive)。由于之前安装别

    2024年02月11日
    浏览(71)
  • Windows10 AUTOMATIC1111 / stable-diffusion-webui 本地部署

    非常简单的前言,这就是一个简单介绍部署流程的文章。如有不全敬请谅解。 下面根据网上的资料对部分名词简要介绍一下: stable diffusion是一个基于潜在扩散模型(Latent Diffusion Models)的一个 文本到图像(text to image)生成模型,能够根据任意文本输入生成高质量、高分辨率、

    2023年04月12日
    浏览(52)
  • stable-diffusion-webui 本地部署git报错问题解决

    运行时python launch.py --autolaunch 产生Error code:1 由于git安全机制问题,导致项目读取不到相应的 stable-diffusion-stability-ai等插件 。 1:依次忽略相关文件夹: 2:直接使用 git bash 打开运行  

    2024年02月11日
    浏览(53)
  • 【慕伏白教程】Linux系统本地部署stable-diffusion-webui

    本教程针对 Stable Diffusion 2.0 进行本地部署,系统环境为 Linux 注意: 本教程不包含 anaconda/miniconda、python、git、cuda 的安装 提示: 由于国内网络原因,github不能稳定连接,这时候将网页中的 github 替代为 kgithub 即可 或: 添加参数 -i https://pypi.tuna.tsinghua.edu.cn/simple 通过镜像源下

    2024年02月09日
    浏览(56)
  • 【慕伏白教程】Windows 系统本地部署 stable-diffusion-webui

    本教程针对 Stable Diffusion 2.0 进行本地部署,系统环境为 Windows 注意: 本教程不包含 anaconda/miniconda、python、git、cuda 的安装 提示: 由于国内网络原因,github不能稳定连接,这时候将网页中的 github 替代为 kgithub 即可 或: 添加参数 -i https://pypi.tuna.tsinghua.edu.cn/simple 通过镜像源

    2024年02月09日
    浏览(49)
  • 【AI绘图本地部署,无显卡部署stable-diffusion-webui吗,使用CPU运算】

    环境准备 aconda:https://www.anaconda.com/ git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui 进入目录 cd stable-diffusion-webui 创建虚拟环境 python -m venv ./virtualenv 运行虚拟环境 .virtualenvScriptsActivate.ps1 安装Cpu运行的pytorch版本 pip3 install torch torchvision torchaudio 修改根目录下launch.py代码

    2024年02月16日
    浏览(45)
  • Ubuntu20.04本地部署Stable-Diffusion-webui AI绘画环境

    最近AI绘画很火,所以想在本地部署个环境体验一下。原本打算在Windows下安装,网上有很多教程,也有很多大佬做了整合包,可是我的Windows系统下的显卡驱动版本太低,也没法升级,只能装CUDA9,导致安装torch会出现问题。所以考虑在Ubuntu下安装,参考了几篇文章,所幸也安

    2023年04月11日
    浏览(86)
  • Windows10+Intel显卡+CPU本地部署stable-diffusion-webui项目

    1、安装环境 在电脑上安装好Anaconda,下载地址: https://repo.anaconda.com/archive/ ,根据自己的电脑选取最新版本进行安装即可。 安装好Anaconda后,启动Anaconda Navigator工具,创建新的环境,注意python的版本,我用的是python=3.9.0 电脑上要安装好git工具,因为stable-diffusion-webui项目是放在

    2024年02月12日
    浏览(48)
  • stable-diffusion-webui(1.2.1版本) win10系统本地电脑部署

    在安装stable-diffusion-webui(1.2.1版本)之前需要确认win10本地电脑具有的环境 1.显卡类型:NVIDIA(英伟达) 建议显存高于4G以上,这样512*512的还是可以运行的 2.python(版本必须最好是3.10.6)和 git最新版 正式安装 找到stable-diffusion-webui 这里找到1.2.1版本下载压缩包后来安装(固定版本

    2024年02月09日
    浏览(57)
  • AI作画工具 stable-diffusion-webui 本地部署 多种模型 可生成NSFW

    最近,人工智能绘画非常受欢迎。在本文中,我使用了一台带有N卡的电脑,安装了stable-diffusion-webui前端并替换了默认的模型。这样就可以生成高质量的二次元图像,并且可以不受限制地生成图片(在线版通常会阻止NSFW内容的生成)。 Git:https://git-scm.com/download CUDA:https://

    2024年02月02日
    浏览(83)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包