AIGC 文生图及 stable diffusion webui 练习笔记

这篇具有很好参考价值的文章主要介绍了AIGC 文生图及 stable diffusion webui 练习笔记。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。


文生图, 图生图 等 AIGC 创作大火, 也来体验一把~
本文记录了环境搭建过程与使用心得. 如果动手能力弱或只想省心, 有现成的整合包, 见参考[1]

环境要求

列出来我的环境吧:

  • CPU, AMD Ryzen 7 5800X 8-Core Processor
  • RAM, 32G
  • GPU, NVIDIA GeForce RTX 2070 SUPER (8G)
  • OS, Windows 11 专业版
  • 开发环境, python 3.10 与 git .

一. stable-diffusion-webui 安装

拉 git 仓库, git clone git@github.com:AUTOMATIC1111/stable-diffusion-webui.git 或直接下载 zip 文件.

windows/linux 安装

进入项目目录(stable-diffusion-webui), 运行 webui.bat (linux 为 webui.sh). 它会作很多搭建动作:

  1. 会创建 venv 虚拟环境, 安装 torch, numpy 等三方包, 位于 stable-diffusion-webui\venv\Lib\site-packages 中.

  2. 安装 github.com/TencentARC, github.com/openai/CLIP.git, github.com/mlfoundations/open_clip.git 等至 stable-diffusion-webui\venv\Lib\site-packages 中. 虽然也是 pip install , 但网络原因容易有报错:

     RuntimeError: Couldn't install gfpgan.
    Command: "D:\code_third_party\stable-diffusion-webui\venv\Scripts\python.exe" -m pip install git+https://github.com/TencentARC/GFPGAN.git@8d2447a2d918f8eba5a4a01463fd48e45126a379 --prefer-binary
    stderr:   Running command git clone --filter=blob:none --quiet https://github.com/TencentARC/GFPGAN.git 'C:\Users\yichu\AppData\Local\Temp\pip-req-build-wo324g05'
      Running command git rev-parse -q --verify 'sha^8d2447a2d918f8eba5a4a01463fd48e45126a379'
      Running command git fetch -q https://github.com/TencentARC/GFPGAN.git 8d2447a2d918f8eba5a4a01463fd48e45126a379
      fatal: unable to access 'https://github.com/TencentARC/GFPGAN.git/': Failed to connect to github.com port 443 after 21054 ms: Couldn't connect to server
      error: subprocess-exited-with-error
    

    我的解决办法是, 把命令 git clone --filter=blob:none --quiet https://github.com/TencentARC/GFPGAN.git 'C:\Users\yichu\AppData\Local\Temp\pip-req-build-wo324g05' 复制出来, 将 https:// 子串改成 git@, 换成SSH通信, 然后单独执行. 再然后继续从头执行 webui.bat , 它会跳过已经就绪的步骤, 不用担心完全从头开始.

    tips: 要用ssh, 需要先登录 github 并把 SSH keys 添加到个人账户设置页中去.

  3. 拉取 [BLIP, CodeFormer, k-diffusion, stable-diffusion-stability-ai, taming-transformers] 几个 git 项目至stable-diffusion-webui\repositories\ 目录下. 注意这里不是 pip install, 而是直接拉仓库, 拉下来后各自目录下均有 .git 子目录. 见下:

AIGC 文生图及 stable diffusion webui 练习笔记

docker 容器内安装

现在流行 docker, cli 中是 root 身份, 这时反而会报错 This script must not be launched as root, aborting..., 喵的, 使用 bash webui.sh -f 命令可以避开这个问题.

二. 运行 web-ui

上面的漫长安装是一次性的, 往后就可以快速(10s内)启动啦.
可以不再使用 webui.bat (webui.sh) , 仅用 python launch.py 即可.
常用参数:

  • --listen 指定 ip 是 ‘0.0.0.0’ 而不是 localhost 或 hostname, 适用 docker 容器内运行.
  • --enable-insecure-extension-access, 允许 web 中安装 扩展插件.

控制台输出见下:

> python launch.py --listen --enable-insecure-extension-access

Running on local URL:  http://0.0.0.0:7860

To create a public link, set `share=True` in `launch()`.
Startup time: 8.5s (import torch: 2.0s, import gradio: 1.8s, import ldm: 0.5s, other imports: 1.7s, setup codeformer: 0.2s, load scripts: 1.0s, create ui: 0.8s, gradio launch: 0.4s).

自己打开浏览器, 填入相应 URL, 界面见下:
AIGC 文生图及 stable diffusion webui 练习笔记

插件安装

civitai helper

additional network

不装也不影响 prompt 中自己叠加 lora 插件.

三. 常用模型

stable diffusion 模型

推荐使用参考[2] 的模型, 下载其 ckpt 资源, 约4GB.
AIGC 文生图及 stable diffusion webui 练习笔记

chilloutmix

todo

LoRA 模型

Korean Doll Likeness

四. webui 控件使用

todo

prompt

sampler & step

参考

1.Bilibili 视频, 免部署整合包介绍
2. huggingface, stable-diffusion-v-1-4-original文章来源地址https://www.toymoban.com/news/detail-490477.html

到了这里,关于AIGC 文生图及 stable diffusion webui 练习笔记的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • AIGC:文生图模型Stable Diffusion

    Stable Diffusion 是由CompVis、Stability AI和LAION共同开发的一个文本转图像模型,它通过LAION-5B子集大量的 512x512 图文模型进行训练,我们只要简单的输入一段文本,Stable Diffusion 就可以迅速将其转换为图像,同样我们也可以置入图片或视频,配合文本对其进行处理。 Stable Diffusion的

    2024年02月15日
    浏览(28)
  • 使用Unity 接入 Stable-Diffusion-WebUI 文生图生成图像

    这一部分就不多赘诉了,我使用的是B站秋叶大佬的整合包, 要启用API 。 网上蛮多自己配置的,可能需要设密码之类的。经自己测试,使用整合包的话就不配置这个API账号密码了,不然会出现客户端出错,连接不上等问题(可能是我操作不当,我也还没研究透) 附带:可以下一

    2024年04月12日
    浏览(32)
  • AIGC文生图:使用ControlNet 控制 Stable Diffusion

    ControlNet是斯坦福大学研究人员开发的Stable Diffusion的扩展,使创作者能够轻松地控制AI图像和视频中的对象。它将根据边缘检测、草图处理或人体姿势等各种条件来控制图像生成。 论坛地址:Adding Conditional Control to Text-to-Image Diffusion Models ControlNet是一种通过添加额外条件来控制

    2024年02月16日
    浏览(36)
  • 【文生图系列】Stable Diffusion Webui安装部署过程中bug汇总(Linux系统)

    看网上部署stable diffusion webui的教程,很简单。而且我也有部署stable diffusion v1/v2的经验,想着应该会很快部署完stable diffusion webui,但是没想到在部署过程中,遇到各种各样的奇葩问题,特此在此记录一下。 虚拟环境python stable diffusion webui支持的python版本需大于等于3.10.6,首先

    2024年02月15日
    浏览(32)
  • 使用Unity 接入 Stable-Diffusion-WebUI的 文生图api 并生成图像

    在无聊的时候,想瞅一下sd生图遂做了一下 注意:我采用了异步处理,每点击一次发送一次请求,不需要等待生成完再点击。后面生成的画面会覆盖掉之前的。 1、启动SD的api设置 注意,运行后的api相关功能可以在:http://127.0.0.1:7860/docs 查看 比如这一次我们要的生图的地址就是

    2024年04月23日
    浏览(38)
  • AIGC文生图及工具产品简介

    AIGC,全称是人工智能生成内容(Artificial Intelligence Generated Content)是继UGC(用户生成内容),PGC(平台生成内容)后,利用人工智能技术,自动生成内容的生产方式; 目前主要利用集成自然语言处理、计算机视觉、语音生成等算法训练生成式大模型,且已经从纯文本生成、纯

    2024年02月04日
    浏览(33)
  • Stable-diffusion-WebUI 的API调用(内含文生图和图生图实例)

    在之前尝试使用Diffusers库来进行stable-diffusion的接口调用以及各种插件功能实现,但发现diffusers库中各复杂功能的添加较为麻烦,而且难以实现对采样器的添加,safetensors格式模型的读取。在官网上找到了webui有专门的api接口,能够极大方便我们进行类似webui界面的api调用。 d

    2024年01月17日
    浏览(42)
  • 【精华】AIGC之文生图及实践应用

    AIGC之文生图及实践应用 (一)Stable Diffusion (1)算法库 https://github.com/AUTOMATIC1111/stable-diffusion-webui https://github.com/Mikubill/sd-webui-controlnet https://github.com/kohya-ss/sd-webui-additional-networks (2)使用说明 1)使用教程 从零开始,手把手教你Window本地化部署stable diffusion AI绘图 从零开始

    2024年02月10日
    浏览(32)
  • stable diffusion webui 文生图(txt2img)api接口调用(使用C#)

    本次将跟读者讲一下如何通过C#请求sd webui api 【txt2img】接口,如果读者觉得文章有用,请给【点个赞】吧,有问题可以评论区提问。 启动webui时,需加上【–api】 命令以保证api接口可以被调用。如果需要设置密码,可以通过【–api-auth 账号:密码】和【–gradio-auth 账号:密码】

    2024年02月09日
    浏览(29)
  • 本地开启stable diffusion web-ui体验AIGC文生图,图生图

    目录 准备工作 主机电脑配置检查 安装以下软件 Python Git 下载stable-diffusion-webui仓库 根据显卡属性安装CUDA 2.下载stable diffusion的训练模型 启动 问题处理 模型加载问题 这是启动后界面 以下是运行时的系统状态截图 需要16G内存,8G显存(网上说是6G就够,不过跑出来图片像素会

    2024年02月14日
    浏览(43)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包