Stable Diffusion WebUI 使用 LoRA 调整风格——详细教程

这篇具有很好参考价值的文章主要介绍了Stable Diffusion WebUI 使用 LoRA 调整风格——详细教程。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

Stable Diffusion WebUI 使用 LoRA 调整风格——详细教程,AI绘画从入门到精通,stable diffusion,AI作画,AIGC,python

本文收录于《AI绘画从入门到精通》专栏,专栏总目录:点这里,订阅后可阅读专栏内所有文章。

大家好,我是水滴~~
本教程旨在深入探讨 LoRA 模型的奥秘,涵盖其基本概念、独特作用以及实操指南。我们将从下载和使用LoRA的步骤出发,进而探讨在使用 LoRA 模型时需要注意的细节,从而生成精美的图片。
文章内容包含大量的图例,希望能够帮助新手同学快速入门。


一、LoRA 是什么

LoRA(Low-Rank Adaptation)本身是一种用于微调稳定扩散模型的训练技术。LoRA 模型是一种轻量级的扩散模型,用于对标准的 Checkpoint 模型进行微调。它的文件大小通常比Checkpoint 模型小 10 到 100倍(约为 2~200 MB),而且训练的门槛也比较低,这使得它非常受欢迎。

LoRA 模型不能独立运行,必须与 Checkpoint 模型一起使用。LoRA 会对该 Checkpoint 模型进行细微调整来达到风格上的变化。

随着 SDXL 的发布,StabilityAI 预计在 SDXL v1.0 基础模型上运用 LoRA 来增强图像的做法,将会成为一种流行的方式。

二、LoRA 有什么作用

LoRA 作为一种“微调”模型,它可以指导 AI 生成固定的角色、服饰、表情和动作,还可以调整画面的风格、光线和细节等等。

下图案例中使用了《IU》LoRA 模型,并通过四个不同模型分别生成了四张图片。每一张都精准捕捉到了爱豆李知恩的神韵与魅力:
Stable Diffusion WebUI 使用 LoRA 调整风格——详细教程,AI绘画从入门到精通,stable diffusion,AI作画,AIGC,python
下图案例中使用了《hanfu 汉服》LoRA 模型,并通过四个不同模型分别生成了四张图片。可以看到,每一张图片中的小姐姐都穿上了汉服:
Stable Diffusion WebUI 使用 LoRA 调整风格——详细教程,AI绘画从入门到精通,stable diffusion,AI作画,AIGC,python
下图案例中使用了《Bloodstained - Vector / illustrative》LoRA 模型,并通过四个不同模型分别生成了四张图片。下面每一张图片的配色方案都偏向于黑色和红色:
Stable Diffusion WebUI 使用 LoRA 调整风格——详细教程,AI绘画从入门到精通,stable diffusion,AI作画,AIGC,python
这里我们公公展示了三个案例,还有很多 LoRA 模型供我们使用,每一个模型都有独特的地方,值得我们去探索。

三、怎么下载 LoRA 模型

我们通常在C站上下载 LoRA 模型,找到左上角带“LoRA”字样的模型:
Stable Diffusion WebUI 使用 LoRA 调整风格——详细教程,AI绘画从入门到精通,stable diffusion,AI作画,AIGC,python
或者在过滤器中,直接筛选出所有“LoRA”模型:
Stable Diffusion WebUI 使用 LoRA 调整风格——详细教程,AI绘画从入门到精通,stable diffusion,AI作画,AIGC,python
然后点击一个 LoRA 模型,进入详情页,再点击“下载”按钮即可:
Stable Diffusion WebUI 使用 LoRA 调整风格——详细教程,AI绘画从入门到精通,stable diffusion,AI作画,AIGC,python

四、LoRA 模型放到哪里

下载的 LoRA 模型,我们放到 stable-diffusion-webui\models\Lora 目录下:
Stable Diffusion WebUI 使用 LoRA 调整风格——详细教程,AI绘画从入门到精通,stable diffusion,AI作画,AIGC,python
这样,我们就可以在 Stable Diffusion WebUI 主界面的“LoRA”选项卡中找到了,附上同名的图片,在这里还可以显示预览图:

Stable Diffusion WebUI 使用 LoRA 调整风格——详细教程,AI绘画从入门到精通,stable diffusion,AI作画,AIGC,python

五、如何使用 LoRA

那么我们该如何使用 LoRA 模型呢?下面我们继续学习。

5.1 语法

LoRA 的使用比较简单,只需要在“提示词”中输入即可,下面是语法:<lora: name: weight>

  • lora:LoRA 的标志;
  • name:LoRA 模型的名称,最好使用文件名;
  • weight:使用 LoRA 的权重,与提示词权重类似。默认值为1,设为0表示不生效。

例如:
Stable Diffusion WebUI 使用 LoRA 调整风格——详细教程,AI绘画从入门到精通,stable diffusion,AI作画,AIGC,python
还可以同时使用多个 LoRA,不过要调整好使用的权重:
Stable Diffusion WebUI 使用 LoRA 调整风格——详细教程,AI绘画从入门到精通,stable diffusion,AI作画,AIGC,python

5.2 触发词

有些 LoRA 模型必须写上“触发词”才能生效,通常会在下载页能找到:
Stable Diffusion WebUI 使用 LoRA 调整风格——详细教程,AI绘画从入门到精通,stable diffusion,AI作画,AIGC,python
使用的时候,将“触发词”一并写上:
Stable Diffusion WebUI 使用 LoRA 调整风格——详细教程,AI绘画从入门到精通,stable diffusion,AI作画,AIGC,python

5.3 简单用法

在 Stable Diffusion WebUI 中还有简单的用法,我们只需要在 “LoRA” 界面,点击一下 LoRA 模型,就可以将该 LoRA 自动添加到提示词中了:

Stable Diffusion WebUI 使用 LoRA 调整风格——详细教程,AI绘画从入门到精通,stable diffusion,AI作画,AIGC,python

我们还可以点击模型的“编辑”按钮,来修改默认值:

Stable Diffusion WebUI 使用 LoRA 调整风格——详细教程,AI绘画从入门到精通,stable diffusion,AI作画,AIGC,python

编辑页面可以添加“触发词”,还可以修改默认权重等信息:
Stable Diffusion WebUI 使用 LoRA 调整风格——详细教程,AI绘画从入门到精通,stable diffusion,AI作画,AIGC,python
这样,我们再点击模型的时候,就将修改的内容一并带出来了:

Stable Diffusion WebUI 使用 LoRA 调整风格——详细教程,AI绘画从入门到精通,stable diffusion,AI作画,AIGC,python

六、使用 LoRA 的注意事项

初次使用 LoRA 模型时,你可能会发现生成的图像与预期有所偏差,显得有些奇特。这种现象并非偶然,而是因为在使用 LoRA 时,有一些关键的注意事项需要我们细心遵守。

6.1 大模型的选择

LoRA 通常是基于大模型来训练的,所以我们使用时如果能保持大模型一致,那么生成的效果肯定是最好的。
那么,我们怎么知道作者使用的哪个大模型呢?
(1)一般作者都会在 LoRA 介绍页面里给出推荐的大模型;
(2)还可以从示例图的生成信息里找到:
Stable Diffusion WebUI 使用 LoRA 调整风格——详细教程,AI绘画从入门到精通,stable diffusion,AI作画,AIGC,python

6.2 参数设置

有时对生成参数也会影响 LoRA 的使用,作者在介绍页里一般会给出推荐的参数;或者与示例图的参数信息保持一致。

6.3 触发词

有些 LoRA 模型需要使用“触发词”才能够生效,可以在介绍页面找到。为了便于使用,我们将“触发词”附加到本地的 LoRA 信息中,以免忘记。
Stable Diffusion WebUI 使用 LoRA 调整风格——详细教程,AI绘画从入门到精通,stable diffusion,AI作画,AIGC,python

6.4 LoRA 的名字

在使用 LoRA 时(<lora: name: weight>),我们通常将 name 设置的与 LoRA 模型的文件名相同,否则也会不生效。

6.5 LoRA 的权重

在使用 LoRA 时(<lora: name: weight>),weight 为权重,该值越大代表 LoRA 对生成的结果影响就越大。但权重过高也会产生不好的效果,通常不要超过1,设置在 0.8~0.9 即可。文章来源地址https://www.toymoban.com/news/detail-857453.html

到了这里,关于Stable Diffusion WebUI 使用 LoRA 调整风格——详细教程的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Stable Diffusion-webUI ckpt模型、lora模型的区别和使用

    1、CKPT(CheckPoint) 经过训练的图片合集,被称作模型,也就是chekpoint,体积较大,一般真人版的单个模型的大小在7GB左右,动漫版的在2-5个G之间 早期的CKPT后缀名是ckpt,如今新的CKPT后缀名都是safetensors 2、Lora 是一种体积较小的绘画模型,是对大模型的微调。与每次作画只能

    2024年02月02日
    浏览(33)
  • Stable Diffusion Lora模型训练详细教程

    通过Lora小模型可以控制很多特定场景的内容生成。 但是那些模型是别人训练好的,你肯定很好奇,我也想训练一个自己的专属模型(也叫炼丹~_~)。 甚至可以训练一个专属家庭版的模型(family model),非常有意思。 将自己的训练好的Lora模型放到stableDiffusion lora 目录中,

    2024年02月02日
    浏览(44)
  • 【 stable diffusion LORA模型训练最全最详细教程】

    个人网站:https://tianfeng.space/ 其实想写LORA模型训练很久了,一直没时间,总结一下现在主流的两种LORA模型训练方式,分别是朱尼酱的赛博丹炉和秋叶大佬的训练脚本,训练效果应该是赛博丹炉更好,我个人更推荐朱尼酱的赛博丹炉,界面炫酷,操作简单,作者也是花了很多

    2024年02月09日
    浏览(45)
  • Stable Diffusion webui安装详细教程

    上一篇文章介绍了sd主流的ui,相信大家已经有所了解,下面为大家介绍sd-webui的安装详细教程 通常我们使用的是秋葉aaaki 版本的一键安装包,安装包都是基于开源项目 stable diffusion webui进行整合的,底层不会改变,只是预装了一些好用的插件,整合了运行环境(git、python、

    2024年02月21日
    浏览(39)
  • Stable Diffusion stable-diffusion-webui ControlNet Lora

    Stable Diffusion用来文字生成图片,ControlNet就是用来控制构图的,LoRA就是用来控制风格的 。 国内加速官网: mirrors / AUTOMATIC1111 / stable-diffusion-webui · GitCode 安装参考: Stable Diffusion安装与常见错误(+Lora使用)2023年最新安装教程_cycyc123的博客-CSDN博客 保姆级教程:从0到1搭建St

    2024年02月09日
    浏览(68)
  • Stable Diffusion - 哥特 (Goth) 风格服装与背景的 LoRA 配置

    欢迎关注我的CSDN:https://spike.blog.csdn.net/ 本文地址:https://spike.blog.csdn.net/article/details/132177882 图像来源于 Goth Clothing 的 LoRA 效果,配合哥特 (Goth) 风格服饰的相关提示词。 测试模型: DreamShaper 8 哥特风格 (Goth Style) 的服装特点: 受到中世纪哥特式建筑和艺术的影响,表现出一

    2024年02月13日
    浏览(39)
  • window安装Stable-Diffusion-WebUI详细教程

    直接上效果图,这是通过stable diffusion webui 利用古风模型生成的图片,实在是太好看了!!! 看了这些图,有没有心痒痒的?今天就来带大家入个门!先把软件搞起来 ! Stable Diffusion 是2022年发布的 深度学习文本到图像生成模型 。它主要用于根据文本的描述产生详细图像,官

    2023年04月15日
    浏览(41)
  • Windows下stable diffusion webui环境配置详细教程

    https://github.com/AUTOMATIC1111/stable-diffusion-webui 官方要求python版本3.10.6,实测python3.9.13可用 安装Python https://www.python.org/downloads/windows/ 2. 安装Git并配置 详情参考:https://blog.csdn.net/shuang_waiwai/article/details/121108964 3. Clone库stable-diffusion-webui 直接Git clone: 或: 4. 运行配置文件 强烈建议

    2024年02月11日
    浏览(72)
  • stable diffusion webui Linux Centos 详细部署教程

       创建一个python=3.10.6的环境,激活该环境 这里参考了以下文章: 【AI作画】stable diffusion webui Linux虚拟机 Centos 详细部署教程 服务器CentOS 7 安装 Stable Diffusion WebUI ,并映射到本地浏览器 CentOs7 + Stable Diffusion + Novel AI实现AI绘画stable diffusion webui安装部署教程 注意一个点就是需

    2024年02月09日
    浏览(83)
  • Stable-Diffusion|文生图 拍立得纪实风格的Lora 图例(三)

    最开始 Stable-Diffusion|window10安装GPU版本的 Stable-Diffusion-WebUI遇到的一些问题(一) 上篇【Stable-Diffusion|入门怎么下载与使用civitai网站的模型(二)】介绍了如何使用c站进行文生图,尤其一些Lora可能随时会下架,所以及时测试,及时保存很关键,更新一些笔者目前尝试比较有意

    2024年02月09日
    浏览(51)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包