【Stable Diffusion】lora的基础使用技巧

这篇具有很好参考价值的文章主要介绍了【Stable Diffusion】lora的基础使用技巧。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

1.用lora配套的大模型效果更好
lora训练是根据大模型作为参考,lora是根据那个大模型来训练参数的
【Stable Diffusion】lora的基础使用技巧
例如,这里以墨心lora为例,点击示例图片的中的“?”,在Model中就显示出了作者用于训练墨心lora的底模了
2.最好使用和作者相同的参数
还是以墨心lora为例,可以看到示例图片中有Sampler、Model、CFG scale等参数
【Stable Diffusion】lora的基础使用技巧

(1)Sampler——采样方式,在Stable Diffusion WebUI中的Sampling method中进行选择
(2)Model——作者使用的大模型,在Stable Diffusion WebUI中的Stable Diffusion checkpoint中进行选择
(3)CFG scale——提示词相关性,在Stable Diffusion WebUI中的CFG scale进行调整
(4)Steps——采样迭代步数,在Stable Diffusion WebUI中的Sampling steps中进行调整
(5)Seed——随机种子,在Stable Diffusion WebUI中的Seed中进行调整
Stable Diffusion WebUI中的参数调整位置(除了Stable Diffusion checkpoint在页面最上方)如下:
【Stable Diffusion】lora的基础使用技巧
值得注意的是,在复制示例图片的Prompt和Negative prompt的提示词时,要注意示例图片的lora词和最后作者发布显示的lora词不一样,例如,这里,示例图片中的使用了两个lora,分别是: lora:shukezouma_v1_1:0.8和lora:shuimobysimV3:0.7
【Stable Diffusion】lora的基础使用技巧
我们分别下载这两个lora,在页面的上方就显示了这两个lora,点击后进行下载(是的,有时一个页面中可能可以下载多个lora,在Stable Diffusion中配合使用)
在Stable Diffusion WebUI中,我们点击这两个lora,显示的分别是 lora:shukezouma_v1_1:1和 lora:MoXinV1:1,也就是说作者发布的lora名称和示例图片中的lora名称不一样,要注意调整,并将权重值调整为示例图片的权重值

【Stable Diffusion】lora的基础使用技巧
调整好后,生成图片效果如下:
【Stable Diffusion】lora的基础使用技巧
可以在示例图片的参数的基础上做进一步尝试和调整,在保证一定质量的基础上,生成更有创意的图片

3.正确地设置lora的使用权重
lora的权重值不要在1以上,不然容易出效果很差的图,权重值最好设置到0.8、0.9能够提高出图质量,如果只想带一点点lora的元素,权重值设置到0.4-0.6就可以了
4.有触发词一定要使用触发词
将Trigger words中的词,选择需要的加入到Prompt中,才能将相应的元素触发出来(有的在Trigger words中的上方有个Tag栏,Tag是lora的标签表示lora大概是什么特征,不是触发词,不需要管tag)
【Stable Diffusion】lora的基础使用技巧
有的时候,作者并没有给出Trigger Words,此时直接把lora加载进去,也能发挥作用

5.新手尽量不要混用lora
除非lora作者给了非常成熟的建议
因为并不了解每个lora的提示词触发词的训练图集,启用时很容易打架、互相污染,如果一定要多个lora混用,需要学习lora把里面的十几个层分别抽出来单独设置权重,再进行使用,这样的多个lora的混用效果才比较好文章来源地址https://www.toymoban.com/news/detail-454814.html

到了这里,关于【Stable Diffusion】lora的基础使用技巧的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Peft库使用技巧(一):合并基座模型与Lora模型【使用Peft库微调基座模型(比如LLaMA-7B)后会得到Lora参数模块,将基座模型与Lora参数合并后才能得到完整的微调后的大模型】

    使用Peft库微调基座模型(比如LLaMA-7B)后会得到Lora参数模块,将基座模型与Lora参数合并后才能得到完整的微调后的大模型

    2024年02月15日
    浏览(51)
  • Stable diffusion WebUI LoRA使用教学

    在Stable Diffusion网络中,通常会下载社区中的LoRA模型,并对CLIP模型和Unet的CrossAttention的线性层进行微调。相应的被微调的层会有 \\\'lora_up\\\' 和 \\\'lora_down\\\' 两组参数,分别对应上述的 A 和 B 矩阵。参考高手的代码,只需根据LoRA保存的层的名称找到Stable Diffusion对应的参数,然后对原

    2024年02月11日
    浏览(49)
  • Stable Diffusion 使用lora-scripts WebUI训练LoRA模型

    如果对代码使用有困难的小伙伴可以直接使用WebUI版的LoRA模块进行训练操作。不管是训练人物,场景,风格,还是服装都是一套通用的模式,仅仅是使用不同的数据集得到的结果不同。 使用 git clone --recurse-submodules https://gi

    2024年02月17日
    浏览(51)
  • stable-diffusion打造自己的lora模型(使用lora-scripts)

    1、训练图片收集 比如要训练一个自己头像的模型,就可以拍一些自己的照片(20-50张,最少15张),要求画质清晰,脸部轮廓清楚,背景较为简单的照片。 2、使用stable_diffusion的预处理功能进行图片的预处理 这里可以根据自己的情况设置不同的宽高,以及相关的设置项,设置

    2024年02月03日
    浏览(49)
  • Stable Diffusion WebUI 使用 LoRA 调整风格——详细教程

    本文收录于《AI绘画从入门到精通》专栏,专栏总目录:点这里,订阅后可阅读专栏内所有文章。 大家好,我是水滴~~ 本教程旨在深入探讨 LoRA 模型的奥秘,涵盖其基本概念、独特作用以及实操指南。我们将从下载和使用LoRA的步骤出发,进而探讨在使用 LoRA 模型时需要注意的

    2024年04月25日
    浏览(47)
  • JMeter基础使用教程及使用技巧(快速入门)

    本篇内容为JMeter的简单使用介绍,是基础的使用技巧,希望能帮到各位,不足之处还望多多包涵,最后感谢您的阅览。 Jmeter是由Apache公司开发的一个纯Java的开源项目,即可以用于做接口测试也可以用于做性能测试。 可以Apache Jmeter官网下载,地址:http://jmeter.apache.org/downloa

    2024年02月08日
    浏览(50)
  • OpenCV使用基础、技巧

    视觉概述 人类的视觉能够很轻易地从图像中识别出内容。但是,计算机视觉不会像人类视觉那样能够对图像进行感知和识别,更不会自动控制焦距和光圈,而是把图像解析为按照栅格状排列的数字。 这些按照栅格状排列的数字包含大量的噪声,噪声在图像上常表现为引起较

    2024年02月22日
    浏览(44)
  • Stable Diffusion:使用自己的数据集微调训练LoRA模型

    由于本人水平有限,难免出现错漏,敬请批评改正。 更多精彩内容,可点击进入YOLO系列专栏、自然语言处理 专栏或我的个人主页查看 基于DETR的人脸伪装检测 YOLOv7训练自己的数据集(口罩检测) YOLOv8训练自己的数据集(足球检测) YOLOv5:TensorRT加速YOLOv5模型推理 YOLOv5:I

    2024年02月12日
    浏览(84)
  • 使用Kohya_ss训练Stable Diffusion Lora

    Stable Diffusion主要有 4 种方式:Dreambooth, LoRA, Textual Inversion, Hypernetworks。 Textual Inversion (也称为 Embedding),它实际上并没有修改原始的 Diffusion 模型, 而是通过深度学习找到了和你想要的形象一致的角色形象特征参数,通过这个小模型保存下来。这意味着,如果原模型里面这

    2024年01月23日
    浏览(41)
  • ChatGPT API接口编程基础与使用技巧

    总结/朱季谦 趁着这周末空闲时间,在研读完OpenAi官网文档的基础上,及时总结了这篇 《ChatGPT API接口编程基础与使用技巧》 。 本文大部分内容是围绕编程方面,包括ChatGPT模型接口、图像生成接口、敏感数据拦截等,只有一小部分内容围绕如何通过temperature调参优化使用提示

    2023年04月17日
    浏览(47)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包