【Stable Diffusion】基本概念之lora

这篇具有很好参考价值的文章主要介绍了【Stable Diffusion】基本概念之lora。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

1.基本概念
Lora,英文全称“Low-Rank Adaptation of Large Langurage Models”,直译为大语言模型的低阶适应,这是微软的研究人员为了解决大语言模型微调而开发的一项技术
2.作用
只要是图片上的特征都可以提取并训练
(1)对人物/物品的脸部特征进行复刻
(2)生成某一特定风格的图像
(3)固定动作特征
3.embedding和Lora的区别
embedding文件小,保存的信息量小,对人物的还原、对动作的指定、对画风的指定效果一般;Lora文件大,保存的信息量大,对人物的还原、对动作的指定、对画风的指定效果比较好。
embedding一般还原的人物为动漫人物,真人一般用Lora比较好,当embedding和lora可以做同一件事时,优先选择lora,但三视图、多视图embedding有做好的文件,Lora实现就会比较难
【Stable Diffusion】基本概念之lora
3.lora文件下载
打开https://civitai.com/
右方的筛选按钮——LoRA
【Stable Diffusion】基本概念之lora
然后就可以选择相应的画面点击后,再在相应的页面点击Download Latest
以这个生成连环画风格lora为例,点击页面后,再点击Download Latest就可以将lora模型下载下来了
【Stable Diffusion】基本概念之lora

得到文件Xiaorenshu_v20.safetensors
就是生成小人书画风的lora了
【Stable Diffusion】基本概念之lora

4.lora文件存放位置
以存放在D盘为例
D:\stable-diffusion-webui\models\Lora
5.在WebUI中打开lora
在页面的图片中点击“i”按钮,可以看到图片的相应信息,可以发现,作者这里没有写配套训练大模型,可以去评论区查看其他人使用的大模型作为参考大模型
【Stable Diffusion】基本概念之lora
但有的页面有作者配套训练的大模型,所以最好是使用作者配套训练的大模型
【Stable Diffusion】基本概念之lora
在WebUI的Stable Diffusion checkpoint中任意选择一个大模型,例如“chilloutmix_NiPrunedFp32Fix”
【Stable Diffusion】基本概念之lora
不加载lora,在Prompt中输入“masterpiece, high quality”点击“Generate”生成的效果为:【Stable Diffusion】基本概念之lora
在WebUI页面中点击“Show extra networks”
【Stable Diffusion】基本概念之lora
再在Lora标签中选择需要的lora,点击
【Stable Diffusion】基本概念之lora

可以发现Prompt变为:
【Stable Diffusion】基本概念之lora
表示这是一个“lora”,名称为“Xiaorenshu_v20”,使用比重为“1”
点击“Generate”,这时生成的图像为:
【Stable Diffusion】基本概念之lora
这样就可以得到“小人书”风格的人物图像了文章来源地址https://www.toymoban.com/news/detail-483178.html

到了这里,关于【Stable Diffusion】基本概念之lora的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 手把手教你通过PaddleHub快速实现输入中/英文本生成图像(Stable Diffusion)

    近来,基于Diffusion的文图生成模型比较火,用户输入一句话,模型就可以生成一副对应的图像,还是很有意思的。本文记录了通过PaddleHub快速实现上述任务的过程,以供参考。 1、安装PaddlePaddle PaddleHub底层依赖于百度自研的开源框架PaddlePaddle,可以根据官方提供的方式来快速

    2024年01月17日
    浏览(49)
  • Stable Diffusion WebUI 中英文双语插件(sd-webui-bilingual-localization)并解决了不生效的情况

    本文收录于《AI绘画从入门到精通》专栏,专栏总目录:点这里。 大家好,我是水滴~~ 本文介绍一款中英文对照插件 sd-webui-bilingual-localization ,该插件可以让你的 Stable Diffusion WebUI 界面同时显示中文和英文,让我们方便了使用的同时,也能让我们熟悉原始的英文界面。 安装完

    2024年04月15日
    浏览(54)
  • Stable Diffusion本地部署全攻略:从概念到实战

    目录 一、概念篇:什么是Stable Diffusion? 二、原理篇:Stable Diffusion是如何工作的? 三、作用篇:Stable Diffusion能为我们带来什么? 四、教程篇:如何在本地部署Stable Diffusion? Stable Diffusion,顾名思义,它代表了一种稳定且高效的扩散技术。但在我们这里所讨论的语境中,它特

    2024年04月26日
    浏览(31)
  • 02- stable diffusion的基本使用

    https://www.bilibili.com/video/BV1Q14y1f7XJ/ https://www.bilibili.com/video/BV1av4y1E74C/ 1.1 官方github: 官方github: GitHub - Stability-AI/stablediffusion: High-Resolution Image Synthesis with Latent Diffusion Models GitHub - AUTOMATIC1111/stable-diffusion-webui: Stable Diffusion web UI 官方下载的安装,很麻烦。 1.2 下载整合包 作者:

    2024年02月10日
    浏览(30)
  • AI 作画《Concept Art概念艺术》| 用stable diffusion生成

    前言 “Concept Art”是一个艺术门类,即所谓“概念艺术”、“概念设计”,也称为“初步设计”。一般常见于影视或游戏设计中,服务产品最初的视觉效果,是游戏或影片的核心工作内容之一。 下面让我们使用当前很火的扩散模型stable diffusion,生成一些概念艺术作品!看看

    2024年02月11日
    浏览(60)
  • 【Stable Diffusion】ControlNet基本教程(四)

    接上篇【Stable Diffusion】ControlNet基本教程(三),本篇再介绍两个ControlNet常见的基本用法:控制人物动作和建筑/室内生成。让人物摆出特定的动作,这是ControlNet最神级的操作!这意味着可以自定义姿势,这意味着AI绘图正式进入自主可控的世代!而建筑/室内设计生成则给做

    2024年02月11日
    浏览(44)
  • 【Stable Diffusion】ControlNet基本教程(二)

    接上篇【Stable Diffusion】ControlNet基本教程(一),本篇介绍两个ControlNet常见的基本用法,更多用法欢迎关注博主,博主还会更新更多有趣的内容。 3.ControlNet基本用法 3.1漫画线稿上色 (1)上传需要处理的图像(Drop Image Here or Click to Upload) (2)启用ControlNet,在“预处理(P

    2024年02月10日
    浏览(44)
  • 【Stable Diffusion】ControlNet基本教程(三)

    接上篇【Stable Diffusion】ControlNet基本教程(二),本篇再介绍两个ControlNet常见的基本用法,更多用法欢迎关注博主,博主还会更新更多有趣的内容。 3.3更换物体皮肤 有时,我们不想改变物体的轮廓,只想改变物体表面的皮肤,例如,同一种鞋型,我们让它生成不同的鞋子表

    2024年02月09日
    浏览(34)
  • 【Stable Diffusion】ControlNet基本教程(一)

    1.ControlNet是什么 ControlNet是Stable Diffusion用于图像风格迁移和控制的一款插件,作者是2021年才本科毕业,现在在斯坦福大学读博士一年级的中国学生 张吕敏 。ControlNet的出现代表着 AI 生成开始进入 真正可控 的时期,而 AIGC 的可控性 是它进入 实际生产 最关键的一环。在此之前

    2024年02月09日
    浏览(42)
  • Stable Diffusion WebUI文生图操作界面基本参数说明!

    朋友们,大家好,我是王赞,正在学习研究Stable Diffusion,致力于用最为朴素直白的语言为你介绍AI绘画的相关知识。 很多朋友在部署好Stable Diffusion后,本来想着可以愉快的玩耍了,但是点开一看,密密麻麻的选项立马又劝退了一大批人。 别着急,今天这篇教程将会为你解决

    2024年02月13日
    浏览(40)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包