stable diffusion webui + kohya_ss

这篇具有很好参考价值的文章主要介绍了stable diffusion webui + kohya_ss。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

关于sd,我自己也是新手,就简单记录一下

首先是项目地址,https://github.com/AUTOMATIC1111/stable-diffusion-webui

然后关于这个webui的使用教程,找到一个博客,但是需要科技才能上。

 欢迎 | Stable Diffusion WebUI使用手冊(简体中文)|Ivon的部落格 (ivonblog.com)

在部署方面,也是查了很多博客,我这边是部署在autodl服务器上,安装的时候,碰到第一个问题,root用户下不能安装,但是如果新建一个用户的话,又没有python,两难。后来看了下webui.sh中有关于root的注释,其中有一段,注释掉后就不会报错了

# read any command line flags to the webui.sh script
while getopts "f" flag > /dev/null 2>&1
do
    case ${flag} in
        f) can_run_as_root=1;;
        *) break;;
    esac
done

我是把这个全部注释掉。比较担心会不会有后续影响,直到后来查看输入参数的时候,一直追查,从modules里的launch_utils.py到cmd_args.py,里面定义了很多参数,第一个就是

parser.add_argument("-f", action='store_true', help=argparse.SUPPRESS)  # allows running as root; implemented outside of webui

从这个描述来看,应该就是允许root用户安装,不过我也没有用过,就是提一下,在launch_utils.py当中有一些需要安装的git的地址,如果存在网络问题的话,可以提前将这些地址改为镜像地址,如此的话可以一次成功,不然就自己提前下好装好也是可以的,但是sd他默认是会装一个虚拟环境,也就是不管你的conda是不是新建了环境,他都是使用在自己目录内的venv内的python环境,所以想要pip安装包,应该是venv/bin/python -m pip ...

在顺利装上sd之后,他好像是默认会下载一个model,但我的没有,可能是网络原因,所以我是自己下载的,推荐一个网站模型广场 (aigccafe.com),下载速度还不错,下载的时候需要注意看一下,至少需要一个checkpoint,不要下载到了lora,需要放置在正确的位置上。

对webui的启动,同样,执行webui.sh就可以了,但是autodl的端口,建议是6006,然后远程访问的话,除了对应ip,端口是54482。不过后来发现,用vscode的端口转发的话,什么端口号都可以了。还建议开启api模式,如果用--nowebui,则没有web,只有api模式,用--api的话,就是两个模式都可以,不过如果开启api模式的话,可以查看api文档,虽然也比较简略就是了。

webui支持插件功能,比如可以汉化,这篇帖子写了怎么汉化,还有一些使用教程,不过个人觉得,汉不汉化都无所谓,使用上没有障碍,主要是,在使用提示词的话,基本上不支持中文,所以需要注意使用英文。

推荐这篇浅谈stable diffusion (三) - 知乎 (zhihu.com)对各个参数有讲解,还是不错的,强烈推荐。

接下来说一下lora,在我的理解中,他就是对大模型的一个微调,所以比较小,在使用上,主要是通过<>来进行调用,括号中写上lora名和权重,默认是1,例如<MOXIN:0.9>,前面是lora名,就是文件名,后面0.9就是权重,但是需要注意的是,在web端,通过鼠标点击对应的图标来添加的话,他是使用的lora的别名,但是这个别名不好得到,所以使用文件名也是可以的,关于权重,可以参考下载的时候的模型描述。

因为我主要使用api模式,所以看了下api的代码,他提供了很多方法,这里提到一些坑,比如,需要更换模型,他是没有对应接口的,最开始我是修改了reload接口的代码实现的,后来发现,其实是有的,他有个setconfig可以设置很多信息,但最终其实没有必要,因为在进行文生图的时候,可以指定模型,这样还方便一些,每次发送文本和指定风格就行了,不然还需要先判断当前使用的是什么风格,再判断要不要切换风格并加载对应模型,不如每次都指定风格,省了很多事。

然后他的默认api好像是没有提供获取全部lora模型信息的,至少在api的py文件中没有,通过web端下方点击api按钮跳转api文档能看到有,如果没有的话,可能是需要安装一个插件,可以查看这个帖子,这个帖子主要是lora的训练和对比,但也提到安装一个插件。

对于lora的训练,首先,sd好像是没有提供训练的方法,他提供的训练也不太清楚是啥,有篇帖子介绍了比较详细,然后训练的话,最开始看的就是这篇,什么是LoRA模型,如何使用和训练LoRA模型?你想要的都在这! - 知乎 (zhihu.com)

他提到了训练的方式是,通过 bmaltais/kohya_ss (github.com)这个项目,这个项目也是有坑。

我这边不是按照那个lora训练的帖子来的,基本流程是,1.准备图片

2.通过sd webui做数据预处理,也就是生成图片标签,具体是训练标签中的数据预处理,填写好路径之后,下面勾选生成tags

3.生成的文本是txt格式的,此时遇到第一个坑,再kss这个项目中,他默认的标签文件格式是.caption,所以记住一定要在训练参数那一栏中找到,文本格式,填上.txt,不然在开始训练的时候,会有提示,找不到caption,但是仍然可以开始训练,所以是不会报错的,一定要注意看打印日志。

kss这个项目,在安装的时候,似乎也是会自己安装虚拟环境,但我的似乎是检测到什么,所以没有,直接使用的当前本地的python,但是他有个巨坑是,他第一步是检查自己是不是最新的,所以会先git自己,但是由于网络原因,不成功,虽然不影响后面进程,但是会很拖时间,通过什么参数可以取消这一步;然后由于他需要的库都指定了版本,且太新了,很可能pip会报错,此时,先不要急,想一想是不是使用国内的pip源,切换回原始源,然后更新pip,就可以了。这里吐槽一下,感觉实在没有必要,一定要最新的么,是不是过于新了,在安装的时候没折腾死。

总结一下,这篇简单的写了一下踩坑,但是并没有很详细的写具体怎么用,怎么训练,因为我觉得,怎么用sd,网上一搜一大把,至于训练,效果远不如网上下载的,有点折腾,而且生成的标签也需要人工校对,如果这些都愿意花时间解决,那区区一个训练,相对而言,花很少的时间就能解决

 文章来源地址https://www.toymoban.com/news/detail-510473.html

到了这里,关于stable diffusion webui + kohya_ss的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 使用Kohya_ss训练Stable Diffusion Lora

    Stable Diffusion主要有 4 种方式:Dreambooth, LoRA, Textual Inversion, Hypernetworks。 Textual Inversion (也称为 Embedding),它实际上并没有修改原始的 Diffusion 模型, 而是通过深度学习找到了和你想要的形象一致的角色形象特征参数,通过这个小模型保存下来。这意味着,如果原模型里面这

    2024年01月23日
    浏览(41)
  • 关于【Stable-Diffusion WEBUI】方方面面研究(内容索引)

    关于Stable-Diffusion WEBUI,我发现网上各种教程真的很多。 写得很好很详细的也不少,读了感觉比我写的好多了,无论是原理和相关论文还是操作和细节。 所以准备记录下Stable-Diffusion WEB UI的方方面面,以及哪里去看相关的资料。 同时自己写的东西也有点乱,得整理一下。呃在

    2024年02月05日
    浏览(60)
  • 关于【Stable-Diffusion WEBUI】基础模型对应VAE的问题

    本篇主要提及模型的VAE,通常情况下我们不用考虑它,但是有些特别是早期模型并没有整合VAE…… 更多不断丰富的内容参考:🔗 《继续Stable-Diffusion WEBUI方方面面研究(内容索引)》 VAE (Variational Auto-Encoder 变分自动编码器) 虽然简称是编码器,实际上是编码解码器(我们用到

    2024年02月09日
    浏览(58)
  • 关于【Stable-Diffusion WEBUI】生成全身图:插件解决面部崩坏问题

    本篇主要介绍WEBUI的插件:SD Face Editor,虽然叫Editor实际上是Fixer,作用是修复脸部。 更多不断丰富的内容参考:🔗 《继续Stable-Diffusion WEBUI方方面面研究(内容索引)》 参考: 由于神经网络无法完全捕捉人脸的微妙细节和变化,导致产生了不自然或扭曲的结果…… 所以生成图

    2024年02月06日
    浏览(75)
  • 关于 stable diffusion webui 启动提示 no module ‘xformers‘ 的解决办法

    打开 webui_user.bat 文件,将 COMMANDLINE_ARGS= 修改为 COMMANDLINE_ARGS=--reinstall-xformers --xformers ,保存后重新启动,启动时会安装 xformers (安装没有进度提示,安装时间因为网络原因可能会比较长) 安装完成后启动成功后,再次打开 webui_user.bat 文件,将 COMMANDLINE_ARGS=--reinstall-xformers

    2024年04月27日
    浏览(39)
  • 最简单粗暴的Stable Diffusion Webui本地部署教程!让每个人都能自己实现AI画图!

    先放两张自己画的图片镇楼。 ‍ ​ ​ ​ ​ ‍ 什么是Stable Diffusion Webui ​​ Stable Diffusion WebUI是 Stable Diffusion 的浏览器界面,Stable Diffusion 是一种 AI 模型,可以根据文本提示生成图像或用文本提示修改现有图像。 Stable Diffusion Web UI 是探索 Stable Diffusion 可能性的好方法,只需

    2024年01月16日
    浏览(60)
  • 关于Photoshop中的【Stable-Diffusion WEBUI】插件:Auto.Photoshop.SD.plugin

    本篇主要提到Photoshop中的Stable-Diffusion WEBUI插件,相对WEBUI并不算好用,但省得来回切换。 更多不断丰富的内容参考:🔗 《继续Stable-Diffusion WEBUI方方面面研究(内容索引)》 参考:https://github.com/AbdullahAlfaraj/Auto-Photoshop-StableDiffusion-Plugin 不能从WEBUI中直接安装,请选择从url安装吧

    2024年02月07日
    浏览(68)
  • Stable Diffusion WebUI 集成 LoRA模型,给自己做一张壁纸 Ubuntu22.04 rtx2060 6G

    LoRA的全称是LoRA: Low-Rank Adaptation of Large Language Models,可以理解为stable diffusion(SD)模型的一种插件,和hyper-network,controlNet一样,都是在不修改SD模型的前提下,利用少量数据训练出一种画风/IP/人物,实现定制化需求,所需的训练资源比训练SD模要小很多,非常适合社区使用者

    2024年02月12日
    浏览(49)
  • stable diffusion webui界面布局(很多大佬一键安装包的样式,自己部署却没有?那就看这篇文章吧!)

    自己部署stable diffusion界面布局(很多大佬一键安装包的样式,自己部署却没有?那就看这篇文章吧!) 如下图,使用一键部署的项目,有【外挂vae模型】【跳过CLIP部署】,且【采样方法】的部署不是下拉列表,而是所有采样方法都放出来了 如下图:这是不适用一键部署包,

    2024年02月16日
    浏览(57)
  • 【AICG】关于解决配置stable-diffusion-webui时的问题:No module ‘xformers‘. Proceeding without it.

    关于这个问题,在stable-diffusion-webui/venv/Scripts目录下进入terminal,输入./activate激活stable diffusion创建的虚拟环境,然后使用: 就基本可以了,最后在webui-user.bat文件上右击,点击“编辑”,在set COMMANDLINE_ARGS=后面加上--xformers,保存,正常运行,就能使用xformers进行加速了

    2024年02月11日
    浏览(54)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包