Stable Diffusion 多人绘画经验札记

这篇具有很好参考价值的文章主要介绍了Stable Diffusion 多人绘画经验札记。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

       今天有小伙伴提起了多人生成的问题,自己之前也尝试过,不过当时比较低级,prompt 中就抄袭了 2girl 的提示词,好在抄的模型比较好,勉强能看。

Stable Diffusion 多人绘画经验札记

新技能插件

    后来了解到了几个插件,

Composable LoRA 和 Latent couple

Composable LoRA:分区域LoRa效果控制(汉化下叫“可自组 Lora”!!!)https://github.com/opparco/stable-diffusion-webui-composable-lora

Latent couple:分区域精准生成(汉化下叫 “潜变量成对”???)
GitHub - opparco/stable-diffusion-webui-two-shot: Latent Couple extension (two shot diffusion port)
插楼:翻译可以自己在中文插件中修改,想叫什么容易理解的可以自己改!然后重新载入UI或重启都可以生效。
Stable Diffusion 多人绘画经验札记
两个插件都是安装后重启即可,安装过程就偷懒省略不写了。

下面看下这俩插件的具体使用

Composable LoRA

{方框}启用 点上启用就行 。
剩下两个都写了 “不建议开启” 就听一下劝吧……

Latent couple 

有五个参数
{方框}启用,这个点上吧,不然玩啥呢……
分割:主要是对画面区域进行分区 (这个是确定的)
默认 1:1 ,1:2, 1:2 
位置 :对应每个分区 (这是我猜的,作者没解释)
默认 0:0 ,0:0 , 0:1 ,0:2 
权重:每个区域的权重(嗯,就这么理解就行……)
默认  0.2,0.8,0.8
默认的两人效果及参数
分割(行 :列
1:1
1:2
1:2
全区域
第一个位置
第二个位置
位置
0:0
0:0
0:1
全区域提示词
第一个人物提示词对应
第二个人物提示词对应
权重
0.2
0.8
0.8
全区域权重
第一个人物权重
第二个人物权重
prompt
全局提示词
AND 第一个人物提示词
AND 第二个人物提示词
注意:
1.全局提示词 中 一般需要说明人数,不然即使用了分区,有时候也会只生成一个人!不过会有左手寒冰,右手烈焰的WOW法师感觉…… (怀念一下我的奥法)
2.对于不能正常生成多人的问题,扒了一下插件作者的 issue 列表,有一个问题中提到了 SD大模型训练的1.5版本训练的是512x512的模式,生成多人需要给予足够的画布空间,比如两人给 1024x512 ,按照尺寸调整后,成功率高多了……
Not working, even when enabled · Issue #25 · opparco/stable-diffusion-webui-two-shot · GitHub
这是我生成的一个残次品,三个人物风格融合在了一起(也还行……)
Stable Diffusion 多人绘画经验札记
PS:目前成功率最高的还是要配合ControlNet 成功率最高,画上多个火柴人就好。
 
三人参数  
分割
1:1
1:3
1:3
1:3
全区域
第一个位置
第二个位置
第三个位置
位置
0:0
0:0
0:1
0:2
全区域提示词
第一个人物提示词对应
第二个人物提示词对应
第三个人物提示词对应
权重
0.2
0.8
0.8
0.8
全区域权重
第一个人物权重
第二个人物权重
第三个人物权重
prompt
全局提示词
AND 第一个人物提示词
AND 第二个人物提示词
AND 第三个人物提示词
注意:分区越多,时间越慢…… 4090可以忽略…… MAC M2 MAX 生成有时候要接近20-30分钟

在使用插件时,可以将采样迭代步数(Steps)先设置为1~2 ,生成看一下区域生成是否正常,这是分为3列的情况:

Stable Diffusion 多人绘画经验札记
四人参数(横版)  并列情况 只要三人参数扩展就好,田字格的两排参数可参考下面:

两排的参数情况如下:

位置: 1:1 ,2:2, 2:2, 2:2, 2:2 

2:2 

2:2 

2:2 

2:2 

区域顺序: 0:0,0:0,0:1,0:2,0:3

1(0:0)

3(0:2)

2(0:1)

4(0:3)

权重:0.2,0.8,0.2,0.8,0.2

1(0.8)

3(0.8)

2(0.2)

4(0.2)

这么无聊的内容你都能看到这里,不写点摸索出来的经验有点对不起你了……

关于拆分区域不起作用与生成多人失败变成一个人的问题:

       在没有使用ControlNet 的情况下 想使用这两个插件稳定生成,那么:

       各个区域的提示内容不能过于复杂,把多个单独成像的提示词 直接Copy过来作为一个人物的内容进行组装是不可取的。多种风格,多种复杂的关键词会带来巨大偏差。

      这是与上面三种风格混成一张人物(圣斗士|蒸汽朋克|吸血新娘)的相通的提示词,在玩家建议增大画布尺寸下,尝试采用了1024x512尺寸下生成的效果(随机性极大9张图能出2张能看的),依稀还能看到三种风格的混搭……

Stable Diffusion 多人绘画经验札记

       出来两个?是不是画布不够大?然后又采用了 1536x512尺寸下产生的,这里面依然只是生成了一个人,三种描述风格混搭,也还能看(出图可用性更低了)Stable Diffusion 多人绘画经验札记

 这张与上张相同提示词,随机了另一个种子(seed),貌似混搭也不错……

Stable Diffusion 多人绘画经验札记

以上巨大而冗余的prompt就不贴了……

        这肯定是方向不对……

        在参考了插件作者的Github中后,得到了部分海外友人的支持,提到了提示词过于复杂造成了部分污染,致使插件的分区没能正常工作……

遂做了大部分删减,果然效果好了很多,较为稳定可以生成多人模式了…… 

Stable Diffusion 多人绘画经验札记

但是依然看到圣斗士风格覆盖了 蒸汽朋克 与 吸血新娘 风格,变成了三女神模式……

         重新看了作者给的例子…… 不仅对作者由衷的佩服,一切早就摆在了面前……

((ultra-detailed)), ((illustration)), 2girls
AND ((ultra-detailed)), ((illustration)), 2girls, black hair
AND ((ultra-detailed)), ((illustration)), 2girls, blonde hair
Negative prompt: (low quality, worst quality:1.4)
Steps: 28, Sampler: Euler a, CFG scale: 5, Seed: 722014241, Size: 512x512, Model hash: 3f64f3baf5, Model: Anything-v3.0-fp16, ENSD: 31337, Latent Couple: "divisions=1:1,1:2,1:2 positions=0:0,0:0,0:1 weights=0.2,0.8,0.8 end at step=20", Eta: 0.67

发现了么 :

((ultra-detailed)), ((illustration)), 2girls

每一个区域都出现了相同的关键词 + 单独的个性化内容

重新修改了prompt 符合这个范式…… 然后……

Stable Diffusion 多人绘画经验札记

圣斗士、蒸汽朋克、吸血新娘(眼神太过魅惑已被打码,不然发不出来)……

3girls,aespakarina,RAW,(8k, best quality, masterpiece:1.2),(intricate details:1.4),(photorealistic:1.4),octane render, studio soft light, rim light, vibrant details, ultra detailed, realistic skin texture, (Super fine pattern:1.3),(full body)
AND 3girls,aespakarina,RAW,(8k, best quality, masterpiece:1.2),(intricate details:1.4),(photorealistic:1.4),octane render, studio soft light, rim light, vibrant details, ultra detailed, realistic skin texture, (Super fine pattern:1.3),(full body),<lora:aespaKarina_aespaKarinaV5:0.3><lora:saintSeiyaPisces_piscesarmor10:0.3><lora:hongkongdolllikeness_v15:0.2><lora:koreanDollLikeness_v15:0.2> ,piscesarmor,armor,golden armor,helmet
AND 3girls,aespakarina,RAW,(8k, best quality, masterpiece:1.2),(intricate details:1.4),(photorealistic:1.4),octane render, studio soft light, rim light, vibrant details, ultra detailed, realistic skin texture, (Super fine pattern:1.3),(full body),(steampunk warrior queen:1.3) holding a (mechanical sword:1.2), powerful, intricately detailed armor, (rusty metal:1.1) with (copper accents:1.1), intense colors, hyper-realistic lifelike texture, 
AND 3girls,aespakarina,RAW,(8k, best quality, masterpiece:1.2),(intricate details:1.4),(photorealistic:1.4),octane render, studio soft light, rim light, vibrant details, ultra detailed, realistic skin texture, (Super fine pattern:1.3),(full body),deep shadow, (darkness:1.1), (highly detailed beautiful gothic vampire bride:1.1), (bride:1.2), lace wedding veil, cleavage,(extremely detailed eyes:1.2) face, (piercing red eyes:1.1), detailed clothes, curly red black hair, bangs, frills, decorative black wedding dress with red roses bouquet
Negative prompt: (watermark:1.2), (a signature:1.1), Ugly, deformed, distorted, blurry, low quality, low resolution, simultaneous, bad anatomy, extra limbs, extra ears, out of frame, ugly, extra limbs, ((bad anatomy)), gross proportions, (malformed limbs), ((missing arms)), ((missing legs)), (((extra arms))), (((extra legs))), mutated hands, (fused fingers), (too many fingers), (((long neck))), Photoshop, video game, ugly, tiling, poorly drawn hands, poorly drawn feet, poorly drawn face, out of frame, mutation, mutated, extra limbs, extra legs, extra arms, disfigured, deformed, cross-eye, body out of frame, blurry, bad art, bad anatomy, 3d render
Steps: 30, Sampler: Euler a, CFG scale: 7, Seed: 4029803897, Size: 768x512, Model hash: 46d105afa7, Model: faetastic.kn0y, Denoising strength: 0.9, ENSD: 31337, Latent Couple: "divisions=1:1,1:3,1:3,1:3 positions=0:0,0:0,0:1,0:2 weights=0.2,0.8,0.8,0.8 end at step=20", Hires upscale: 2, Hires upscaler: 4x-UltraSharp, Eta: 0.67
processing | 28.2/268.5s
Time taken: 45m 44.93s

45分钟…… 羡慕4090……

整理的100个Lora资源

内容来自于C站,不能魔法访问C站的小伙伴可以下载使用,已经使用C站助手更新了效果图与pormpt及模型信息,下载下来之后直接解压到Lora目录即可使用。

https://download.csdn.net/download/bestpasu/87762524

———补充更新—————————————————————————————————————— 

小伙伴提了说是生成头发颜色存在污染,我尝试了一下(后附魔法🪄):

需要注意的:要确定自己使用的魔法能被自己的大模型识别,有的调制的大模型不一定有相关的内容,比如上图生成的模型年轻女人和年轻女孩识别出来脸都差不多……

Three women,RAW,(8k, best quality, masterpiece:1.2),(intricate details:1.4),(photorealistic:1.4),octane render, studio soft light, rim light, vibrant details, ultra detailed, realistic skin texture, (Super fine pattern:1.3),(full body)
AND Three women,RAW,(8k, best quality, masterpiece:1.2),(intricate details:1.4),(photorealistic:1.4),octane render, studio soft light, rim light, vibrant details, ultra detailed, realistic skin texture, (Super fine pattern:1.3),(full body),silver haired granny,
AND Three women,RAW,(8k, best quality, masterpiece:1.2),(intricate details:1.4),(photorealistic:1.4),octane render, studio soft light, rim light, vibrant details, ultra detailed, realistic skin texture, (Super fine pattern:1.3),(full body),Young woman with red hair,
AND Three women,RAW,(8k, best quality, masterpiece:1.2),(intricate details:1.4),(photorealistic:1.4),octane render, studio soft light, rim light, vibrant details, ultra detailed, realistic skin texture, (Super fine pattern:1.3),(full body),Blue-haired girl
Negative prompt: (watermark:1.2), (a signature:1.1), Ugly, deformed, distorted, blurry, low quality, low resolution, simultaneous, bad anatomy, extra limbs, extra ears, out of frame, ugly, extra limbs, ((bad anatomy)), gross proportions, (malformed limbs), ((missing arms)), ((missing legs)), (((extra arms))), (((extra legs))), mutated hands, (fused fingers), (too many fingers), (((long neck))), Photoshop, video game, ugly, tiling, poorly drawn hands, poorly drawn feet, poorly drawn face, out of frame, mutation, mutated, extra limbs, extra legs, extra arms, disfigured, deformed, cross-eye, body out of frame, blurry, bad art, bad anatomy, 3d render
Steps: 30, Sampler: DPM++ 2M Karras, CFG scale: 7, Seed: 3971804455, Face restoration: CodeFormer, Size: 768x512, Model hash: 59ffe2243a, Model: chilloutmix_NiPrunedFp16Fix, Denoising strength: 0.4, ENSD: 31337, Latent Couple: "divisions=1:1,1:3,1:3,1:3 positions=0:0,0:0,0:1,0:2 weights=0.2,0.8,0.8,0.8 end at step=20", Hires upscale: 2, Hires upscaler: R-ESRGAN 4x+

Time taken: 1m 37.06s

Torch active/reserved: 12273/16856 MiB, Sys VRAM: 18266/24269 MiB (75.26%)文章来源地址https://www.toymoban.com/news/detail-484810.html

到了这里,关于Stable Diffusion 多人绘画经验札记的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Stable Diffusion +EbSynth应用实践和经验分享

    Ebsynth应用 1.安装ffmpeg 2.安装pip install transparent-background,下载模型https://www.mediafire.com/file/gjvux7ys4to9b4v/latest.pth/file 放到C:Users自己的用户名.transparent-background加一个ckpt_base.pth文件 3.秋叶安装ebsynth插件,重启webui 填写项目基本信息 4.对应步骤1,运行第一步分割mp4,这里面最好

    2024年02月13日
    浏览(44)
  • Stable Diffusion绘画入门

    目前开源的最火爆的AI绘画系统是 Stable Diffusion 模型(稳定扩散模型)。 可以完成 text2img, img2img, depth2img【深度图转图像】, seg2img【语义分割图转图像】 等基于提示信息【prompt】的图画创作功能。 其核心原理简要总结如下: 1,通过Attention机制引入text /semantic_map/ input_image .

    2023年04月08日
    浏览(42)
  • Stable Diffusion 绘画

    Stable Diffusion 资源 一、Stable Diffusion 安装包 二、插件 1.sdweb-easy-prompt-selector 提示词插件 2.SadTalker 本地生成数字人 3.Deforum 相关 4.sd-webui-controlnet 三、LoRA 1.LoRA 2.LyCORIS 3.LoHa 四、模型(ckpt) 1.camelliamix: 2.majicMIX 系列 3.cetusMix 4.GhostMix 6.sixZongzi 国风 配合 hanfu LoRA 使用 五、一些资源 六

    2024年02月12日
    浏览(53)
  • Stable Diffusion绘画

     正向提示词: 1girl, brown hair, multicolored hair, green eyes, maid, maid headdress, maid apron, cherry blossoms, sunbeam, wallpaper, 一个女孩,棕色头发,五彩头发,绿色眼睛,女仆,女仆头饰,女仆围裙,樱花,阳光,壁纸,  反向提示词: (worst quality, low quality:1.4), monochrome, zombie, (interlocked fin

    2024年02月04日
    浏览(40)
  • Stable Diffusion绘画,卡通,教室

    1 girl, parted lips, blush, makeup, light smile, school uniform, classroom, light rays, glow, thighs, collarbone, narrow waist, (masterpiece), wallpaper  1个女孩,双唇,腮红,化妆,浅笑,校服,教室,光线,发光,大腿,锁骨,细腰,(杰作),壁纸 模型: https://civitai.com/models/7240/meinamix 参考链接: http

    2024年02月04日
    浏览(49)
  • AI绘画Stable Diffusion

    安装包来自B站大佬 秋葉aaaki 安装教程 https://www.bilibili.com/video/BV1iM4y1y7oA?vd_source=2d34fd2352ae451c4f6d4cb20707e169 链接:https://pan.baidu.com/s/188_aaYrlNOlmQd_yrC8XYQ?pwd=3h2a 提取码:3h2a 将 (可选controlnet1.1预处理器),downloads丢程序如下路径 下载包里面 (可选controlnet1.1模型) *pth丢程序如下

    2024年02月11日
    浏览(74)
  • AIGC绘画:kaggle部署stable diffusion项目绘画

    kaggle介绍 Kaggle 成立于2010年,是一个进行数据发掘和预测竞赛的在线平台。从公司的角度来讲,可以提供一些数据,进而提出一个实际需要解决的问题;从参赛者的角度来讲,他们将组队参与项目,针对其中一个问题提出解决方案,最终由公司选出的最佳方案可以获得5K-10K美

    2024年02月12日
    浏览(43)
  • AI 绘画Stable Diffusion 研究(七) 一文读懂 Stable Diffusion 工作原理

    大家好,我是风雨无阻。 本文适合人群: 想要了解AI绘图基本原理的朋友。 对Stable Diffusion AI绘图感兴趣的朋友。 本期内容: Stable Diffusion 能做什么 什么是扩散模型 扩散模型实现原理 Stable Diffusion 潜扩散模型 Stable Diffusion文本如何影响图片生成 Stable Diffusion Cross-attention 技术

    2024年02月13日
    浏览(62)
  • 比stable diffusion绘画技巧更简单的绘画方法有哪些?

       当今的人工智能技术正在迅速发展,越来越多的绘画软件也应运而生。虽然Stable Diffusion是一种非常流行的AI绘画方法,但对于初学者或操作不熟练的人来说,其使用难度可能有些高。那么大家知道比stable diffusion绘画技巧更简单的绘画方法有哪些吗?本文将为大家介绍几个

    2024年02月11日
    浏览(48)
  • 【AI绘画】Stable Diffusion WebUI

    💝💝💝欢迎来到我的博客,很高兴能够在这里和您见面!希望您在这里可以感受到一份轻松愉快的氛围,不仅可以获得有趣的内容和知识,也可以畅所欲言、分享您的想法和见解。 推荐:kuan 的首页,持续学习,不断总结,共同进步,活到老学到老 导航 檀越剑指大厂系列:全面总

    2024年02月08日
    浏览(75)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包