这个AI绘画神器-----SD插件处理服装太给力了!

这篇具有很好参考价值的文章主要介绍了这个AI绘画神器-----SD插件处理服装太给力了!。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

在上一篇文章中,我为大家详细介绍了Stable Diffusion中一个非常有用的插件,名为ADetailer。

这个插件主要用于修复面部问题并为面部和手增加细节。目前,ADetailer包含了14个不同的模型,每个模型都有其独特的用途。我已经对其中大部分模型进行了对比分析。但有一个特殊的模型——DeepFashion,我之前并未介绍,因为它与其他模型有所不同。在这篇文章中,我将详细介绍DeepFashion。

DeepFashion的核心功能

DeepFashion模型的核心功能是处理服装。这个模型的数据集包括来自13个流行服装类别的80多万件服装。使用DeepFashion模型,ADetailer能够检测图像中的服装,并进行分割,以便进行单独处理。

adetailer插件,AI作画,stable diffusion,人工智能,AIGC,AI绘画

我们都知道,Stable Diffusion的自然语言理解能力较弱,无法与DALL-E和Midjourney相提并论。例如,使用SDXL模型生成的这张图片,其提示词是“1位女孩,面带微笑,晨光打在脸上,黑色丝质吊带衫,领口处有精致的蕾丝边,酒红色格子高腰半身裙,全身拍摄,凉鞋,古色古香的鹅卵石街道,景深,虚化”。但是,女孩裙子上的格子图案并没有被体现出来。提示词越长,遗漏的细节就越多。

adetailer插件,AI作画,stable diffusion,人工智能,AIGC,AI绘画

而使用DeepFashion后,可以看到明显的改进,如裙子上的格子图案就被准确体现出来了。

adetailer插件,AI作画,stable diffusion,人工智能,AIGC,AI绘画

再比如,解决提示词污染的问题。例如,一张图片的背景是柠檬黄色,但Stable Diffusion可能会错误地将柠檬图案应用到女孩的裙子上,如下图所示:

adetailer插件,AI作画,stable diffusion,人工智能,AIGC,AI绘画

这时,使用DeepFashion可以有效解决这一问题。它会将裙子单独分离出来,并使用专门的提示词进行描述。这样,如果提示词中不包含“柠檬”,裙子上就不会出现柠檬图案。

安装DeepFashion模型

以下是DeepFashion模型的详细安装过程:

1️⃣Adetailer插件安装

首先,确保已经安装了Adetailer插件。如果尚未安装,可以参考上一篇文章中的步骤进行安装。安装Adetailer是使用DeepFashion的前提条件。

2️⃣下载DeepFashion模型

安装Adetailer插件后,DeepFashion模型不会自动出现在模型列表中。要使用DeepFashion,您需要手动下载它。模型的下载链接是:

https://huggingface.co/Bingsu/adetailer/tree/main。
如果无法通过链接下载,请看文末获取本地插件安装包

3️⃣进入下载页面

在浏览器中输入下载地址后,你将被引导至HuggingFace下载页面。在这里,所有可用的模型都会被列出,你可以找到位于列表首位的DeepFashion模型。旁边有一个下载按钮,点击该按钮开始下载。

adetailer插件,AI作画,stable diffusion,人工智能,AIGC,AI绘画

4️⃣移动模型文件

下载完成后,将下载的模型文件移动到Stable Diffusion的 “webui/models/adetailer” 文件夹内。这一步骤是必要的,以确保WebUI能够正确识别并加载模型。

5️⃣重启WebUI

将DeepFashion模型文件放置在正确的文件夹后,需要重启WebUI。重启后,DeepFashion模型应该出现在Adetailer的模型列表中,这意味着它已经准备好使用了。

安装完成以后,让我们通过两个案例,身临其境,体验DeepFashion的用法。

案例一:使用DeepFashion解决衣物图案问题

1️⃣ 生成初始图片:

  • 打开WebUI界面。

  • 选择模型:“MajicmixRealistic”(在下一个案例中将使用SDXL模型)。

  • 提示词内容:“在现代艺术画廊里穿着亮片裙子的女孩儿”。

  • 根据需要调整其他参数。

  • 点击“生成”查看效果。

adetailer插件,AI作画,stable diffusion,人工智能,AIGC,AI绘画

为了更好地说明问题,我生成了几张不同的图片。从中选取了三张展示出来。可以看到,衣服上的亮片或金色部分错误地出现在了背景中。

adetailer插件,AI作画,stable diffusion,人工智能,AIGC,AI绘画

2️⃣ 使用DeepFashion解决问题:

  • 首先生成一张衣服上没有亮片图案的底图。

  • 指定裙子的颜色为黄色,以避免生成黑色裙子导致亮片不明显。

  • 将“gold sequin pattern”从提示词中剪切出来,稍后在Adetailer中使用。

adetailer插件,AI作画,stable diffusion,人工智能,AIGC,AI绘画

  • 先不勾选Adetailer插件。

adetailer插件,AI作画,stable diffusion,人工智能,AIGC,AI绘画

  • 如遇提示词污染问题,将黄色添加到Cutoff插件中,确保背景不会出现金色亮片。

adetailer插件,AI作画,stable diffusion,人工智能,AIGC,AI绘画

  • 生成底图。

adetailer插件,AI作画,stable diffusion,人工智能,AIGC,AI绘画

3️⃣ 添加亮片效果:

  • 固定随机种子,勾选Adetailer插件。

  • 在Adetailer的模型列表里选择DeepFashion。

  • 使用刚才剪切的“gold sequin pattern”作为提示词。

adetailer插件,AI作画,stable diffusion,人工智能,AIGC,AI绘画

  • 展开“Inpainting”设置,调整“Inpaint denoising strength”(重绘去噪强度)至0.6。

adetailer插件,AI作画,stable diffusion,人工智能,AIGC,AI绘画

  • 生成图片,并观察过程:

  • Stable Diffusion首先根据随机种子生成底图。

  • DeepFashion接管,识别裙子,并对其进行标注和处理。

adetailer插件,AI作画,stable diffusion,人工智能,AIGC,AI绘画

4️⃣ 调整去噪强度以改善效果

  • 如果亮片效果不足,可将去噪强度调至0.7再生成,观察效果。

  • 如需更多亮片,继续将参数调至0.8。

adetailer插件,AI作画,stable diffusion,人工智能,AIGC,AI绘画

案例总结

DeepFashion能够有效地将服装从图片中分离出来进行单独处理,解决了提示词污染问题。这种技术特别适用于那些Stable Diffusion可能无法准确理解和渲染的复杂场景。

例如,使用albedobaseXL模型生成的图片中,绿色的裙子和柠檬黄的背景被准确分离,没有出现混淆。

adetailer插件,AI作画,stable diffusion,人工智能,AIGC,AI绘画

而使用dreamshaperXL-Turbo模型生成的图片就出现了问题,背景中的柠檬黄色错误地出现在了裙子上。

adetailer插件,AI作画,stable diffusion,人工智能,AIGC,AI绘画

在这种情况下,DeepFashion就显现出了其优越性,能够准确地处理和优化图片中的服装元素。

通过这个案例,我们可以看到,DeepFashion不仅提高了Stable Diffusion生成图像的质量,也为我们在图像生成过程中提供了更多的控制和创造力。

案例二:优化SDXL模型中的颜色处理

在Stable Diffusion的应用中,尤其是使用SDXL模型时,我们经常遇到提示词污染问题,特别是在处理颜色时。让我们通过一个实际案例,探索如何使用DeepFashion来解决这一挑战。

1️⃣ 设置与生成初步图片:

  • 模型选择:更换为SDXL模型。

  • 提示词设定:“年轻模特,时尚摄影,无袖祖母绿 A 字连衣裙,花朵蕾丝装饰,柠檬黄背景,漂浮的白色气球”。

  • 分辨率:设为832x1216。

adetailer插件,AI作画,stable diffusion,人工智能,AIGC,AI绘画

  • 生成结果:希望得到的是白色气球,但图片中出现了黄色和绿色的气球。

adetailer插件,AI作画,stable diffusion,人工智能,AIGC,AI绘画

2️⃣ 重复生成以寻求改善:

  • 第一次重新生成:去除了绿色气球,但仍有黄色气球。

  • 第二次重新生成:问题更加夸张,裙子上出现了花朵。

adetailer插件,AI作画,stable diffusion,人工智能,AIGC,AI绘画

通过这个案例,我们看到了SDXL模型在处理特定颜色和元素时的挑战。虽然重复生成图片可能会带来一些改进,但结果仍然不稳定,且不符合我们的预期。为了解决这一问题,DeepFashion插件就显得尤为重要。

在接下来的内容中,我将展示如何使用DeepFashion来精确控制图像中的颜色元素,确保生成的图像更加符合我们的预期。

3️⃣ 尝试使用“BREAK”关键词:

  • 简化提示词:去掉“蕾丝装饰”。

  • 在“裙子”和“柠檬黄背景”之后加入“BREAK”关键词。

adetailer插件,AI作画,stable diffusion,人工智能,AIGC,AI绘画

  • 生成结果:出现了黑色气球,背景颜色错误。

adetailer插件,AI作画,stable diffusion,人工智能,AIGC,AI绘画

2️⃣ 多次尝试改进

  • 再次生成:裙子和气球颜色正确,但背景色仍然不准确。

  • 最后一次尝试:颜色终于正确,但方法不稳定,依赖运气。

adetailer插件,AI作画,stable diffusion,人工智能,AIGC,AI绘画

我们用抽卡的方式实现了想要的效果。但是可以看到,这种方法不稳定,得靠运气。接下来我们用DeepFashion实现更可控的效果。

1️⃣ 准备阶段:

  • 删除提示词中的“祖母绿”,准备稍后通过DeepFashion进行调整。

  • 生成图片,确保背景和气球颜色正确。

adetailer插件,AI作画,stable diffusion,人工智能,AIGC,AI绘画

2️⃣ 应用DeepFashion处理衣服:

  • 固定随机种子。

  • 启用Adetailer插件,选择DeepFashion模型。

  • 添加描述:“祖母绿无袖 A 字裙,花朵蕾丝”。

adetailer插件,AI作画,stable diffusion,人工智能,AIGC,AI绘画

  • 调整“Inpaint denoising strength”至0.7,然后生成。

adetailer插件,AI作画,stable diffusion,人工智能,AIGC,AI绘画

  • 观察到裙子颜色主要仍是白色。

adetailer插件,AI作画,stable diffusion,人工智能,AIGC,AI绘画

3️⃣ 增强效果

  • 提高“Inpaint denoising strength”至0.8,再生成。

adetailer插件,AI作画,stable diffusion,人工智能,AIGC,AI绘画

  • 尝试使用更高的0.9值,裙子变为祖母绿色,但边缘仍有白色残留。

adetailer插件,AI作画,stable diffusion,人工智能,AIGC,AI绘画

4️⃣ 微调蒙版处理

  • 调整“Mask Preprocessing”中的“Mask erosion/dilation”参数。

adetailer插件,AI作画,stable diffusion,人工智能,AIGC,AI绘画

  • 将蒙版扩张设为12,生成图片,白边减少。

adetailer插件,AI作画,stable diffusion,人工智能,AIGC,AI绘画

  • 进一步调整至16,几乎消除了所有白边。

adetailer插件,AI作画,stable diffusion,人工智能,AIGC,AI绘画

结论与应用

DeepFashion作为Adetailer中的一个独特模型,可以独立处理服装,从而避免提示词污染问题,同时为服装增加细节。它不仅支持SD1.5模型,还支持SDXL模型。当你需要处理服装时,DeepFashion是一个值得考虑的选择。

写在最后

感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。

adetailer插件,AI作画,stable diffusion,人工智能,AIGC,AI绘画

AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。

adetailer插件,AI作画,stable diffusion,人工智能,AIGC,AI绘画

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。

adetailer插件,AI作画,stable diffusion,人工智能,AIGC,AI绘画

adetailer插件,AI作画,stable diffusion,人工智能,AIGC,AI绘画

二、AIGC必备工具

工具都帮大家整理好了,安装就可直接上手!
adetailer插件,AI作画,stable diffusion,人工智能,AIGC,AI绘画

三、最新AIGC学习笔记

当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
adetailer插件,AI作画,stable diffusion,人工智能,AIGC,AI绘画
adetailer插件,AI作画,stable diffusion,人工智能,AIGC,AI绘画

四、AIGC视频教程合集

观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

adetailer插件,AI作画,stable diffusion,人工智能,AIGC,AI绘画

五、实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
adetailer插件,AI作画,stable diffusion,人工智能,AIGC,AI绘画文章来源地址https://www.toymoban.com/news/detail-859116.html

adetailer插件,AI作画,stable diffusion,人工智能,AIGC,AI绘画 若有侵权,请联系删除

到了这里,关于这个AI绘画神器-----SD插件处理服装太给力了!的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • AI 绘画Stable Diffusion 研究(六)sd提示词插件

    大家好,我是风雨无阻。 今天为大家推荐一款可以有效提升我们使用 Stable Diffusion WebUI 效率的插件, 它就是 prompt-all-in-one, 它不但能直接将 WebUI 中的中文提示词转换为英文,还能一键为加权重,更能建立常用提示词库,这对于英语不熟练的朋友非常实用。 今天的内

    2024年02月13日
    浏览(34)
  • AI 绘画Stable Diffusion 研究(十二)SD数字人制作工具SadTlaker插件安装教程

    免责声明: 本案例所用安装包免费提供,无任何盈利目的。 大家好,我是风雨无阻。 想必大家经常看到,无论是在产品营销还是品牌推广时,很多人经常以数字人的方式来为自己创造财富。而市面上的数字人收费都比较昂贵,少则几千,多则上万。 那么如何才能拥有一个免

    2024年02月12日
    浏览(32)
  • AI绘画(sd webui)报错mat1 and mat2 shapes cannot be multiplied的处理

    问题描述 在用webui转换游戏图标的风格时,使用controlnet固定图标样式,运行报错:RuntimeError: mat1 and mat2 shapes cannot be multiplied (154x1024 and 768x320),报错说的是pytorch在进行矩阵乘法运算时,第一个矩阵的行数与第二矩阵的列数不相等,无法作乘法。 解决方法 一头雾水,查了gi

    2024年02月11日
    浏览(25)
  • AI 绘画 | Stable Diffusion 人物 换背景|换服装

    想要给 固定人物 换背景或者换服装,需要用到一个Stable Diffusion扩展插件,就是sd-webui-segment-anything。 sd-webui-segment-anything 不仅可以做到抠图的效果,也能实现之多蒙版的效果。 什么是蒙版 图片蒙版是一种用于调节图像修改程度以及进行局部调整的工具。它通常分为四种类型

    2024年02月04日
    浏览(57)
  • 用上这个8个AI写作神器,立马告别写作烦恼困扰,你都会了吗? #AI写作#学习

    我们做自媒体运营,想要快速的创作内容,提供文章的创作速度是我们的目标,我们别的大佬可以很快地就创作出一篇内容,而自己墨迹半天确出不了一个字呢?其实这关乎到创作技巧,下面小编就跟大家分享如何利用自媒体工具辅助自己创作的技巧。 1.七燕写作 这是一个微

    2024年04月16日
    浏览(29)
  • [SD]AI绘画Stable Diffusion使用心得

    01 什么是SD? Stable Diffusion Stable Diffusion(简称SD)是2022年发布的深度学习文本到图像生成模型,它是一种潜在扩散模型,它由创业公司Stability AI与多个学术研究者和非营利组织合作开发。目前的SD的源代码和模型都已经开源,在Github上由AUTOMATIC1111维护了一个完整的项目,正在由全

    2024年04月17日
    浏览(36)
  • AI绘画SD迎来动画革命,AnimateDiff快速出图

    如果放在几年前,你告诉我说只需一分钟就能做出一段这样的动画,我是万万不相信的,但是当AI时代来临之后,一切都有了可能。 今天给大家介绍一个可以快速在sd中生成动画的方法,就是一个叫做AnimateDiff的免费开源项目。现在已经整合到了webUI上面,使用起来非常方便。

    2024年04月29日
    浏览(31)
  • 腾讯推出开源AI绘画平台,可一键保存或复现SD绘画工作流

    日前腾讯推出一款基于AI绘画开源平台 StableDiffusion webUI(以下简称SD)的开源插件LightDiffusionFlow,并且已经在GitHub上发布。 该插件宣称“可以帮助用户一键保存所有工作流数据,下次使用只需拖入Flow文件,就能快速复现整个工作流,就像使用 Photoshop 的 PSD样机文件那样方便”。

    2024年02月03日
    浏览(31)
  • AI绘画 | 如何利用SD垫图实现照片风格转换

    “ 小红书上有很多用AI做卡通头像的,大概思路是你拍一张个人照片发给博主,博主利用midjourney的垫图功能转换成卡通形象,一张收取一定费用…… ” 看过之前文章的人都应该知道,midjourney是付费的软件,而且需要一定魔法上网能力。 今天给大家分享,利用Stable Diffusion(

    2024年04月12日
    浏览(29)
  • 照片也能跳舞?仅需3秒,这个AI神器让你的照片变3D动画……

      上面的动画好玩么? 他原本可不是动画,而是下面这张照片一键生成的,神不神奇? 今天介绍的这个工具可以轻松实现这个效果。 这个工具叫做LeiaPix Converter,可以帮助用户轻松将普通照片转换为具有运动效果的3D图片,这对于那些想要给照片添加创新效果的朋友们来说非

    2024年02月09日
    浏览(33)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包