Stable Diffusion控制人物脸部和手的方法

这篇具有很好参考价值的文章主要介绍了Stable Diffusion控制人物脸部和手的方法。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

 目前Stable Diffusion在人体姿态控制方面已经取得了比较稳定的效果,但是在人脸和手部姿势的控制上还没有很好的解决,经常会出现崩手和崩脸的情况。

01

After Detailer解决崩脸的问题

    After Detailer是sd的一个扩展,类似于Detection  Detailer,不同的是它用ultralytics代替了mmdet。

  首先我们启动SD,然后再扩展界面,选择从网址https://github.com/Bing-su/adetailer.git安装此扩展,然后重启UI

    然后我们用国风3生成图片如图

Stable Diffusion控制人物脸部和手的方法,stable diffusion

面部图像不是很完美,有一点崩脸的情况,然后我们再开启ADetailer,

Stable Diffusion控制人物脸部和手的方法,stable diffusion

选择模型face_yolov8n.pt,然后提示词用detailed face,生成图像如下,脸部有了明显的改善,但是崩手的问题依然没有解决,没关系,接着往下看,我们尝试不同的方法来解决这个问题

Stable Diffusion控制人物脸部和手的方法,stable diffusion

02


崩手问题解决

第一种方法我们用embedding模型,在C站上有很多模型,比如

Stable Diffusion控制人物脸部和手的方法,stable diffusion

我们下载模型然后将模型放在embedding目录下,然后在负面提示中加入negative_hand-neg,然后生成图像,对比上面崩手的问题有了明显的改善

Stable Diffusion控制人物脸部和手的方法,stable diffusion


第二种方法我们用LyCORIS模型来解决,LyCORIS和LORA差不多,都是微调模型,C站上同样也有,我们下载如图这个模型,然后放到LyCORIS文件夹

Stable Diffusion控制人物脸部和手的方法,stable diffusion

然后在提示词中加入 <lyco:GoodHands-beta2:1.0> ,生成如下图片,崩手问题也得到了很好的解决

Stable Diffusion控制人物脸部和手的方法,stable diffusion

第三种方法,我们用controlnet来进行手势控制

Stable Diffusion控制人物脸部和手的方法,stable diffusion

将崩手的图片拖到controlNET unit0,然后点击Stable Diffusion控制人物脸部和手的方法,stable diffusion进行预览,预览图如下图所示

Stable Diffusion控制人物脸部和手的方法,stable diffusion

然后点击编辑预览图

Stable Diffusion控制人物脸部和手的方法,stable diffusion

这里需要注意的是,如果点编辑报错,需要安装openpose editor,点击不同的部位,比如左手,右手进行编辑,编辑完成后发送到ControlNet

Stable Diffusion控制人物脸部和手的方法,stable diffusion

再次文生图,得到如下效果

Stable Diffusion控制人物脸部和手的方法,stable diffusion

看上去效果有改善,但还需要进一步微调

上面介绍的三种解决崩手的方法,可以用一种,也可以多种方法同时启用,只要能够效率的解决问题即可。

有SD出图崩手和崩脸困扰的朋友,也来一起试试吧
文章来源地址https://www.toymoban.com/news/detail-587842.html

到了这里,关于Stable Diffusion控制人物脸部和手的方法的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Stable Diffusion 崩脸修复神器!为什么你出的全身照脸部总是惨不忍睹

    我们用stable diffusion生成人物图片的时候,可能经常会遇到脸崩的情况,今个儿给大家分型一个超强修复烂脸的插件adetailer,这个插件可以有效改善脸崩的情况。(插件获取方式:文末扫码) After Detailer 是 Stable Diffusion 中的一个扩展,主要用于 解决崩坏的面部问题。受限于出

    2024年04月11日
    浏览(115)
  • stable diffusion实践操作-提示词-人物属性

    stable diffusion实践操作-提示词 本文主要收纳总结了提示词-人物属性。 角色类型 人物 身材 胸部 头发-发型 头发-发色 [女仆] [霊烏路空] [大腿] [乳房] [呆毛] [紫发] 英文=maid 英文=reiuji utsuho 英文=thighs 英文=breasts 英文=ahoge 英文=purple hair [女巫] [琪露诺] [粗腿] [小乳房] [刘海] [银

    2024年02月10日
    浏览(42)
  • stable diffusion实践操作-提示词-人物服饰

    stable diffusion实践操作-提示词 本文主要收纳总结了提示词-人物服饰。 耳饰 帽子 内裤 内衣 上身 饰品 手部 [月牙耳环] [头顶光环] [丁字裤] [胸罩] [披风] [太阳镜] [珠子手链] 英文=crescent earrings 英文=halo 英文=thong 英文=bra 英文=capelet 英文=sunglasses 英文=bead bracelet [心形耳环] [迷

    2024年02月10日
    浏览(41)
  • Stable Diffusion 绘画初探 chilloutmix模型 人物画像首选

    AI绘画发展以来出现了很多优质的平台,Stable Diffusion是普通大众最爱的之一,比起MJ来讲,它是现在愿意动手的人的首选,在这里要首先感谢GITHUB上的一众开源大佬。 AI绘画首先吸引大家的不用说了,肯定是那些看起来美若天仙的小姐姐。无论二次元、三次元的都是,像我这

    2024年02月11日
    浏览(47)
  • stable diffusion 人物高级提示词(三)动作、表情、眼神

    中文 英文 站立 Standing 走路 Walking 身体前倾 Leaning Forward 鞠躬 Bowing 战斗姿势 Fighting Stance 单腿站立 Standing on One Leg 坐在椅子上 Sitting on a Chair 手叉腰 Hand on Hip 手插兜 Hand in Pocket 双臂交叉 Crossed Arms 翘二郎腿 Crossed Legs 跪地 Kneeling 双手举起来 Hands Up 双臂高举 Arms Up 双臂放在身后

    2024年01月25日
    浏览(69)
  • AI 绘画 | Stable Diffusion 人物 换背景|换服装

    想要给 固定人物 换背景或者换服装,需要用到一个Stable Diffusion扩展插件,就是sd-webui-segment-anything。 sd-webui-segment-anything 不仅可以做到抠图的效果,也能实现之多蒙版的效果。 什么是蒙版 图片蒙版是一种用于调节图像修改程度以及进行局部调整的工具。它通常分为四种类型

    2024年02月04日
    浏览(71)
  • SadTalker:让stable diffusion人物说话的创新工具

    SadTalker是一个GitHub项目,能够根据图片和音频合成面部说话的视频。现已支持stable diffusion webui,可以结合音频合成面部说话的视频。本文详细介绍了安装过程和使用教程。

    2024年02月08日
    浏览(57)
  • Stable Diffusion 指定模型人物,Lora 训练全流程

    在使用 Stable Diffusion 的时候,可以选择别人训练好的 Lora,那么如何训练自己的 Lora,本篇文章介绍了介绍了如何训练Lora,如何从训练的模型中选择好的模型,如何在 Stable Diffusion 中使用。 闲话不多说,直接实际操作吧,干货满满,记得关注哦,以免找不到了。首先我们来获

    2024年02月09日
    浏览(62)
  • Stable Diffusion中人物生成相关的negative prompts

    下面是常用的negative prompt,在使用stable Diffusion webui等工具生成时可以填入。 参考来源 https://www.youtube.com/watch?v=TpuDOsuKIBo https://www.youtube.com/watch?v=mfaqqL5yOO4

    2024年02月14日
    浏览(49)
  • 试用有奖:在线试用stable diffusion 模型生成优质人物好图

    InsCode是一个集成了在线IDE、在线AI编程、在线算力租赁、在线项目部署以及在线SD 模型使用的综合代码开发平台。不论你是初级软件工程师,还是AI大模型爱好者,InsCode都能帮助你快速编写代码,运行项目。甚至在这里你还可以一键购买算力,训练大模型,开发自己的AI应用

    2024年02月13日
    浏览(57)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包