Stable Diffusion 准确绘制人物动作及手脚细节(需ControlNet扩展)

这篇具有很好参考价值的文章主要介绍了Stable Diffusion 准确绘制人物动作及手脚细节(需ControlNet扩展)。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

目前AI绘图还是比较像开盲盒,虽然能根据语义提供惊艳的图片,但是与设计师所构思的目标还是有一定距离。
那像我们这种没有绘画功底的程序员想要制作出心中的人物(尤其手脚)姿态,该怎样减少随机开盒的次数呢?
本文提供几种精确控制人物动作的方法。

  • 安装及其问题解决参考:《Windows安装Stable Diffusion WebUI及问题解决记录》;
  • 运行使用时问题《Windows使用Stable Diffusion时遇到的各种问题整理》;
  • 模型运用及参数《Stable Diffusion 个人推荐的各种模型及设置参数、扩展应用等合集》;
  • 提示词生图咒语《AI绘图提示词/咒语/词缀/关键词使用指南(Stable Diffusion Prompt 设计师操作手册)》;
  • 不同类的模型Models说明《解析不同种类的StableDiffusion模型Models》;
  • 绘制人物动作及手脚细节《Stable Diffusion 准确绘制人物动作及手脚细节(需ControlNet扩展)》;
  • 各种风格对比及实际运用《AI绘图风格对照表/画风样稿详细研究记录及经验总结》;

注意:正式使用前请先确认你的Stable Diffusion Webui中已经安装了ControlNet扩展和OpenPose Editor插件,ControlNet扩展所需的模型candydepthopenpose(建议全给装了)也部署到位。

不会安装的同学参考:《Stable Diffusion中ControlNet和OpenPose的安装教程》

Stable Diffusion 准确绘制人物动作及手脚细节(需ControlNet扩展)

流程整理:无论那种方法,操作思路都差不多

  1. 参考图:摆pose出参考图,尽量表达到位;
  2. 分析调试:将参考图提供给controlnet使用并进行微调;
  3. 出图:Stable Diffusion开盲盒出图(期间需若干参数调整)。

一、在线人偶摆pose法

准备

大都大同小异,具体摆pose方法我就不写了,多调调就能掌握的。
网址:
https://app.posemy.art/
https://webapp.magicposer.com/
https://www.anyposes.com/

参考图

摆好相机位置,清除背景,生成pose参考图。
Stable Diffusion 准确绘制人物动作及手脚细节(需ControlNet扩展)

分析调试

将图片放入controlnet,分析openpose,得到结构图(重要),深度图和边缘图看需要,注意权重、介入和退出的时机。

Stable Diffusion 准确绘制人物动作及手脚细节(需ControlNet扩展)

Stable Diffusion 准确绘制人物动作及手脚细节(需ControlNet扩展)

Stable Diffusion 准确绘制人物动作及手脚细节(需ControlNet扩展)
越白越亮表示离观看者越近,本案例中右侧的人物更亮更白,这说明controlnet的深度图分析错了。

生图

本节参考图中的人物细节有重合的部分,因此将容易混淆的部分用文字描述来约束。
Stable Diffusion 准确绘制人物动作及手脚细节(需ControlNet扩展)

Generation Data:

modelshoot style, 2warrior, fall backward with arms outstretched, push down, Roman Colosseum, helmet, cloudy sky, 
Negative prompt:  easynegative
Seed: -1, Steps: 32, Sampler: DPM++ SDE Karras, CFG scale: 10

Stable Diffusion 准确绘制人物动作及手脚细节(需ControlNet扩展)

Stable Diffusion 准确绘制人物动作及手脚细节(需ControlNet扩展)

Stable Diffusion 准确绘制人物动作及手脚细节(需ControlNet扩展)

二、OPENPOSE自画法

准备

  • 安装OpenPose Editor教程:
    https://github.com/fkunn1326/openpose-editor/blob/master/README.zh-cn.md
  • 重启Stable Diffusion WebUI

参考图

通过 OpenPose Editor 编辑一下人物形态。
Stable Diffusion 准确绘制人物动作及手脚细节(需ControlNet扩展)

分析调试

发送到 >>>文生图,并且配置参数

Stable Diffusion 准确绘制人物动作及手脚细节(需ControlNet扩展)

生图

随便写点适合的东西。
Stable Diffusion 准确绘制人物动作及手脚细节(需ControlNet扩展)

Generation Data:

modelshoot style, (extremely detailed CG unity 8k wallpaper), full shot body photo of the most beautiful artwork in the world, beautiful women, (1dancer:1.5),(2hands:1.5)
Negative prompt:  easynegative, canvas frame, cartoon, 3d, ((disfigured)), ((bad art)), ((deformed)),((extra limbs)),((close up)),((b&w)), wierd colors, blurry, (((duplicate))), ((morbid)), ((mutilated)), [out of frame], extra fingers, mutated hands, ((poorly drawn hands)), ((poorly drawn face)), (((mutation))), (((deformed))), ((ugly)), blurry, ((bad anatomy)), (((bad proportions))), ((extra limbs)), cloned face, (((disfigured))), out of frame, ugly, extra limbs, (bad anatomy), gross proportions, (malformed limbs), ((missing arms)), ((missing legs)), (((extra arms))), (((extra legs))), mutated hands, (fused fingers), (too many fingers), (((long neck))), Photoshop, video game, ugly, tiling, poorly drawn hands, poorly drawn feet, poorly drawn face, out of frame, mutation, mutated, extra limbs, extra legs, extra arms, disfigured, deformed, cross-eye, body out of frame, blurry, bad art, bad anatomy, 3d render
Seed: -1, Steps: 32, Sampler: DPM++ SDE Karras, CFG scale: 10

Stable Diffusion 准确绘制人物动作及手脚细节(需ControlNet扩展)

单纯使用本方法的话,目前没法产生深度图和边缘图。

3D进化

3D版的openpose,参考这篇文章进行操作:
AI绘图实战(十一):将纸质儿童画修改为电子照片/3D Openpose插件使用 | Stable Diffusion成为设计师生产力工具

三、Blender三维建模方式

本方法可以提供深度图、结构图~~~

准备

  • 下载blender并安装
    https://www.blender.org/
  • 下载3D模型(目前最新版本为5.0)
    https://toyxyz.gumroad.com/l/ciojz
  • 如果无法打开该页面的话,可下载:
    https://download.csdn.net/download/snans/87581401

参考图

用blender打开下载的模型,调整人物的姿势,如图:

Stable Diffusion 准确绘制人物动作及手脚细节(需ControlNet扩展)
调整分辨率

Stable Diffusion 准确绘制人物动作及手脚细节(需ControlNet扩展)

分别打勾depthcannypose后渲染图形就能得到controlnet所需的图片
Stable Diffusion 准确绘制人物动作及手脚细节(需ControlNet扩展)
Stable Diffusion 准确绘制人物动作及手脚细节(需ControlNet扩展)

Stable Diffusion 准确绘制人物动作及手脚细节(需ControlNet扩展)

出图方法如下:

  • 深度图
    如上图选中depth,渲染出深度图另存即可
    Stable Diffusion 准确绘制人物动作及手脚细节(需ControlNet扩展)

  • 边缘图
    选中canny后根据下图配置完compositing,再渲染保存就是canny图
    Stable Diffusion 准确绘制人物动作及手脚细节(需ControlNet扩展)
    Stable Diffusion 准确绘制人物动作及手脚细节(需ControlNet扩展)

  • 骨骼图
    取消canny图中所设置的反转颜色,否则出图不正确
    Stable Diffusion 准确绘制人物动作及手脚细节(需ControlNet扩展)

选中openpose后渲染图形

Stable Diffusion 准确绘制人物动作及手脚细节(需ControlNet扩展)

分析调试

将三张图分别导入controlnet中,参考方案一。

生图

写一下关键字生图。
Stable Diffusion 准确绘制人物动作及手脚细节(需ControlNet扩展)

Stable Diffusion 准确绘制人物动作及手脚细节(需ControlNet扩展)
stable diffusion似乎在这个机位角度对身形的分析并不好,这小粗腿。-_-!

四、常用图片识别法

准备

真人摆pose照一张

参考图

本文用安娜·谢尔巴科娃的照片~~
Stable Diffusion 准确绘制人物动作及手脚细节(需ControlNet扩展)

分析调试

controlnet分析绘制出边缘图、骨骼图和深度图。
Stable Diffusion 准确绘制人物动作及手脚细节(需ControlNet扩展)
Stable Diffusion 准确绘制人物动作及手脚细节(需ControlNet扩展)

Stable Diffusion 准确绘制人物动作及手脚细节(需ControlNet扩展)

这种干净单一的画面,controlnet分析出的结果是比较准确的,所以如果真的用于生产制作,那么绿幕或干净的背景还是有一定必要的。

生图

Stable Diffusion 准确绘制人物动作及手脚细节(需ControlNet扩展)

figure skating, Style-Empire, 8k portrait of beautiful young woman, sports
Negative prompt: [lowres, cropped, watermark, jpeg artifacts, low quality, normal quality, bad anatomy, text error, worst quality]
Size: 1024x691, Seed: -1, Steps: 32, Sampler: DPM++ SDE Karras, CFG scale: 5,

Stable Diffusion 准确绘制人物动作及手脚细节(需ControlNet扩展)

Stable Diffusion 准确绘制人物动作及手脚细节(需ControlNet扩展)

如果降低controlnet的约束参数,很可能生图生出双人滑冰~~

Stable Diffusion 准确绘制人物动作及手脚细节(需ControlNet扩展)

简单易用,以后想作图自己做动作就行了。

五、PS修补法

这是针对图样出完以后的细节修改方法。

准备

  • 准备好PHOTOSHOP等图片编辑软件
  • 准备一张待修改的图片

Stable Diffusion 准确绘制人物动作及手脚细节(需ControlNet扩展)

  • 寻找一张手图
    Stable Diffusion 准确绘制人物动作及手脚细节(需ControlNet扩展)

参考图

  • 在photoshop中,将手放在合适的位置并且将色彩尽可能调一致,这涉及到phososhop的部分知识。

Stable Diffusion 准确绘制人物动作及手脚细节(需ControlNet扩展)

分析调试

生成参考图导入Stable Diffusion的 图生图>>>局部重绘

画笔涂抹需修改的对象(此处为手)后,配置参数(需多次调整)生图,直到满意为止。
其间可能除了修改主要对象外,对对象周围的部分也可能以涂抹方式修改。

Stable Diffusion 准确绘制人物动作及手脚细节(需ControlNet扩展)

生图

手的光影色彩协调了(其实错了),但细节丢失了。

Stable Diffusion 准确绘制人物动作及手脚细节(需ControlNet扩展)
像这种小修小改的,绘画专业的人员用传统方式改动可能更快更细腻更准确。文章来源地址https://www.toymoban.com/news/detail-401338.html

到了这里,关于Stable Diffusion 准确绘制人物动作及手脚细节(需ControlNet扩展)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Stable Diffusion | ControlNet:Reference“垫图”功能,不炼丹也能保持同一人物

    ControlNet推出Reference(参考)控制类型也有一段时间了,最近体验了一下,被他的强大的效果震惊到了。 之前一直想生成同一主体系列图片,需要Lora炼丹,这个不仅需要电脑有一定的配置,还要处理大量素材图片耗时耗力,现在Reference却可以调调参数,测测数据,毫不费力的满

    2024年03月25日
    浏览(55)
  • 〔011〕Stable Diffusion 之 解决绘制多人或面部很小的人物时面部崩坏问题 篇

    相信很多人在画图时候,特别是画 有多个人物 图片或者 人物在图片中很小 的时候,都会很容易出现面部崩坏的问题 这是由于神经网络无法完全捕捉人脸的微妙细节和变化,导致产生了不自然或扭曲的结果 虽然 stable diffusion 在出图的时候自带了一个 面部修复(Restore faces) 按

    2024年02月12日
    浏览(52)
  • 〔AI 绘画〕Stable Diffusion 之 解决绘制多人或面部很小的人物时面部崩坏问题 篇

    相信很多人在画图时候,特别是画 有多个人物 图片或者 人物在图片中很小 的时候,都会很容易出现面部崩坏的问题 这是由于神经网络无法完全捕捉人脸的微妙细节和变化,导致产生了不自然或扭曲的结果 虽然 stable diffusion 在出图的时候自带了一个 面部修复(Restore faces) 按

    2024年02月12日
    浏览(94)
  • Stable Diffusion stable-diffusion-webui ControlNet Lora

    Stable Diffusion用来文字生成图片,ControlNet就是用来控制构图的,LoRA就是用来控制风格的 。 国内加速官网: mirrors / AUTOMATIC1111 / stable-diffusion-webui · GitCode 安装参考: Stable Diffusion安装与常见错误(+Lora使用)2023年最新安装教程_cycyc123的博客-CSDN博客 保姆级教程:从0到1搭建St

    2024年02月09日
    浏览(73)
  • Stable Diffusion使用controlnet报错

    1、问题描述,使用controlnet时报错如下 error running process: G:\\0111stable-diffusion-webuiextensionssd-webui-controlnetscriptscontrolnet.py Traceback (most recent call last):   File \\\"G:\\0111stable-diffusion-webuimodulesscripts.py\\\", line 418, in process     script.process(p, *script_args)   File \\\"G:\\0111stable-diffusion-webuiextensi

    2024年02月09日
    浏览(50)
  • Stable Diffusion中的ControlNet插件

    ControlNet 的中文就是控制网,本质上是Stable Diffusion的一个扩展插件,在2023年2月份由斯坦福大学的研究人员开发出来的,能够使创作者轻松地控制AI图像和视频中的对象。它将根据边缘检测、草图处理或人体姿势等各种条件来控制图像生成。ControlNet可以概括为一种简单的稳定

    2024年02月09日
    浏览(48)
  • 【Stable Diffusion】ControlNet基本教程(三)

    接上篇【Stable Diffusion】ControlNet基本教程(二),本篇再介绍两个ControlNet常见的基本用法,更多用法欢迎关注博主,博主还会更新更多有趣的内容。 3.3更换物体皮肤 有时,我们不想改变物体的轮廓,只想改变物体表面的皮肤,例如,同一种鞋型,我们让它生成不同的鞋子表

    2024年02月09日
    浏览(33)
  • 【Stable Diffusion】ControlNet基本教程(一)

    1.ControlNet是什么 ControlNet是Stable Diffusion用于图像风格迁移和控制的一款插件,作者是2021年才本科毕业,现在在斯坦福大学读博士一年级的中国学生 张吕敏 。ControlNet的出现代表着 AI 生成开始进入 真正可控 的时期,而 AIGC 的可控性 是它进入 实际生产 最关键的一环。在此之前

    2024年02月09日
    浏览(42)
  • 【Stable Diffusion】ControlNet基本教程(二)

    接上篇【Stable Diffusion】ControlNet基本教程(一),本篇介绍两个ControlNet常见的基本用法,更多用法欢迎关注博主,博主还会更新更多有趣的内容。 3.ControlNet基本用法 3.1漫画线稿上色 (1)上传需要处理的图像(Drop Image Here or Click to Upload) (2)启用ControlNet,在“预处理(P

    2024年02月10日
    浏览(43)
  • 精讲stable diffusion的controlNet插件

    controlNet插件是stable diffusion的一个重要插件,甚至可以说正是因为有了controlNet插件,stable diffusion才会具有midjourney所不具备的独特魅力! 我们今天就一起来学习下controlNet插件的安装和每个模型的用法 插件主页 独立的controlNet程序(可独立运行,不依赖于stable diffusion)主页:

    2024年02月06日
    浏览(34)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包