AI绘画SD插件ControlNet模型解析

这篇具有很好参考价值的文章主要介绍了AI绘画SD插件ControlNet模型解析。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

ControlNet控制网

功能型:

  • IP2P : 环境背景天气修改, 以及单独修改人物, make it xxx 。

  • Tile分块重采样:忽略细节,并添加新的细节。

  • Inpaint局部重绘: 修改局部时, 更能懂得输入的提示词元素。

  • Reference参考:生成与参考图像相似的图像。会受模型和提示词的影响。只使用预处理器,不适用控制模型。

    Tip:双重参考可以达到2者融合合成的效果,比如头部和身体,在2个ControlNet单元中进行。

  • Shuffle:洗牌转换,将整个输入图像构图打乱,重新进行组合,构图变化,生成一系列S卡。

  • Seg语意分割: 把一些类别的东西进行区分, 对应的地方填上对应的东西,提取到了元素的精确位置。ADE20K和Coco分割的颜色图是不同的。

T2IA自适应:

  • color_grid:像素画处理,提取图像主要颜色,不保留构图。
  • sketch_pidi:手绘边缘处理,提取大体轮廓。
  • style_clipvision:风格迁移处理,将输入图像转化为clip视觉嵌入。包含有关图像内容和风格的丰富信息。参考比reference更加强。

构图规则型:

  • OpenPose姿态:检测人体各部位的关键点,只提取姿态信息,用于控制绘图中人物的动作和姿态,可以自己调节,主要有:头、肩部、胳膊、手、屁股、腿、脚,这样就能基本上控制人物的平面姿态了,3D OpenPose 则可以旋转调节角度,控制三维姿态。

    Tip:使用控制图进行扩散时,不使用预处理器,

  • canny 算法: 将背景图轮廓描绘出来, 将人物和周边的景物轮廓描绘出来,硬边缘方式。图像线条性更好,适合制作艺术字和Logo。

  • Lineart线稿:可以用于人物上色。

AI绘画SD插件ControlNet模型解析,AI绘画,SD,AI作画,stable diffusion

  • pedNet : 边缘检测算法, 检测的东西更加粗糙, 没有hed精细。

涂鸦算法: 把重要地方展现出来,用的比较少。

depth 算法: 深度图算法, 捕捉图片中的空间关系,还原场景,控制人物和场景。

  • LeRess:检测构图,细节少。
  • LeRess++:检测构图,环境主体细节更多。
  • Mldas深度估算:主体细节更多,环境细节更少。
  • Zoe深度估算:主体细节少,环境细节多。

法线贴图:提取轮廓内部的特征,适用于传输输入图像的3D,输入图像3D时,法线提取效果比深度更好。
AI绘画SD插件ControlNet模型解析,AI绘画,SD,AI作画,stable diffusion

SoftEdge软边缘

  • hed算法 : 模糊边缘, 对细节进行补充。带safe的细节和质量更高,也更吃显存。

M LSD直线检测器: 忽略曲线,提取直线,适用于建筑大模型和Lora。文章来源地址https://www.toymoban.com/news/detail-677193.html

到了这里,关于AI绘画SD插件ControlNet模型解析的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • AI 绘画Stable Diffusion 研究(十二)SD数字人制作工具SadTlaker插件安装教程

    免责声明: 本案例所用安装包免费提供,无任何盈利目的。 大家好,我是风雨无阻。 想必大家经常看到,无论是在产品营销还是品牌推广时,很多人经常以数字人的方式来为自己创造财富。而市面上的数字人收费都比较昂贵,少则几千,多则上万。 那么如何才能拥有一个免

    2024年02月12日
    浏览(46)
  • AI 绘画Stable Diffusion 研究(三)sd模型种类介绍及安装使用详解

    本文使用工具,作者:秋葉aaaki 免责声明: 工具免费提供 无任何盈利目的 大家好,我是风雨无阻。 今天为大家带来的是 AI 绘画Stable Diffusion 研究(三)sd模型种类介绍及安装使用详解。 目前,AI 绘画Stable Diffusion的各种模型层出不穷,这些模型都有什么作用?又该怎么安装使用

    2024年02月12日
    浏览(49)
  • 秋神SD整合包 AI绘画 Stable Diffusion 整合包 V4版 解压即用 AI绘图模型LoRA + 最新

    「 无套路!文末提供下载方式 」 2024年绘画圈最火的软件 那妥妥的就Stable Diffution V4升级版无需安装,直接解压就能用 (在此要感谢秋葉aaaki大佬的分享! )** 比之前版本的更加智能、高效和易操作 V4加强版小白也能轻易上手! Stable Diffusion(简称SD)是一种生成式人工智能

    2024年03月14日
    浏览(64)
  • [AI绘图教程]stable-diffusion webui加载模型与插件. 实战AI绘画

    之前讲了stable diffusion webui搭建,这里主要介绍使用方法以及模型,扩展等. 主要下载网址 HuggingFace:Stable Diffusion、ControlNet的官方仓库。 Civitai:里面多是Lora或其它NSFW等模型的仓库。 这里下载anythingV4的模型,在Huggingface网站中搜索, 下载后放在stable-diffusion-webuimodelsStable-diffusio

    2023年04月09日
    浏览(93)
  • 最新版本 Stable Diffusion 开源 AI 绘画工具之 ControlNet 篇

    ControlNet 就是控制网,并不需要你多了解它的底层原理,简单来说,在 ControlNet 出来前,你使用 stable diffusion 时生成图片,就像开盲盒 在图片生成出来前,你根本不知道图片内容究竟是怎样的,而 ControlNet 就是对于出图更精准的一种控制 随着 ControlNet 的出现,才真正意义上让

    2024年02月08日
    浏览(76)
  • (十三)AI作画、AI绘画、AIGC本地大模型

    AI作画近期很火,涌现出了很多AIGC(AI内容生成)的网站、平台,但这些平台都是使用的云上的算力,基本都有使用的各种限制等。 一、本代码自动将大模型下载本地,可以无-限-使-用。但是对硬件的要求较高需要8G显存以上的显卡才能快速出图,用CPU会很慢的。 【同时,针对

    2024年02月11日
    浏览(57)
  • [SD]AI绘画Stable Diffusion使用心得

    01 什么是SD? Stable Diffusion Stable Diffusion(简称SD)是2022年发布的深度学习文本到图像生成模型,它是一种潜在扩散模型,它由创业公司Stability AI与多个学术研究者和非营利组织合作开发。目前的SD的源代码和模型都已经开源,在Github上由AUTOMATIC1111维护了一个完整的项目,正在由全

    2024年04月17日
    浏览(50)
  • 借助 ControlNet 生成艺术二维码 – 基于 Stable Diffusion 的 AI 绘画方案

    背景介绍 在过去的数月中,亚马逊云科技已经推出了多篇博文,来介绍如何在亚马逊云科技上部署 Stable Diffusion,或是如何结合 Amazon SageMaker 与 Stable Diffusion 进行模型训练和推理任务。 为了帮助客户快速、安全地在亚马逊云科技上构建、部署和管理应用程序,众多合作伙伴与

    2024年02月08日
    浏览(51)
  • 新书速览|AI创意绘画与视频制作:基于Stable Diffusion和ControlNet

    带你创作更高品质的图像与动画,释放无限创意,探密更前沿的AI绘画技巧 本书内容 《AI创意绘画与视频制作:基于Stable Diffusion和ControlNet》将带领读者探索AI绘画和短视频创作的奇妙世界。本书详细介绍 Stable Diffusion的基本概念、原理及其主要功能 的使用,阐述如何使用提示

    2024年01月20日
    浏览(49)
  • AI 绘画Stable Diffusion 研究(十六)SD Hypernetwork详解

    大家好,我是风雨无阻。 本期内容: 什么是 Hypernetwork? Hypernetwork 与其他模型的区别? Hypernetwork 原理 Hypernetwork 如何下载安装? Hypernetwork 如何使用? 在上一篇文章中,我们详细介绍了 embedding 的定义、作用以及如何安装使用 ,相信看过的朋友都知道,embedding 是属于一种将

    2024年02月11日
    浏览(46)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包