AI 绘画Stable Diffusion 研究(二)sd模型ControlNet1.1 介绍与安装

这篇具有很好参考价值的文章主要介绍了AI 绘画Stable Diffusion 研究(二)sd模型ControlNet1.1 介绍与安装。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。


部署包作者:秋葉aaaki

免责声明:
本安装包及启动器免费提供 无任何盈利目的


大家好,我是风雨无阻。

众所周知,StableDiffusion 是非常强大的AI绘图工具,需要详细了解StableDiffusion的朋友,可查看我之前的这篇文章: 最近大火的两大AI绘图工具 Midjourney VS StableDiffusion。


今天为大家带来的是 Stable Diffusion 研究(二)sd模型ControlNet1.1 介绍与安装 。


首先来明确一下这个ControlNet1.1 到到底是什么?

ControlNet1.1 是Stable Diffusion 绘画插件,在2023年4月份更新了 V1.1 版本,发布了14 个优化模型,并新增了多个预处理器,并且在原有的模型上进行了一些优化,让它的功能比之前更加好用了。

那么我们先来详细了解一下 ControlNet1.1 的新模型新功能。


一、ControlNet1.1 的新模型新功能


1、新增Lineart模型 和 lineart_anime模型


现在新增了两个模型,lineart和lineart anime,完全可以替代原来的Canny强大的线稿上色,无论是上色黑白和彩色功能都非常强大。


AI 绘画Stable Diffusion 研究(二)sd模型ControlNet1.1 介绍与安装,AI绘画,人工智能,stable diffusion,AI作画


AI 绘画Stable Diffusion 研究(二)sd模型ControlNet1.1 介绍与安装,AI绘画,人工智能,stable diffusion,AI作画


2、新增Instruct Pix2Pix 模型


模型能够接受一张图像和相应的文字指令(也就是prompt),根据指令来编辑图像,局部整体操纵图像程度的能力。


将白天变为夜晚 ,如图:

AI 绘画Stable Diffusion 研究(二)sd模型ControlNet1.1 介绍与安装,AI绘画,人工智能,stable diffusion,AI作画


换发型 ,如图:


AI 绘画Stable Diffusion 研究(二)sd模型ControlNet1.1 介绍与安装,AI绘画,人工智能,stable diffusion,AI作画


换装 ,如图:

AI 绘画Stable Diffusion 研究(二)sd模型ControlNet1.1 介绍与安装,AI绘画,人工智能,stable diffusion,AI作画


3、 新增Tile 模型

Tile 模型对于图片高清修复、提升细节、根据画面自动推断内容有着很好效果,根据官方的介绍有5种功能:

  • 可以进行图片放大 2x、4x 或 8x 超分辨率
  • 可以在图像中添加、更改或重新生成图像细节
  • 可以修复、细化和改进通过任何其他超分辨率方法获得的不良图像细节
  • 它可以引导SD放大脚本,生成错误的问题
  • 可以完成未完成的图稿,如果这些图稿是用色块绘制的

AI 绘画Stable Diffusion 研究(二)sd模型ControlNet1.1 介绍与安装,AI绘画,人工智能,stable diffusion,AI作画


图像修复前:

AI 绘画Stable Diffusion 研究(二)sd模型ControlNet1.1 介绍与安装,AI绘画,人工智能,stable diffusion,AI作画


图像修复后:

AI 绘画Stable Diffusion 研究(二)sd模型ControlNet1.1 介绍与安装,AI绘画,人工智能,stable diffusion,AI作画


细节调整前:

AI 绘画Stable Diffusion 研究(二)sd模型ControlNet1.1 介绍与安装,AI绘画,人工智能,stable diffusion,AI作画


细节调整后:

AI 绘画Stable Diffusion 研究(二)sd模型ControlNet1.1 介绍与安装,AI绘画,人工智能,stable diffusion,AI作画


4 、新增shuffle 模型

shuffle模型可以称为重组模型,从shuffle模型的是使用效果来看,shuffle模型可以通过获取原图的风格后借助这个风格进行新的图片生成,所以当我们找到比较好的参考图时,就可以使用shuffle模型进行图片创作。


我们先来看一下人物图处理效果:

AI 绘画Stable Diffusion 研究(二)sd模型ControlNet1.1 介绍与安装,AI绘画,人工智能,stable diffusion,AI作画


AI 绘画Stable Diffusion 研究(二)sd模型ControlNet1.1 介绍与安装,AI绘画,人工智能,stable diffusion,AI作画


从成图效果来看,新生成的图片风格、色调、人物的部分姿态都进行还原和保留,因此我们使用Shuffle模型可以使用原图进行参考借鉴,重组画面进行生成的新图片。


再来看一下风景类图处理效果:

AI 绘画Stable Diffusion 研究(二)sd模型ControlNet1.1 介绍与安装,AI绘画,人工智能,stable diffusion,AI作画


AI 绘画Stable Diffusion 研究(二)sd模型ControlNet1.1 介绍与安装,AI绘画,人工智能,stable diffusion,AI作画


从成图来看,主要的配色、风格还是参考了原图的样式,构图结构上也有部分的参考。


新增的功能和模型效果介绍就到这里了,接下来介绍一下,如何安装和使用ControlNet1.1。


之前,我们一直在用的是Control插件,其实只需要将插件升级到新版本以后,就可以用新版本的模型了。所以我们只需更新插件,然后下载新的模型放进去就好。


二、安装ControlNet1.1

本次升级和安装的内容主要有2点:

  • 升级 ControlNet插件版本

  • 安装各种预处理器的模型


如果你还没有安装 Stable Diffusion 整合包,可以阅读 Stable Diffusion 研究(一)sd整合包v4.2 版本安装说明 这篇文章,了解安装 Stable Diffusion 整合包需要的电脑配置以及下载相关的安装包。


首先需要准备好ControlNet 1.1 安装文件,文件集成在整合包sd-webui-aki-v4.2 版本 里,没有下载的朋友,可以去自行下载。


1、升级 ControlNet插件版本

第一步, 进入整合包目录:sd-webui-aki-v4, 直接双击 A启动器.exe 运行


启动后如下 :

AI 绘画Stable Diffusion 研究(二)sd模型ControlNet1.1 介绍与安装,AI绘画,人工智能,stable diffusion,AI作画


第二步,点击左侧版本管理

AI 绘画Stable Diffusion 研究(二)sd模型ControlNet1.1 介绍与安装,AI绘画,人工智能,stable diffusion,AI作画


第三步,切换到扩展标签页 ,点击右上角“一键更新”按钮即可。


AI 绘画Stable Diffusion 研究(二)sd模型ControlNet1.1 介绍与安装,AI绘画,人工智能,stable diffusion,AI作画


2、安装各种预处理器的模型 (可选)

第一步,将预处理器模型文件夹里的 download 文件夹,整个复制放到插件目录底下的annotator文件夹里面。

\controlnet1.1\预处理器\download
\sd-webui-aki-v4.2\extensions\sd-webui-controlnet\annotator

如图:

AI 绘画Stable Diffusion 研究(二)sd模型ControlNet1.1 介绍与安装,AI绘画,人工智能,stable diffusion,AI作画



第二步,将controlnet1.1 模型放到sd-webui-controlnet\model 文件夹就可以了

\controlnet1.1\模型
\sd-webui-aki-v4.2\extensions\sd-webui-controlnet\models

AI 绘画Stable Diffusion 研究(二)sd模型ControlNet1.1 介绍与安装,AI绘画,人工智能,stable diffusion,AI作画



完成以上操作后,关闭启动器、控制台、webui,然后重新启动就可生效。

如图:

AI 绘画Stable Diffusion 研究(二)sd模型ControlNet1.1 介绍与安装,AI绘画,人工智能,stable diffusion,AI作画



三、ControlNet1.1 使用体验及相对于老板本的一些变化


1、颜色反转模式变为了一个单独的预处理器


AI 绘画Stable Diffusion 研究(二)sd模型ControlNet1.1 介绍与安装,AI绘画,人工智能,stable diffusion,AI作画


2、新增加完美像素模式

选择以后能解决 ControlNet 处理的一些分辨率问题。


AI 绘画Stable Diffusion 研究(二)sd模型ControlNet1.1 介绍与安装,AI绘画,人工智能,stable diffusion,AI作画


3、新增控制模式

新增控制模式:

  • 均衡
  • 更偏向提示词
  • 更偏向ControlNet

选择更偏向ControlNet时,需要降低CFG。

AI 绘画Stable Diffusion 研究(二)sd模型ControlNet1.1 介绍与安装,AI绘画,人工智能,stable diffusion,AI作画


4、老板本的HED变为了SoftEdge

AI 绘画Stable Diffusion 研究(二)sd模型ControlNet1.1 介绍与安装,AI绘画,人工智能,stable diffusion,AI作画


5、 增加了几个预处理器

OpenPose预处理器-> OpenPose模型
Openpose_full,一个模型姿态手部脸部全部搞定

AI 绘画Stable Diffusion 研究(二)sd模型ControlNet1.1 介绍与安装,AI绘画,人工智能,stable diffusion,AI作画


6、老板本的 Depth模型 -> 新版本推荐 Leres++、Zoe预处理器

AI 绘画Stable Diffusion 研究(二)sd模型ControlNet1.1 介绍与安装,AI绘画,人工智能,stable diffusion,AI作画


好了,今天的分享就到这里,ControlNet1.1 更多功能和变化这里就不再详细说明了,感兴趣的朋友可以自行研究。下一篇,将给大家带来,sd 各个功能模块的详细使用方法,敬请期待。文章来源地址https://www.toymoban.com/news/detail-617350.html

到了这里,关于AI 绘画Stable Diffusion 研究(二)sd模型ControlNet1.1 介绍与安装的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • AI 绘画Stable Diffusion 研究(十五)SD Embedding详解

    大家好,我是风雨无阻。 本期内容: Embedding是什么? Embedding有什么作用? Embedding如何下载安装? 如何使用Embedding? 大家还记得 AI 绘画Stable Diffusion 研究(七) 一文读懂 Stable Diffusion 工作原理 这篇文章中,曾提到过词嵌入(Embedding)吗? 我们来简单回顾一下:Embedding 将输

    2024年02月11日
    浏览(27)
  • AI 绘画Stable Diffusion 研究(六)sd提示词插件

    大家好,我是风雨无阻。 今天为大家推荐一款可以有效提升我们使用 Stable Diffusion WebUI 效率的插件, 它就是 prompt-all-in-one, 它不但能直接将 WebUI 中的中文提示词转换为英文,还能一键为加权重,更能建立常用提示词库,这对于英语不熟练的朋友非常实用。 今天的内

    2024年02月13日
    浏览(34)
  • AI 绘画Stable Diffusion 研究(十七)SD lora 详解(上)

    大家好,我是风雨无阻。 本期内容: Lora的原理是什么? Lora如何下载安装? Lora如何使用? 大家还记得 AI 绘画Stable Diffusion 研究(三)sd模型种类介绍及安装使用详解 这篇文章中,曾简单介绍了Lora的安装和使用吗 ? 但是我们并不清楚LORA 的原理是什么?以及使用过程中有什

    2024年02月10日
    浏览(28)
  • AI 绘画Stable Diffusion 研究(一)sd整合包v4(1)

    可选ControlNet模型 :可以不用下载,这里只是提供,按需下载,安装方法参考我的另一篇教程:AI 绘画Stable Diffusion 研究(二)sd模型ControlNet1.1 介绍与安装。 启动器运行依赖-donet-6.0.11.exe: 启动器运行依赖,以前没使用过启动器的需要安装。 sd-webui-aki-v4.zip: 整合包 如图: 二、

    2024年04月17日
    浏览(25)
  • AI 绘画Stable Diffusion 研究(四)sd文生图功能详解(上)

    大家好,我是风雨无阻。 通过前面几篇AI 绘画Stable Diffusion 研究系列的介绍,我们完成了Stable Diffusion整合包的安装、模型ControlNet1.1 安装、模型种类介绍与安装,相信看过教程的朋友们,手上已经有可以操作实践的Stable Diffusion 环境了。 那么本篇文章将给大家带来 Stable Diff

    2024年02月12日
    浏览(34)
  • AI 绘画Stable Diffusion 研究(五)sd文生图功能详解(下)

    大家好,我是风雨无阻。 上一篇文章详细介绍了sd文生图的功能及使用注意事项,感兴趣的朋友可以前往查看:AI 绘画Stable Diffusion 研究(四)sd文生图功能详解(上) 。 那今天这篇文章,我们接着介绍 sd文生图功能,主要是 sd 提示词prompt 。 大家都知道,提示词是整个Sta

    2024年02月14日
    浏览(30)
  • AI 绘画Stable Diffusion 研究(十一)sd图生图功能详解-美女换装

    免责声明: 本案例所用安装包免费提供,无任何盈利目的。 大家好,我是风雨无阻。 为了让大家更直观的了解图生图功能,明白图生图功能到底是干嘛的,能做什么事情?今天我们继续介绍图生图的实用案例-美女换装的制作。 对于新朋友,想详细了解Stable Diffusion 的话,请

    2024年02月12日
    浏览(32)
  • AI 绘画Stable Diffusion 研究(十四)SD 图生图+剪映制作人物说话视频

    大家好,我是风雨无阻。 前一篇,我们详细介绍了使用 SadTlaker制作数字人视频案例,感兴趣的朋友请前往查看:AI 绘画Stable Diffusion 研究(十三)SD数字人制作工具SadTlaker使用教程。 对于没有安装 SadTlaker 插件的朋友,可以查看这篇文章:AI 绘画Stable Diffusion 研究(十二)SD数

    2024年02月11日
    浏览(36)
  • AI 绘画Stable Diffusion 研究(十三)SD数字人制作工具SadTlaker使用教程

    免责声明: 本案例所用安装包免费提供,无任何盈利目的。 大家好,我是风雨无阻。 想必大家经常看到,无论是在产品营销还是品牌推广时,很多人经常以数字人的方式来为自己创造财富。而市面上的数字人收费都比较昂贵,少则几千,多则上万。 那么如何才能免费制作属

    2024年02月12日
    浏览(35)
  • AI 绘画Stable Diffusion 研究(一)sd整合包v4.2 版本安装说明

    部署包作者:秋葉aaaki 免责声明: 本安装包及启动器免费提供 无任何盈利目的 大家好,我是风雨无阻。众所周知,StableDiffusion 是非常强大的AI绘图工具,需要详细了解StableDiffusion的朋友,可查看我之前的这篇文章: 最近大火的两大AI绘图工具 Midjourney VS StableDiffusion。 那么从本

    2024年02月15日
    浏览(39)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包