【Stable Diffusion】ControlNet基本教程(三)

这篇具有很好参考价值的文章主要介绍了【Stable Diffusion】ControlNet基本教程(三)。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

接上篇【Stable Diffusion】ControlNet基本教程(二),本篇再介绍两个ControlNet常见的基本用法,更多用法欢迎关注博主,博主还会更新更多有趣的内容。
3.3更换物体皮肤
有时,我们不想改变物体的轮廓,只想改变物体表面的皮肤,例如,同一种鞋型,我们让它生成不同的鞋子表面的样式
(1)在“图生图(img2img)”中上传(Drop Image Here or Click to Upload)需要更换“皮肤”的 物体图片
【Stable Diffusion】ControlNet基本教程(三)
(2)在ControlNet中上传同一张需要处理的图像(Drop Image Here or Click to Upload)
(3)启用ControlNet,在“预处理(Preprocessor)”中选择“canny”或“hed”或“pidinet”,在“模型(Model)”中选择对应的“control_canny”或“control_hed”,值得注意的是在“预处理(Preprocessor)”选择“pidinet”,在“模型(Model)”对应的也是“control_hed”,这三种处理方式,都是对图像的边缘进行检测,根据自己的需求进行选择,可以在下方的“预处理分辨率(Annotator Resolution)”如果选择“hed”,就是“HED Resolution”,作用都是一样的,调节边缘线条,可以点击下方的“预览预处理结果(Preview Annotator Result)”对预处理后的效果进行观察,判断是否做进一步调整,调节参数的位置如图:
【Stable Diffusion】ControlNet基本教程(三)
调节后效果实例:
【Stable Diffusion】ControlNet基本教程(三)

(4)选择大模型,不同的大模型显示的图像效果不同,可以多试验几个,这里我使用“chilloutmix_NiPrunedFp32Fix”来试验
(5)输入Prompt和Negative prompt词,根据你的需要来输入,比如,你想要“一双蓝色的潮流鞋子”,就可以输入“blue fashionable shoes”,当然,你也可以根据你的需求输入其他的描述词,鞋带的颜色,鞋面有没有涂鸦等等。
(6)如果有其他需要,还可以配合lora等使用
效果如下:
【Stable Diffusion】ControlNet基本教程(三)
(大模型:chilloutmix_NiPrunedFp32Fix
描述词:masterpiece, best quality, design sense, blue fashionable shoes)
【Stable Diffusion】ControlNet基本教程(三)
(大模型:chilloutmix_NiPrunedFp32Fix
描述词:masterpiece, best quality, design sense, green fashionable shoes)
效果还是蛮不错的!设计师的灵感库、淘宝商家的福音!
3.5室外风景生成
我们想要用特定的颜色随便涂抹几笔就能生成一张好看的风景图片,使用ControlNet的语义分割模型就能实现
(1)使用特定的颜色进行涂抹创作,因为ControlNet使用的模型为ADE20K,颜色所代表的元素对应如下:【Stable Diffusion】ControlNet基本教程(三)
或者使用一张真实的风景图片,先进行语义分割,再做进一步处理,值得注意的是,在ControlNet中使用预处理选择segmentation,模型选择control_seg也可以将进行语义分割,但速度相对较慢,效果也不是太好,这里推荐使用:https://huggingface.co/spaces/shi-labs/OneFormer。打开之后:
【Stable Diffusion】ControlNet基本教程(三)

如果有兴趣对语义分割以及其他计算机视觉的内容感兴趣,博主将会专门出博文讲一下
这里得到一张语义分割图像:
【Stable Diffusion】ControlNet基本教程(三)

(2)在ControlNet中点击启用,上传语义分割图像,在预处理中选择None,在模型中选择control_seg,在Prompt和Negative prompt中加入一些描述词,再选择大模型,有兴趣还可以加入lora,以及其他一些模型、参数,就可以生成室外风景图像了。
图像示例:
【Stable Diffusion】ControlNet基本教程(三)
(大模型:realisticVisionV13_v13
描述词:masterpiece, best quality, landscape,morden house, ,scenery, photorealistic, realistic)
【Stable Diffusion】ControlNet基本教程(三)
(大模型:chilloutmix_NiPrunedFp32Fix
描述词:masterpiece, best quality, landscape,morden house, ,scenery, photorealistic, realistic)
怎么样,是不是很神奇!下一节,我们将使用ControlNet对人物的动作进行指导,让人物摆出特定的动作,这是ControlNet最神级的操作!这意味着可以自定义姿势,这意味着AI绘图正式进入自主可控的世代!另外,博主还将使用ControlNet展示对建筑/室内图像生成的基本用法。欢迎点赞、关注、收藏支持一波,更多AI绘画教程敬请期待!文章来源地址https://www.toymoban.com/news/detail-491226.html

到了这里,关于【Stable Diffusion】ControlNet基本教程(三)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Stable Diffusion进阶!姥姥都能看懂的ControlNet超全教程

    前言 Hello,大家好,言川又来写教程啦!!这是一篇继《外婆都能看懂的 Stable Diffusion 入门教程》教程之后的一篇文章,如果你还没有安装并了解 Stable diffusion 这个软件,那么你一定要先去看看入门教程的文章,然后安装 Stable Diffusion。 一、Controlnet(图像精准控制)是什么

    2024年02月09日
    浏览(43)
  • Stable Diffusion WebUI 控制网络 ControlNet 插件实现精准控图-详细教程

    本文收录于《AI绘画从入门到精通》专栏,专栏总目录:点这里,订阅后可阅读专栏内所有文章。 大家好,我是水滴~~ 本文主要介绍 Stable Diffusion WebUI 一个比较重要的插件 ControlNet(控制网络),主要内容有:ControlNet 的工作原理、如果安装 ControlNet 插件、如何使用 ControlNet

    2024年04月25日
    浏览(41)
  • Stable Diffusion 绘画入门教程(webui)-ControlNet(IP2P)

    上篇文章介绍了深度Depth,这篇文章介绍下IP2P(InstructP2P), 通俗理解就是图生图,给原有图加一些效果,比如下图,左边为原图,右边为增加了效果的图: 玩法流程和之前一样哦 我这里用的大模型是\\\"anything-v5-PrtRE.safetensors\\\",选用不同模型生成效果会有区别,可以自己找喜欢的

    2024年04月25日
    浏览(55)
  • AI绘图:Controlnet在ComfyUI中的使用教程:提升Stable Diffusion可控性

    Controlnet是Stable Diffusion中一个至关重要的功能,它极大地增强了图像生成的可控性。通过引入额外的条件,Controlnet使我们能够更精确地控制生成的图像内容。本教程将详细介绍如何在ComfyUI中使用Controlnet,从而让你的创作过程更加灵活和精确。 在开始使用Controlnet之前,我们需

    2024年04月17日
    浏览(36)
  • Stable Diffusion+ControlNet+Lora 指导AI+艺术设计的WebUI全流程使用教程

    设计师们往往对于新出的绘画工具上手比较艰难,本文针对目前比较火热的Stable Diffusion+ControlNet指导AI艺术设计的工具使用进行全面讲解。很多人会有预感,未来要么设计师被图形学程序员取代,要么会使用AI工具的设计师取代传统设计师,2023年开始,AI辅助设计甚至主导设计

    2024年02月07日
    浏览(52)
  • Stable Diffusion stable-diffusion-webui ControlNet Lora

    Stable Diffusion用来文字生成图片,ControlNet就是用来控制构图的,LoRA就是用来控制风格的 。 国内加速官网: mirrors / AUTOMATIC1111 / stable-diffusion-webui · GitCode 安装参考: Stable Diffusion安装与常见错误(+Lora使用)2023年最新安装教程_cycyc123的博客-CSDN博客 保姆级教程:从0到1搭建St

    2024年02月09日
    浏览(74)
  • Stable Diffusion使用controlnet报错

    1、问题描述,使用controlnet时报错如下 error running process: G:\\0111stable-diffusion-webuiextensionssd-webui-controlnetscriptscontrolnet.py Traceback (most recent call last):   File \\\"G:\\0111stable-diffusion-webuimodulesscripts.py\\\", line 418, in process     script.process(p, *script_args)   File \\\"G:\\0111stable-diffusion-webuiextensi

    2024年02月09日
    浏览(51)
  • Stable Diffusion中的ControlNet插件

    ControlNet 的中文就是控制网,本质上是Stable Diffusion的一个扩展插件,在2023年2月份由斯坦福大学的研究人员开发出来的,能够使创作者轻松地控制AI图像和视频中的对象。它将根据边缘检测、草图处理或人体姿势等各种条件来控制图像生成。ControlNet可以概括为一种简单的稳定

    2024年02月09日
    浏览(50)
  • Stable Diffusion — ControlNet 超详细讲解

    ControlNet 最近非常火🔥!ControlNet 和 Stable Diffusion 的结合使 Stable Diffusion 能够接受指导图像生成过程的条件输入,从而增强了 Stable Diffusion 的性能。今天为大家深入剖析 ControlNet 的工作原理。 ControlNet 是一个控制预训练图像扩散模型(例如 Stable Diffusion)的神经网络。它允许输

    2024年02月09日
    浏览(39)
  • 详细解读ControlNet Stable Diffusion代码

    Diffusion models代码解读:入门与实战 前言 :ControlNet的原理部分可以看我之前写的博客《Image-to-Image任务的终结者:详解ControlNet原理与代码》 ,这篇博客主要讲解一下diffusers版本的ControlNet代码,从代码中洞悉原理,加深理解。 目录 原理详解

    2024年02月12日
    浏览(50)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包