AI绘画:SDXL版ControlNet模型和使用方法!

这篇具有很好参考价值的文章主要介绍了AI绘画:SDXL版ControlNet模型和使用方法!。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

SDXL是目前最强的AI绘画基础模型,直接加载模型,就可以生成不错的效果。但是它有一个致命的问题,就是不支持ControlNet。

在AI绘画中,ControlNet是一个非常重要的工具。有了它,就可以生成更加可控精准的图片。ControlNet的用途非常多,比如,控制人物姿势、线稿上色、动漫变真人、艺术二维码,光影字、ailogo...

好消息是,SDXL终于也支持了Controlnet。虽然只有一个canny模型,但是至少是能用了。

下面来看一下效果:

AI绘画:SDXL版ControlNet模型和使用方法!,AI绘画,AI作画,人工智能,Controlnet

提示词: ultrarealistic shot of a furry blue bird

我自己尝试的效果:

AI绘画:SDXL版ControlNet模型和使用方法!,AI绘画,AI作画,人工智能,Controlnet

随手拿了一张之前生成的图片,然后用Controlnet生成了一下。对比一下,细节控制得挺不错。

下面就具体地说一下,如何在ComfyUI中使用Controlnet。

1.准备工作

首选需要安装好ComfyUI软件,然后确保SDXL基础模型放在指定的路径

AI绘画:SDXL版ControlNet模型和使用方法!,AI绘画,AI作画,人工智能,Controlnet

这一步不会的可以参考之前的文章。

2. 获取模型

获取ControlNet的Canny模型,并放到指定的路径。

AI绘画:SDXL版ControlNet模型和使用方法!,AI绘画,AI作画,人工智能,Controlnet

3. 准备图片

准备一张测试图片

AI绘画:SDXL版ControlNet模型和使用方法!,AI绘画,AI作画,人工智能,Controlnet

这是我之前用SDXL生成的一张line风格的图片。这次就用这张图片来做演示。

选图片的时候,最好是直接选线稿这样稳定一些,当然用普通图片也是可以滴。

4. 加载工作流

ComfyUI其实挺好用,但是对于不太熟悉的人,自己来创建工作流难度还是比较大。快速体验的最好方式是,直接使用别人创建好的工作流配置文件。

双击run_nvidia_gpu.bat启动软件之后。

AI绘画:SDXL版ControlNet模型和使用方法!,AI绘画,AI作画,人工智能,Controlnet

只需要把这个叫做sdxl_controlnet_canny.json的文件拖动到浏览器上就可以了。

然后就可以看到这样的流程图了。

AI绘画:SDXL版ControlNet模型和使用方法!,AI绘画,AI作画,人工智能,Controlnet

5. 运行测试

加载工作流之后,稍微设置一下就可以出图了。

AI绘画:SDXL版ControlNet模型和使用方法!,AI绘画,AI作画,人工智能,Controlnet

首先是设置一下基础模型,确保是图片中的模型。

AI绘画:SDXL版ControlNet模型和使用方法!,AI绘画,AI作画,人工智能,Controlnet

然后是设置Controlnet模型和上传参考图片。

AI绘画:SDXL版ControlNet模型和使用方法!,AI绘画,AI作画,人工智能,Controlnet

然后是改一下提示词。

另外修改一下像素为1024x1024。

万事俱备,最后只要点击一下"Queue Prompt",然后等待图片生成了。

AI绘画:SDXL版ControlNet模型和使用方法!,AI绘画,AI作画,人工智能,Controlnet

可以对比,原图和生成的图片,是不是完全一张的姿势。具体的效果的话,和提示词以及风格有关。

第一次出图会比较慢,因为需要很长的时间去加载巨大的模型。加上多了一个巨大的Controlnet模型,需要一点耐心。

我以前用SDXL生成过不同的风格图片,但是按以前的方式,每张图片除了风格不同之外,形态也完全不同。现在用了ControlNet就可以生成形态相同,不同风格的图片了。

AI绘画:SDXL版ControlNet模型和使用方法!,AI绘画,AI作画,人工智能,Controlnet

这匹马,蹄子有点多...哈哈~~

SDXL的ControlNet使用方法大概就是这样,具体的创作就留给大家了!

软件,模型,工作流:见文末文章来源地址https://www.toymoban.com/news/detail-702407.html

到了这里,关于AI绘画:SDXL版ControlNet模型和使用方法!的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • AI绘画SD插件ControlNet模型解析

    功能型: IP2P : 环境背景天气修改, 以及单独修改人物, make it xxx 。 Tile分块重采样:忽略细节,并添加新的细节。 Inpaint局部重绘: 修改局部时, 更能懂得输入的提示词元素。 Reference参考:生成与参考图像相似的图像。会受模型和提示词的影响。只使用预处理器,不适用控

    2024年02月11日
    浏览(31)
  • 超强AI绘画Midjourney使用方法

    手把手教你入门绘图超强的AI绘画程序Midjourney,用户只需要输入一段图片的文字描述,即可生成精美的绘画。下面是Midjourney注册和使用的方法。 第一步: 先注册一个 Discord 账号 https://discord.gg/ ,注册的时候要人机验证,按照流程走就可以了。 第二步: 登陆,输入刚注册的

    2023年04月10日
    浏览(28)
  • 实时AI绘画模型SDXL Turbo核心基础知识详解 | 【算法兵器谱】

    Rocky Ding 公众号:WeThinkIn 【算法兵器谱】栏目专注分享AI行业中的前沿/经典/必备的模型论文,并对具备划时代意义的模型论文进行全方位系统的解析。也欢迎大家提出宝贵的优化建议,一起交流学习💪 大家好,我是Rocky。 如果说2022年,Stable Diffusion横空出世,成为AI行业从传

    2024年01月16日
    浏览(41)
  • AI绘画教程:Midjourney 使用方法与技巧从入门到精通

    💂 个人网站:【 海拥】【神级代码资源网站】【办公神器】 🤟 基于Web端打造的:👉轻量化工具创作平台 💅 想寻找共同学习交流的小伙伴,请点击【全栈技术交流群】 导论 随着人工智能技术的不断发展,AI绘画成为了一个备受关注的领域。Midjourney 是一款备受好评的AI绘画

    2024年03月12日
    浏览(45)
  • Stable Diffuse AI 绘画 之 ControlNet 插件及其对应模型的下载安装

    目录 Stable Diffuse AI 绘画 之 ControlNet 插件及其对应模型的下载安装 一、简单介绍 二、ControlNet 插件下载安装 三、ControlNet 插件模型下载安装 四、ControlNet 插件其他的下载安装方式 五、ControlNet 插件模型名称说明 Stable Diffusion是一个文本到图像的潜在扩散模型,由CompVis、Stabil

    2024年02月08日
    浏览(34)
  • 【AI绘画】Stablediffusion必不可少的使用方法之Lora(1)

    首先大家要明白,Lora到底是什么? 在这里,我得先和大家聊聊小白刚开始使用AI绘图会遇到的问题,纵使前几期,我们已经讲解了如何安装Stablediffusion和它的使用方法,但是!很多小伙伴会不会依然觉得,如果我每次都要依靠大量的正反去塑造我的AI图,那么当

    2024年01月18日
    浏览(26)
  • 【AI绘画】Stablediffusion必不可少的使用方法之Lora(2)

    各位小伙伴们大家好,在上期我们讲过了Lora的原理和使用前景,那么这期主要要说的就是Lora应该如何使用! 前提是各位小伙伴们已经下载好了Lora,Lora文件需要放在Webui文件夹内的models中的Lora目录内。 Lora的使用方法有三个: (1)直接输入: 在提示词框内输入Lora:你下载的

    2024年01月17日
    浏览(35)
  • 【AI绘画】Stablediffusion必不可少的使用方法之关键词(1)

            我相信很多已经下载好Stablediffusion或者midjourney软件的朋友,第一反应都是看着满屏看不懂的各种选项发懵吧,而当你稳住心神,准备在文生图或者图生图这两块基础操作力大显身手,想创造出属于自己的艺术设计之时,难免会对着下面这个框框陷入两难:我应该填什

    2024年02月03日
    浏览(50)
  • 【AI绘画】Stablediffusion必不可少的使用方法之关键词(2)

            我相信很多已经下载好Stablediffusion或者midjourney软件的朋友,第一反应都是看着满屏看不懂的各种选项发懵吧,而当你稳住心神,准备在文生图或者图生图这两块基础操作力大显身手,想创造出属于自己的艺术设计之时,难免会对着下面这个框框陷入两难:我应该填什

    2024年02月02日
    浏览(37)
  • StableDiffusion XL 1.0 SDXL 使用方法(填坑)

    SDXL的安装方法,可以参考我的另一篇文章 “矿卡40HX上跑stable Diffusion XL 1.0模型的方法” 目前已实现在8G VRAM的情况下,使用超过1024x1024的画面生成。 1. 下载     StableDiffusion XL的二个模型,分别是base与refiner, 很多介绍中对二个模型的用法没解释清楚,其实这二个模型,都可以

    2024年02月09日
    浏览(23)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包