Stable Diffusion | ControlNet:Reference“垫图”功能,不炼丹也能保持同一人物

这篇具有很好参考价值的文章主要介绍了Stable Diffusion | ControlNet:Reference“垫图”功能,不炼丹也能保持同一人物。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

ControlNet推出Reference(参考)控制类型也有一段时间了,最近体验了一下,被他的强大的效果震惊到了。

之前一直想生成同一主体系列图片,需要Lora炼丹,这个不仅需要电脑有一定的配置,还要处理大量素材图片耗时耗力,现在Reference却可以调调参数,测测数据,毫不费力的满足你需求!

下面来了解一下这个Reference模式,到底有多强大呢?

1、先看一下官方对Reference(参考)的介绍:

Now we have a reference-only preprocessor that does not require any control models. It can guide the diffusion directly using images as references.

翻译:现在我们有一个 reference-only预处理,它不需要任何控制模型即可实现直接使用一张图片作为参考来引导扩散。

2、再来看看Reference(参考)界面:

control type 垫图,stable diffusion,人工智能,机器学习,AI作画,AIGC,AI绘画

预处理器:

reference_adain:仅参考输入图,自适应实例规范

reference_adain+attn:仅参考输入图,自适应实例规范+Attention链接

reference_only:仅参考输入图,今天主要讲这个预处理器。

control type 垫图,stable diffusion,人工智能,机器学习,AI作画,AIGC,AI绘画

控制权重:控制模型对生成图片的影响的程度。

引导时机:控制模型介入的时间。

引导终止时机:控制模型终止的时间。

Style Fidelity(仅用于均衡模式):风格保真度,

control type 垫图,stable diffusion,人工智能,机器学习,AI作画,AIGC,AI绘画

3、来个可爱的猫咪案例演示:

在网上找一张背景干净,主体清晰的图片,这里找的一个猫,将图片改为512x512px尺寸,

control type 垫图,stable diffusion,人工智能,机器学习,AI作画,AIGC,AI绘画

放入controlnet,启用reference。

选择预处理器:reference_only。

style fidelity:设置为1。

control type 垫图,stable diffusion,人工智能,机器学习,AI作画,AIGC,AI绘画

模型: realisticVisionV20。

设置提示词: 就一个词,一只行走的猫。

正向:

(best quality),((masterpiece)),(highres),original,extremely detailed 8K wallpaper,(an extremely delicate and beautiful),

a walking cat,

反向:

easynegative,ng_deepnegative_v1_75t,(worst quality:2),(low quality:2),(normal quality:2),lowres,bad anatomy,bad hands,normal quality,((monochrome)),((grayscale)),((watermark)),

其他的不用管,点击生成图片。

control type 垫图,stable diffusion,人工智能,机器学习,AI作画,AIGC,AI绘画

可以看出与原素材底图作比较,除了一细节的差别,与原图匹配度高达80%,在降低随机性,提高抽卡中奖率上面还是有比较大的效果的,在生成足够多的样本后,我们可以挑选一些匹配度更高的图片。

下面看下取消reference的效果:

control type 垫图,stable diffusion,人工智能,机器学习,AI作画,AIGC,AI绘画

AI自由发挥,风格基本难以掌控。

4、再来一个靓妹演示案例来测试,据说这样看的人会多些:

模型: realisticVisionV20

正向:

photo of woman,wispy blonde hair,perfect eyes,simple long knitted tight-fitting shift dress,(detailed face:1.2),(flat chest:1.1),slight smile,walking,outdoor,nature,beautiful,wild flowers,natural skin,dusk,orange clouds,

8k uhd,high quality,ray tracing,(best quality),((masterpiece)),(highres),

反向:

multiple breasts,(mutated hands and fingers:1.5 ),(long body :1.3),(mutation, poorly drawn :1.2),black-white,bad anatomy,liquid body,liquid tongue,disfigured,malformed,mutated,anatomical nonsense,text font ui,error,malformed hands,long neck,blurred,lowers,lowres,bad anatomy,bad proportions,bad shadow,uncoordinated body,unnatural body,fused breasts,bad breasts,huge breasts,poorly drawn breasts,extra breasts,liquid breasts,heavy breasts,missing breasts,huge haunch,huge thighs,huge calf,bad hands,fused hand,missing hand,

参数设置:

迭代步数 (Steps):25

采样方法:DPM++ SDE Karras

重绘幅度:0.6

其他默认,点击生图。

control type 垫图,stable diffusion,人工智能,机器学习,AI作画,AIGC,AI绘画

然后,用这张图作为底图,做一些变化,先把底图放到reference模式里面,操作步骤和参数同上,

control type 垫图,stable diffusion,人工智能,机器学习,AI作画,AIGC,AI绘画

然后修改正向提示词:

功能1测试:更换衣服

正向词:

photo of woman,wispy blonde hair,perfect eyes,a sexy swimsuit,(detailed face:1.2),(flat chest:1.1),slight smile,walking,outdoor,nature,beautiful,wild flowers,natural skin,dusk,orange clouds,

8k uhd,high quality,ray tracing,(best quality),((masterpiece)),(highres),

**功能2测试:更换背景,**这边直接用泳装的正向提示词

正向词:

photo of woman,wispy blonde hair,perfect eyes,a sexy swimsuit,(detailed face:1.2),(flat chest:1.1),slight smile,outdoor,in the swimming pool,beautiful,a bright sky,baiyun,natural skin,

8k uhd,high quality,ray tracing,(best quality),((masterpiece)),(highres),

可以发现,它保持了底图的服装面料和主体的状态,效果堪比Lora。如果要更多更精确的图片可以批量生成,做挑选会更棒!

**功能3测试:更换动作,**这里要用到openpose控制模型搭配

control type 垫图,stable diffusion,人工智能,机器学习,AI作画,AIGC,AI绘画

正向词:

photo of woman,wispy blonde hair,perfect eyes,simple long knitted tight-fitting shift dress,(detailed face:1.2),(flat chest:1.1),slight smile,outdoor,nature,beautiful,wild flowers,natural skin,dusk,

8k uhd,high quality,ray tracing,(best quality),((masterpiece)),(highres),

control type 垫图,stable diffusion,人工智能,机器学习,AI作画,AIGC,AI绘画

场景的细节还是有点瑕疵,不过大体上还是与原底图匹配,如果觉得差别有点大,我们可以通过调整prompt提示词进行修改。

另外还可以调整controlnet中,两个单元的引导介入时机和退出时机,比如这里,AI重绘基本是先根据openpose骨架图,确定任务的姿态,然后再通过稳定扩散分布进行生成,那么可以把reference介入时机可以调后一点,效果可能会更吻合。

功能4测试:改变画风,

基于上面的图,做个2.5次元的看看吧,放到reference,换一个模型:Anything_V5,其他参数不变,测试看看。

control type 垫图,stable diffusion,人工智能,机器学习,AI作画,AIGC,AI绘画

control type 垫图,stable diffusion,人工智能,机器学习,AI作画,AIGC,AI绘画

风格来说,还是比较稳定的,概率也比较大,可以通过调整提示词,生成更大量的图片,来进行筛选。想生成2次元的同学也是可以自己做一下测试,大家一起交流。

5、现在测试一下二次元帅哥,效果如何。

先在网上找一张图片,

control type 垫图,stable diffusion,人工智能,机器学习,AI作画,AIGC,AI绘画

然后,用这张图作为底图,做一些变化,先把底图放到reference模式里面,操作步骤和参数同上,

control type 垫图,stable diffusion,人工智能,机器学习,AI作画,AIGC,AI绘画

换模型为Anything_V5等,调整提示词,

正向词:

a boy,wearing clothes,

(best quality),((masterpiece)),(highres),(an extremely delicate and beautiful),original,extremely detailed wallpaper,

反向词:

(naked:1.3),(multi-handed:1.4),worstquality,low quality,normal quality,jpegartifacts,signature,watermark,username,blurry,bad feet,bad_anatomy,bad_feet,bad_hands,bad_perspective,bad_proportions,error,extra_arms,extra_ears,extra_eyes,extra_mouth,feet_out_of_frame,foot_out_of_frame,greyscale,(head_out_of_frame:1.3),out-of-frame_censoring,out_of_frame,wrong_feet,

其他参数默认即可,点击生图

control type 垫图,stable diffusion,人工智能,机器学习,AI作画,AIGC,AI绘画

这里的关键词只写了:a boy,wearing clothes,一个穿着衣服的男孩,如果需要做更多精细化的调整,可以通过调整提示词来匹配,这样会更接近理想的效果。

6、总结:

reference对图片的扩散分布引导的效果还是比较不错的,如果是人像,搭配上roop插件,在保持画风等效果一致上面,其实还是很不错的,有炼丹Lora的同学,也可以将二者进行结合,相信可以更精准的控制图片的重绘导向。在电商的产品的应用上,也可以做一些尝试,保持产品统一,产品的场景图的风格的统一等等,上面也只是做一些基础的尝试,一个功能的革新,有时候是可以升级一次设计思维。

写在最后

感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。

control type 垫图,stable diffusion,人工智能,机器学习,AI作画,AIGC,AI绘画

AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。

control type 垫图,stable diffusion,人工智能,机器学习,AI作画,AIGC,AI绘画

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。

control type 垫图,stable diffusion,人工智能,机器学习,AI作画,AIGC,AI绘画

control type 垫图,stable diffusion,人工智能,机器学习,AI作画,AIGC,AI绘画

二、AIGC必备工具

工具都帮大家整理好了,安装就可直接上手!
control type 垫图,stable diffusion,人工智能,机器学习,AI作画,AIGC,AI绘画

三、最新AIGC学习笔记

当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
control type 垫图,stable diffusion,人工智能,机器学习,AI作画,AIGC,AI绘画
control type 垫图,stable diffusion,人工智能,机器学习,AI作画,AIGC,AI绘画

四、AIGC视频教程合集

观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

control type 垫图,stable diffusion,人工智能,机器学习,AI作画,AIGC,AI绘画

五、实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
control type 垫图,stable diffusion,人工智能,机器学习,AI作画,AIGC,AI绘画文章来源地址https://www.toymoban.com/news/detail-843332.html

control type 垫图,stable diffusion,人工智能,机器学习,AI作画,AIGC,AI绘画 若有侵权,请联系删除

到了这里,关于Stable Diffusion | ControlNet:Reference“垫图”功能,不炼丹也能保持同一人物的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 手把手教你在云环境炼丹(部署Stable Diffusion WebUI)

    前几天写了一篇《 手把手教你在本机安装Stable Diffusion秋叶整合包 》的文章,有些同学反映对硬件的要求太高,显卡太TM贵了。今天我再分享一个云服务器炼丹的方法,方便大家快速入门上手,这个云服务不需要特殊网络设置,能连接公网网盘,随开随用,有3090显卡,也有

    2024年02月15日
    浏览(43)
  • 一份保姆级的 Stable Diffusion 部署教程,开启你的炼丹之路

      市面上有很多可以被用于 AI 绘画的应用,例如 DALL-E、Midjourney、NovelAI 等,他们的大部分都依托云端服务器运行,一部分还需要支付会员费用来购买更多出图的额度。在 2022 年 8 月,一款叫做 Stable Diffusion 的应用,通过算法迭代将 AI 绘画的精细度提上了一个新的台阶,并能

    2024年02月11日
    浏览(44)
  • [Stable Diffusion]ip-adapter:SD也可以垫图了,一张图复刻lora效果

    Controlnet更新的v1.1.4版本新预处理ip-adapter,这项新能力简直让stablediffusion的实用性再上一个台阶。这些更新将改变sd的使用流程。   ip-adapter是腾讯Ai工作室发布的一个controlnet模型,可以通过stable diffusion的webui使用,这个新的功能简单来说,他可以识别参考图的艺术风格和内容

    2024年02月04日
    浏览(47)
  • Stable Diffusion stable-diffusion-webui ControlNet Lora

    Stable Diffusion用来文字生成图片,ControlNet就是用来控制构图的,LoRA就是用来控制风格的 。 国内加速官网: mirrors / AUTOMATIC1111 / stable-diffusion-webui · GitCode 安装参考: Stable Diffusion安装与常见错误(+Lora使用)2023年最新安装教程_cycyc123的博客-CSDN博客 保姆级教程:从0到1搭建St

    2024年02月09日
    浏览(73)
  • Stable Diffusion使用controlnet报错

    1、问题描述,使用controlnet时报错如下 error running process: G:\\0111stable-diffusion-webuiextensionssd-webui-controlnetscriptscontrolnet.py Traceback (most recent call last):   File \\\"G:\\0111stable-diffusion-webuimodulesscripts.py\\\", line 418, in process     script.process(p, *script_args)   File \\\"G:\\0111stable-diffusion-webuiextensi

    2024年02月09日
    浏览(50)
  • Stable Diffusion中的ControlNet插件

    ControlNet 的中文就是控制网,本质上是Stable Diffusion的一个扩展插件,在2023年2月份由斯坦福大学的研究人员开发出来的,能够使创作者轻松地控制AI图像和视频中的对象。它将根据边缘检测、草图处理或人体姿势等各种条件来控制图像生成。ControlNet可以概括为一种简单的稳定

    2024年02月09日
    浏览(48)
  • 【Stable Diffusion】ControlNet基本教程(三)

    接上篇【Stable Diffusion】ControlNet基本教程(二),本篇再介绍两个ControlNet常见的基本用法,更多用法欢迎关注博主,博主还会更新更多有趣的内容。 3.3更换物体皮肤 有时,我们不想改变物体的轮廓,只想改变物体表面的皮肤,例如,同一种鞋型,我们让它生成不同的鞋子表

    2024年02月09日
    浏览(33)
  • 【Stable Diffusion】ControlNet基本教程(一)

    1.ControlNet是什么 ControlNet是Stable Diffusion用于图像风格迁移和控制的一款插件,作者是2021年才本科毕业,现在在斯坦福大学读博士一年级的中国学生 张吕敏 。ControlNet的出现代表着 AI 生成开始进入 真正可控 的时期,而 AIGC 的可控性 是它进入 实际生产 最关键的一环。在此之前

    2024年02月09日
    浏览(42)
  • 【Stable Diffusion】ControlNet基本教程(二)

    接上篇【Stable Diffusion】ControlNet基本教程(一),本篇介绍两个ControlNet常见的基本用法,更多用法欢迎关注博主,博主还会更新更多有趣的内容。 3.ControlNet基本用法 3.1漫画线稿上色 (1)上传需要处理的图像(Drop Image Here or Click to Upload) (2)启用ControlNet,在“预处理(P

    2024年02月10日
    浏览(43)
  • 精讲stable diffusion的controlNet插件

    controlNet插件是stable diffusion的一个重要插件,甚至可以说正是因为有了controlNet插件,stable diffusion才会具有midjourney所不具备的独特魅力! 我们今天就一起来学习下controlNet插件的安装和每个模型的用法 插件主页 独立的controlNet程序(可独立运行,不依赖于stable diffusion)主页:

    2024年02月06日
    浏览(34)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包