[AI绘画] 即插即用!SDXL+T2I-Adapters 高效可控的生成图片

这篇具有很好参考价值的文章主要介绍了[AI绘画] 即插即用!SDXL+T2I-Adapters 高效可控的生成图片。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

标题:T2I-Adapter: Learning Adapters to Dig out More Controllable Ability for Text-to-Image Diffusion Models

论文:https://arxiv.org/pdf/2302.08453.pdf

博客:https://huggingface.co/blog/t2i-sdxl-adapters

代码:https://github.com/TencentARC/T2I-Adapter

使用地址:https://huggingface.co/spaces/TencentARC/T2I-Adapter-SDXL


大家好,AI 绘画太火了,现在boss直聘上一大堆岗位都是,游戏公司,设计公司等等都在疯狂招,都是潜在机会!!!

由于文本输入对AI生成的图片控制不够精细,而 ControlNet 的出现,很好的解决了这个问题,也有了更多想象的空间,我们使用线稿、边缘、深度图、姿态、人脸关键点等等来控制生成的结果,但是 ControlNet 的计算成本很高,因为,ControlNet 在反向扩散过程的每个去噪步骤中,都需要运行 ControlNet 和 UNet。另外,ControlNet强调复制UNet编码器作为控制模型的重要性,导致参数数量更大。因此,生成受到 ControlNet 大小的瓶颈(越大,过程变得越慢)。

https://github.com/lllyasviel/ControlNet

因此,今天要分析的一个工作,T2I-Adapter 是一种高效的即插即用模型,它为预训练的文本到图像模型提供额外的指导,同时冻结原始的大型文本到图像模型。T2I-Adapter 将 T2I 模型中的内部知识与外部控制信号结合起来。我们可以根据不同的情况训练各种适配器,实现丰富的控制和编辑效果。T2I-Adapter 的尺寸较小,并且与 ControlNet 不同,T2I-Adapter 在整个去噪过程中仅运行一次。

sdxl-vae-fp16-fix,AI作画

在过去的几周里,Diffusers 团队和 T2I-Adapter 作者一直在合作,为 diffusers 中的 Stable Diffusion XL (SDXL) 提供 T2I-Adapters 支持。本文,将分享从头开始在 SDXL 上训练 T2I-Adapters 的结果,当然还有各种控制条件(草图、canny、艺术线条、深度和 openpose)上的 T2I-Adapter checkpoints!

sdxl-vae-fp16-fix,AI作画

与之前版本的T2I-Adapter(SD-1.4/1.5)相比,T2I-Adapter-SDXL仍然采用原来的设置,用79M Adapter驱动2.6B SDXL!T2I-Adapter-SDXL在继承一代SDXL高品质的同时,保持了强大的控制能力!

使用 diffusers 训练 T2I-Adapter-SDXL

我们根据 diffusers 提供的官方示例构建了训练脚本。

https://github.com/huggingface/diffusers/blob/main/examples/t2i_adapter/README_sdxl.md

文中提到的大多数 T2I-Adapter 模型都是在 LAION-Aesthetics V2 的 3M 高分辨率图像文本对上进行训练的,设置如下:

  • Training steps: 20000-35000

  • Batch size: Data parallel with a single GPU batch size of 16 for a total batch size of 128.

  • Learning rate: Constant learning rate of 1e-5.

  • Mixed precision: fp16

建议使用项目中的脚本来训练自定义且功能强大的T2I-Adapters,在速度、内存和质量之间实现竞争性权衡。

在 diffusers 中使用 T2I-Adapter-SDXL

以线稿条件为例来演示T2I-Adapter-SDXL的使用。首先,首先安装所需的依赖项:

项目地址:https://github.com/TencentARC/T2I-Adapter

pip install -U git+https://github.com/huggingface/diffusers.git
pip install -U controlnet_aux==0.0.7 # for conditioning models and detectors
pip install transformers accelerate

T2I-Adapter-SDXL的生成过程主要包括以下两个步骤:

  1. Condition images 准备成合适的 control image 格式(例如输入的图片要先转为合适的线稿图片表示)

  2. 控制图像(线稿)和提示(prompt)被传递到 StableDiffusionXLAdapterPipeline

使用艺术线条Adapter的简单示例。首先初始化 SDXL 的 T2I-Adapter 管道和线稿检测器。

import torch
from controlnet_aux.lineart import LineartDetector
from diffusers import (AutoencoderKL, EulerAncestralDiscreteScheduler,
                       StableDiffusionXLAdapterPipeline, T2IAdapter)
from diffusers.utils import load_image, make_image_grid


# load adapter
adapter = T2IAdapter.from_pretrained(
    "TencentARC/t2i-adapter-lineart-sdxl-1.0", torch_dtype=torch.float16, varient="fp16"
).to("cuda")


# load pipeline
model_id = "stabilityai/stable-diffusion-xl-base-1.0"
euler_a = EulerAncestralDiscreteScheduler.from_pretrained(
    model_id, subfolder="scheduler"
)
vae = AutoencoderKL.from_pretrained(
    "madebyollin/sdxl-vae-fp16-fix", torch_dtype=torch.float16
)
pipe = StableDiffusionXLAdapterPipeline.from_pretrained(
    model_id,
    vae=vae,
    adapter=adapter,
    scheduler=euler_a,
    torch_dtype=torch.float16,
    variant="fp16",
).to("cuda")


# load lineart detector
line_detector = LineartDetector.from_pretrained("lllyasviel/Annotators").to("cuda")

然后,加载图像来检测线稿:

url = "https://huggingface.co/Adapter/t2iadapter/resolve/main/figs_SDXLV1.0/org_lin.jpg"
image = load_image(url)
image = line_detector(image, detect_resolution=384, image_resolution=1024)

sdxl-vae-fp16-fix,AI作画

然后生成:

prompt = "Ice dragon roar, 4k photo"
negative_prompt = "anime, cartoon, graphic, text, painting, crayon, graphite, abstract, glitch, deformed, mutated, ugly, disfigured"
gen_images = pipe(
    prompt=prompt,
    negative_prompt=negative_prompt,
    image=image,
    num_inference_steps=30,
    adapter_conditioning_scale=0.8,
    guidance_scale=7.5,
).images[0]
gen_images.save("out_lin.png")

sdxl-vae-fp16-fix,AI作画

有两个重要的参数需要理解,可以帮助控制调节量。

  1. adapter_conditioning_scale - 适配器调节规模

该参数控制调节对输入的影响程度。高值意味着更高的控制效果,反之亦然。

  1. adapter_conditioning_factor - 适配器调节因子

该参数控制应用条件的初始生成步骤数。该值应设置在 0-1 之间(默认值为 1)。adapter_conditioning_factor=1 的值表示适配器应应用于所有时间步,而adapter_conditioning_factor=0.5 表示它将仅应用于前 50% 的步。

更多详情查看官方文档。https://huggingface.co/docs/diffusers/main/en/api/pipelines/stable_diffusion/adapter文章来源地址https://www.toymoban.com/news/detail-764979.html

到了这里,关于[AI绘画] 即插即用!SDXL+T2I-Adapters 高效可控的生成图片的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 即插即用篇 | YOLOv8 Gradio 前端展示页面 | 支持 【分类】【检测】【分割】【关键点】 任务

    Gradio 是一个开源库,旨在为机器学习模型提供快速且易于使用的网页界面。它允许开发者和研究人员轻松地为他们的模型创建交互式的演示,使得无论技术背景如何的人都可以方便地试用和理解这些模型。使用Gradio,你只需几行代码就可以生成一个网页应用程序,该应用程序

    2024年02月02日
    浏览(52)
  • 基于YoloV5的CFPNet---ECVBlock的小目标检测,即插即用,助力检测涨点

    论文地址: https://arxiv.org/abs/2210.02093 CFPNet即插即用,助力检测涨点,YOLOX/YOLOv5/YOLOV7均有效 如图2所示,CFP主要由以下部分组成:输入图像、用于提取视觉特征金字塔的CNN主干、提出的显式视觉中心(EV

    2023年04月20日
    浏览(48)
  • 改进YOLOv7系列:结合最新即插即用的动态卷积ODConv,有效涨点

    💡该教程包含大量的原创首发改进方式, 所有文章都是原创首发改进内容🌟 降低改进难度,改进点包含最新最全的Backbone部分、Neck部分、Head部分、注意力机制部分、自注意力机制部分等完整教程🌟 💡本篇文章为 基于 YOLOv7、YOLOv7-Tiny 、YOLOv5、YOLOv6、YOLOX、YOLOv4 结合 即插即用

    2024年02月07日
    浏览(52)
  • YOLOV8改进:顶刊TIP 2023 | CFP:即插即用的多尺度融合模块,有效涨点!

      特征金字塔网络现代识别系统中的一种基础网络结构,可有效地用于检测不同尺度的物体。 SSD  是最早使用特征金字塔结构表示多尺度特征信息的方法之一, FPN  则依赖于自下而上的特征金字塔结构,通过建立自上而下的路径和横向连接从多尺度高级语义特征图中获取特

    2024年02月09日
    浏览(85)
  • Pointnet++改进注意力机制系列:全网首发ShuffleAttention注意力机制 |即插即用,实现有效涨点

    简介: 1.该教程提供大量的首发改进的方式,降低上手难度,多种结构改进,助力寻找创新点! 2.本篇文章对Pointnet++特征提取模块进行改进,加入 ShuffleAttention 注意力机制,提升性能。 3.专栏持续更新,紧随最新的研究内容。 目录 1.理论介绍 2.修改步骤 2.1 步骤一        

    2024年01月18日
    浏览(54)
  • CVPR‘2023 即插即用系列! | BiFormer: 通过双向路由注意力构建高效金字塔网络架构

    Title: BiFormer: Vision Transformer with Bi-Level Routing Attention Paper: https://arxiv.org/pdf/2303.08810.pdf Code: https://github.com/rayleizhu/BiFormer 众所周知, Transformer 相比于 CNNs 的一大核心优势便是借助自注意力机制的优势捕捉 长距离上下文依赖 。正所谓物极必反,在原始的 Transformer 架构设计中,这

    2023年04月09日
    浏览(44)
  • YOLOV5改进:顶刊TIP 2023 | CFP:即插即用的多尺度融合模块,有效涨点!

    特征金字塔网络现代识别系统中的一种基础网络结构,可有效地用于检测不同尺度的物体。 SSD  是最早使用特征金字塔结构表示多尺度特征信息的方法之一, FPN  则依赖于自下而上的特征金字塔结构,通过建立自上而下的路径和横向连接从多尺度高级语义特征图中获取特征

    2024年02月12日
    浏览(39)
  • CVPR 2023 点云系列 | Point-NN无需训练的非参数、即插即用网络

    CV - 计算机视觉 | ML - 机器学习 | RL - 强化学习 | NLP 自然语言处理 我们提出了一种用于 3D 点云分析的非参数网络 Point-NN,它由纯不可学习的组件组成:最远点采样 (FPS)、k 最近邻 (k-NN) 和池化操作,具有三角函数.令人惊讶的是,它在各种 3D 任务上表现良好,不需要参数或训练

    2023年04月23日
    浏览(54)
  • 迷你即插即用无线路由器如何设置快速上网实现Wi-Fi 无线覆盖

    迷你路由器 是可以做到即插即用的无线路由器。出差或旅行途中入住酒店,把酒店房间里提供的网线插到设备的以太网口,再把它插到电源插座上,整个房间就实现了Wi-Fi 无线覆盖。我们就以TL-WR700N为例,说明一下设置的详细方法。 迷你路由器在出厂的时候, 默认模式是设

    2024年02月07日
    浏览(50)
  • YOLOV8-gradcam 热力图可视化 即插即用 不需要对源码做任何修改!

    本文给大家带来yolov8-gradcam热力图可视化,这个可视化是 即插即用 , 不需要对源码做任何修改 喔!给您剩下的不少麻烦! 代码链接:yolo-gradcam 里面还有yolov5和v7的热力图可视化代码 ,也是 即插即用 , 不需要对源码做任何修改 喔! 这个是由官方权重yolov8m实现的。 1. 从

    2024年02月03日
    浏览(45)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包