多条件引导图像生成-ControlNet安装使用

这篇具有很好参考价值的文章主要介绍了多条件引导图像生成-ControlNet安装使用。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。


论文解读
github: https://github.com/lllyasviel/ControlNet

安装

step1:clone 代码

git clone https://github.com/lllyasviel/ControlNet.git

step2:创建虚拟环境

cd ControlNet
# 创建虚拟环境
conda env create -f environment.yaml

# 激活环境
conda activate control

step3:安装xformers
不安装报错,提示“No module ‘xformers’. Proceeding without it.”
RuntimeError: Attempting to deserialize object on a CUDA device but torch.cuda.is_available() is False. If you are running on a CPU-only machine, please use torch.load with map_location=torch.device(‘cpu’) to map your storages to the CPU.

pip install xformers

下载模型

模型链接:https://huggingface.co/lllyasviel/ControlNet/tree/main

git lfs install
git clone https://huggingface.co/lllyasviel/ControlNet

将下载到的文件夹annotator、models放置ControlNet文件夹中

使用

Canny Edge

运行以下代码

python gradio_canny2image.py

登录网址:http://127.0.0.1:7860/ 即可在线体验。
多条件引导图像生成-ControlNet安装使用

Pose

运行以下代码

python gradio_pose2image.py

登录网址:http://127.0.0.1:7860/
多条件引导图像生成-ControlNet安装使用

Seg

运行以下代码

python gradio_seg2image.py

登录网址:http://127.0.0.1:7860/
多条件引导图像生成-ControlNet安装使用

多条件引导图像生成-ControlNet安装使用
分割不太准,换成SAM可能会好些。

其他demo感兴趣的可自行尝试。文章来源地址https://www.toymoban.com/news/detail-507990.html

到了这里,关于多条件引导图像生成-ControlNet安装使用的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 利用GPU加速自定义风格图像生成-利用GPU加速结合了ControlNet/ Lora的Stable Diffusion XL

    点击链接完成注册,参加本次在线研讨会 https://www.nvidia.cn/webinars/sessions/?session_id=240124-31319 随着AI技术的发展, 数字内容创建业务也变得越来越火热。生成式AI模型的发布, 让我们看到了人工智能在各行各业的潜力。您只需要用语言简单描述自己希望看到的画面, AI便可以自动生

    2024年01月24日
    浏览(43)
  • [论文精读] 自条件图像生成 - 【恺明大神新作,AIGC 新基准】

    论文导读: 论文背景: 2023年8月,AI大神何恺明在个人网站宣布,2024年将加入MIT担任教职,回归学术界。这篇论文是其官宣加盟MIT后首度与MIT师生合著的公开论文,论文一作本科毕业于清华姚班,二作为MIT电气工程与计算机科学系教授,今年的斯隆奖得主,美国科学院院士。

    2024年02月03日
    浏览(40)
  • 扩散模型实战(十):Stable Diffusion文本条件生成图像大模型

     扩散模型实战(一):基本原理介绍 扩散模型实战(二):扩散模型的发展 扩散模型实战(三):扩散模型的应用 扩散模型实战(四):从零构建扩散模型 扩散模型实战(五):采样过程 扩散模型实战(六):Diffusers DDPM初探 扩散模型实战(七):Diffusers蝴蝶图像生成实

    2024年02月03日
    浏览(62)
  • CVPR 2023 | 用户可控的条件图像到视频生成方法(基于Diffusion)

    注1:本文系“计算机视觉/三维重建论文速递”系列之一,致力于简洁清晰完整地介绍、解读计算机视觉,特别是三维重建领域最新的顶会/顶刊论文(包括但不限于 Nature/Science及其子刊; CVPR, ICCV, ECCV, NeurIPS, ICLR, ICML, TPAMI, IJCV 等)。 本次介绍的论文是: CVPR 2023 | 用户可控的条件图

    2024年02月13日
    浏览(43)
  • 【计算机视觉中的 GAN 】 - 条件图像合成和 3D 对象生成(2)

            上文  【计算机视觉中的 GAN 】 或多或少是GANs,生成学习和计算机视觉的介绍。我们达到了在 128x128 图像中生成可区分图像特征的程度。但是,如果你真的想了解GAN在计算机视觉方面的进展,你肯定必须深入研究图像到图像的翻译。尽管这是第一个成功的模型,

    2024年02月15日
    浏览(52)
  • Stable Diffusion - 图像控制插件 ControlNet (OpenPose) 配置与使用

    欢迎关注我的CSDN:https://spike.blog.csdn.net/ 本文地址:https://spike.blog.csdn.net/article/details/131591887 论文:Adding Conditional Control to Text-to-Image Diffusion Models ControlNet 是神经网络结构,用于控制预训练的大型扩散模型,以支持额外的输入条件。ControlNet 以端到端的方式学习任务特定的条

    2024年02月13日
    浏览(40)
  • 论文阅读_条件控制_ControlNet

    name_en: Adding Conditional Control to Text-to-Image Diffusion Models name_ch: 向文本到图像的扩散模型添加条件控制 paper_addr: http://arxiv.org/abs/2302.05543 date_read: 2023-08-17 date_publish: 2023-02-10 tags: [‘图形图像’,‘大模型’,‘多模态’] author: Lvmin Zhang code: https://github.com/lllyasviel/ControlNet ControlNet 几

    2024年02月12日
    浏览(39)
  • 在Transformers 中使用约束波束搜索引导文本生成

    本文假设读者已经熟悉文本生成领域波束搜索相关的背景知识,具体可参见博文 如何生成文本: 通过 Transformers 用不同的解码方法生成文本。 与普通的波束搜索不同, 约束 波束搜索允许我们控制所生成的文本。这很有用,因为有时我们确切地知道输出中需要包含什么。例如

    2024年02月08日
    浏览(41)
  • 【AI绘画】万字长文——(超详细)ControlNet的详细介绍&使用Stable Diffusion的艺术二维码完全生成攻略

    详细介绍ControlNet的各个部分,相关案例,以及使用二维码作为ControlNet模型的输入的Stable Diffusion生成的图像,使二维码转变为艺术图像 Stable Diffusion :是StabilityAI于2022年8月22日发布的文本到图像模型。它类似于OpenAI的DALL·E 2和Midjourney等其他图像生成模型,但有一个很大的不同

    2024年02月05日
    浏览(49)
  • stable diffusion AI精准绘图——ControlNet控件的安装与使用

    上两期图文教程,我们分享了stable diffusion webUI AI绘图的安装步骤,以及stable diffusion webUI 汉化插件的安装,与相关stable diffusion webUI 的相关参数解析,本期我们就介绍一下controlNet 控件的安装与使用。 首先说一下,stable diffusion webUI 相关的软件已经更新,安装完成后,会提示p

    2024年02月02日
    浏览(55)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包