【深度学习】Stable Diffusion AI 绘画项目搭建详解,并运行案例

这篇具有很好参考价值的文章主要介绍了【深度学习】Stable Diffusion AI 绘画项目搭建详解,并运行案例。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

前言

先把人家的git放过来:https://github.com/CompVis/stable-diffusion
40.7k 的stars, flask 和 django 两个web框架也不过如此数量级吧。
就是给一段文字,它能按照文字描述给你画画。画出来的还挺好看,是一个text-to-image diffusion model
是基于transformer 和多模态的一个产品。

Stable Diffusion is a latent text-to-image diffusion model. Thanks to a generous compute donation from Stability AI and support from LAION, we were able to train a Latent Diffusion Model on 512x512 images from a subset of the LAION-5B database. Similar to Google’s Imagen, this model uses a frozen CLIP ViT-L/14 text encoder to condition the model on text prompts. With its 860M UNet and 123M text encoder, the model is relatively lightweight and runs on a GPU with at least 10GB VRAM.
这一段是我从git上copy下来的,翻译:
Stable Diffusion 是文本到图像的扩散模型,多亏了来自Stability AI和 LAION的支持我们能基于数据集LAION-5B database训练出一个512x512图像的潜在扩散模型。和 Google的画像类似,我们这个模型用了fronzen的CLIP vv - l /14文本编码器来根据文本提示调整模型,由于60M UNet 和 123M text encoder,这个模型是轻量级别的,并且可以跑在最低10GB显存的GPU上,[妈的,这还是轻量级的],

1.安装环境

1.1 基础环境

  • 没有环境新建环境

A suitable conda environment named ldm can be created and activated with:

conda env create -f environment.yaml
conda activate ldm
  • 存在环境后的更新环境
    You can also update an existing latent diffusion environment by running
conda install pytorch torchvision -c pytorch
pip install transformers==4.19.2 diffusers invisible-watermark
pip install -e .

可能遇到的问题:

ERROR: Command errored out with exit status 128: git clone -q https://github.com/openai/CLIP.git /home/jianming_ge/workplace/stable-diffusion-main/src/clip Check the logs for full command output.

pytouch 绘画,人工智能,深度学习,stable diffusion
原因在这里,是因为server网络连不到git上。
我的解决方案:

 pip install taming-transformers
 pip install clip
 # 最后
 pip install -e .

1.2 权重文件

权重文件在git的这里。
pytouch 绘画,人工智能,深度学习,stable diffusion

我选的是stable-diffusion-v1-4,
https://huggingface.co/CompVis/stable-diffusion-v1-4

2.牛刀小试

2.1 用法在这里

pytouch 绘画,人工智能,深度学习,stable diffusion
漫长的下载过程

(py39_torch1.10.1) [jianming_ge@localhost workplace]$ /home/jianming_ge/miniconda3/envs/py39_torch1.10.1/bin/python /home/jianming_ge/workplace/ldm.py
Downloading ()ain/model_index.json: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 543/543 [00:00<00:00, 86.8kB/s]
Downloading ()rocessor_config.json: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 342/342 [00:00<00:00, 85.7kB/s]
Downloading ()_checker/config.json: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████| 4.56k/4.56k [00:00<00:00, 916kB/s]
Downloading ()_encoder/config.json: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████| 592/592 [00:00<00:00, 160kB/s]
Downloading ()cheduler_config.json: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 313/313 [00:00<00:00, 62.5kB/s]
Downloading ()nfig-checkpoint.json: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 209/209 [00:00<00:00, 43.9kB/s]
Downloading ()okenizer_config.json: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████| 806/806 [00:00<00:00, 186kB/s]
Downloading ()3d4/unet/config.json: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████| 743/743 [00:00<00:00, 318kB/s]
Downloading ()cial_tokens_map.json: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████| 472/472 [00:00<00:00, 101kB/s]
Downloading ()nfig-checkpoint.json:   0%|                                                                                                                 | 0.00/209 [00:00<?, ?B/s/home/jianming_ge/miniconda3/envs/ldm/bin/python /home/jianming_ge/workplace/ldm.py                                                                         | 0.00/806 [00:00<?, ?B/s]
Downloading ()23d4/vae/config.json: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████| 522/522 [00:00<00:00, 176kB/s]
Downloading ()tokenizer/merges.txt: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 525k/525k [00:16<00:00, 31.7kB/s]
Downloading ()tokenizer/vocab.json: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 1.06M/1.06M [00:30<00:00, 34.8kB/s]
Downloading ()"pytorch_model.bin";: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 492M/492M [06:19<00:00, 1.30MB/s]
Downloading ()_pytorch_model.bin";: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████| 335M/335M [11:17<00:00, 494kB/s]
Downloading (…)"pytorch_model.bin";:   3%|███▌                                                                                                  | 41.9M/1.22G [00:26<13:22, 1.46MB/s]
Downloading (…)"pytorch_model.bin";:  26%|██████████████████████████▉                                                                             | 315M/1.22G [06:06<23:42, 634kB/s]
Downloading (…)"pytorch_model.bin";:  47%|█████████████████████████████████████████████████▎                                                      | 577M/1.22G [11:12<14:50, 718kB/s]
Downloading (…)"pytorch_model.bin";:  89%|██████████████████████████████████████████████████████████████████████████████████████████▌           | 1.08G/1.22G [16:20<01:12, 1.88MB/s]
Downloading (…)_pytorch_model.bin";:  38%|██████████████████████████████████████▌                                                               | 1.30G/3.44G [16:14<21:55, 1.63MB/s]
Downloading ()_pytorch_model.bin";: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████| 335M/335M [11:17<00:00, 458kB/s]

深度学习一半时间在鼓捣环境啊
出来了
pytouch 绘画,人工智能,深度学习,stable diffusion
全套代码在这里

import torch
from diffusers import StableDiffusionPipeline

model_id = "CompVis/stable-diffusion-v1-4"
device = "cuda"


pipe = StableDiffusionPipeline.from_pretrained(model_id, torch_dtype=torch.float16)
pipe = pipe.to(device)

prompt = "a photo of an astronaut riding a horse on mars"
image = pipe(prompt).images[0]  
    
image.save("astronaut_rides_horse.png")

命令行下10几秒钟一张
模型提示输入这个会快一些:

pip install accelerate

pytouch 绘画,人工智能,深度学习,stable diffusion

3.封装api

待续

总结

好玩是挺好玩,但是就拉个git没学到东西啊,算法工程师真的就是git拉个项目么。。。。呜呜呜
唯一遇到的问题是可能服务器上安装不上因为
pytouch 绘画,人工智能,深度学习,stable diffusion
你连上git文章来源地址https://www.toymoban.com/news/detail-790920.html

到了这里,关于【深度学习】Stable Diffusion AI 绘画项目搭建详解,并运行案例的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 深度解析丨AI绘画Stable Diffusion如何实现模特精准换装以及如何替换模特

    一、前言 来了来了,之前给大家承诺的模特换装教程它来了!本篇教程主要运用StableDiffusion这个工具来进行操作,下面会通过几个小案例,给大家展示不同需求下,我们该如何使用StableDiffusion来辅助我们完成服装效果展示。本教程适用于电商设计场景、摄影场景等多个运用人

    2024年04月15日
    浏览(53)
  • ai绘画工具Stable Diffusion,Windows本地环境搭建教程(保姆级)

    配置要求 Windos 10及以上的操作系统; GPU显存最低4G, NVIDIA卡; 由于各种模型体量比较大,一个大模型2-5G,需留有充足的存储空间(20g+); 为什么选择Stable Diffusion 灵活开源,强大的ai生成工具 各种插件,大佬云集 没有审核限制 准备工作 (需要的安装包文中提供了下载链接,

    2024年02月05日
    浏览(47)
  • AI绘画基于 Kaggle 10 分钟搭建 Stable Diffusion(保姆级教程)

    当前最火的、也是日常绘画最常用两个 AI 绘画工具就属 Midjourney 和 Stable Diffusion 了。 而相对于 Midjourney(基础版也要 $10 / month)来说,Stable Diffusion 最大的好处就是: 完全免费! (免费啊,宝子们) 完全开源! 但是 Stable Diffusion 的 安装部署比较复杂 ,而且 对电脑配置要求

    2024年02月11日
    浏览(62)
  • Window 10搭建AI绘画平台-stable-diffusion-webui

    一,安装环境:         1,Python Release Python 3.10.6 | Python.org         一定要安装 Python3.10.6 以上版本,并配好环境变量。               2,Pytorch  CUDA Toolkit Archive | NVIDIA Developer               安装CUDA,下载如下部署电脑截图的对应版本。                      

    2024年02月16日
    浏览(65)
  • AI 绘画Stable Diffusion 研究(十五)SD Embedding详解

    大家好,我是风雨无阻。 本期内容: Embedding是什么? Embedding有什么作用? Embedding如何下载安装? 如何使用Embedding? 大家还记得 AI 绘画Stable Diffusion 研究(七) 一文读懂 Stable Diffusion 工作原理 这篇文章中,曾提到过词嵌入(Embedding)吗? 我们来简单回顾一下:Embedding 将输

    2024年02月11日
    浏览(41)
  • AI 绘画Stable Diffusion 研究(十六)SD Hypernetwork详解

    大家好,我是风雨无阻。 本期内容: 什么是 Hypernetwork? Hypernetwork 与其他模型的区别? Hypernetwork 原理 Hypernetwork 如何下载安装? Hypernetwork 如何使用? 在上一篇文章中,我们详细介绍了 embedding 的定义、作用以及如何安装使用 ,相信看过的朋友都知道,embedding 是属于一种将

    2024年02月11日
    浏览(45)
  • AI绘画Stable Diffusion 高清放大,多种方法详解,建议收藏!

    在Stable Diffusion我们想要得到一张高分辨率且具有细节特征的图片时,我们就需要使用一些图片放大算法来帮助我们实现。 本文主要概述在sd中常常使用的高清修复方法以及不同方法的区别和应用场景。同时也给出一些推荐的工作流,你可以根据自己的情况来选择适合你的。

    2024年04月16日
    浏览(46)
  • AI 绘画Stable Diffusion 研究(八)sd采样方法详解

    大家好,我是风雨无阻。 本期内容: 什么是采样方法 ? 采样方法的分类有哪些? 怎么选择合适的采样方法? 在 Stable Diffusion中目前已经有很多采样方法 ,不同的采样方法,出图效果不同。这里将详细介绍这些采样方法,以及在使用 Stable Diffusion 的过程中,怎么选择合适的

    2024年02月12日
    浏览(49)
  • AI 绘画Stable Diffusion 研究(十七)SD lora 详解(上)

    大家好,我是风雨无阻。 本期内容: Lora的原理是什么? Lora如何下载安装? Lora如何使用? 大家还记得 AI 绘画Stable Diffusion 研究(三)sd模型种类介绍及安装使用详解 这篇文章中,曾简单介绍了Lora的安装和使用吗 ? 但是我们并不清楚LORA 的原理是什么?以及使用过程中有什

    2024年02月10日
    浏览(44)
  • 一行指令自动搭建AI绘画:stable-diffusion-webui_v1.3.2

    本文使用docker进行部署,环境等所有依赖全部整合完毕(版本:v1.3.2) 容器内默认已支持(无需额外配置):xformers + controlnet 支持自定义启动参数,本文示例为开放api接口供外部业务调用,并已解决API方式下Lora不生效的BUG;开启方式文末细说 首次启动下载必要依赖较耗时,

    2024年02月12日
    浏览(33)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包