Dreambooth Stable Diffusion始化训练环境(AutoDL)

这篇具有很好参考价值的文章主要介绍了Dreambooth Stable Diffusion始化训练环境(AutoDL)。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

以AutoDL为例

        以下代码源自:赛博华佗——秋叶:

        Akegarasu

环境选择

  1. Miniconda: Miniconda是一个轻量级的Conda环境管理系统。它包含了conda、Python和一些常用的包,以及能够管理安装其他包的能力。Miniconda是Anaconda的一个简化版,Anaconda是一个流行的Python科学计算发行版。

  2. conda3: 这指的是使用Conda环境管理系统,并且特指Python 3的版本。Conda是一个开源的包管理和环境管理系统,常用于科学计算领域,可以用来安装、运行和升级复杂的科学计算环境。

  3. 3.8(ubuntu20.04): 这里指的是使用Python 3.8版本,在Ubuntu 20.04操作系统上。Ubuntu 20.04是一个流行的Linux发行版,Python 3.8是这个版本的Python的一个较新的稳定版本。

  4. 11.3: 这个数字指的是NVIDIA CUDA的版本号,CUDA是NVIDIA开发的用于通用并行计算的编程架构,广泛用于深度学习和高性能计算任务。11.3是CUDA的一个具体版本号。

初始化脚本环境

        clone其项目后,首先利用 conda 创建 python 运行环境后再运行 install.sh

git clone https://github.com/Akegarasu/dreambooth-autodl.git
cd dreambooth-audodl
conda create -n diffusers python=3.10
conda init bash && source /root/.bashrc
conda activate diffusers
conda install ipykernel
ipython kernel install --user --name=diffusers
bash install.sh

        将项目文件夹移动到 /autodl-tmp 后打开 dreambooth-aki.ipynb 运行训练

import sys
import os

# 本镜像专属
os.environ["PATH"] = f'/root/miniconda3/envs/diffusers/bin:{os.environ["PATH"]}'
os.environ["HF_HOME"] = ".cache"
DB_SCRIPT_WORK_PATH = os.getcwd() # "/root/autodl-tmp/dreambooth-aki"

!python --version
%cd $DB_SCRIPT_WORK_PATH

TRAINER = "train_dreambooth.py"
CONVERTER = "convert_v3.py"
BACK_CONVERTER = "back_convert.py"

SRC_PATH = "./model-sd"
MODEL_NAME = "./model-hf"

# 模型保存路径
OUTPUT_DIR = "./output"
!mkdir -p $OUTPUT_DIR

        这段代码是设置一个Jupyter笔记本的全局变量,主要用于准备环境以便于训练Stable Diffusion模型。代码执行的主要功能如下:

  1. 导入所需的Python库(sysos)。

  2. 设置环境变量:

    • "PATH":添加一个特定的路径到系统的PATH环境变量中,这个路径是针对一个特定的Python环境设置的,以确保可以访问所需的执行文件。
    • "HF_HOME":设置Hugging Face库的缓存目录。
  3. 获取当前工作目录的路径,并将其存储在变量DB_SCRIPT_WORK_PATH中。

  4. 执行系统命令来获取Python的版本信息,并切换到工作目录。

  5. 定义一些脚本和模型相关的变量:

    • TRAINER:用于训练模型的Python脚本文件名。
    • CONVERTER:用于转换模型格式的Python脚本文件名。
    • BACK_CONVERTER:用于将训练好的模型转换回原始格式的Python脚本文件名。
    • SRC_PATH:原始模型文件的路径。
    • MODEL_NAME:转换后的模型文件的保存路径。
  6. 定义模型输出目录OUTPUT_DIR,并创建该目录(如果它不存在的话)。

        这些步骤为接下来的模型训练和转换工作提供了必要的准备。它设置了环境变量、定义了关键文件路径和脚本名称,并确保了输出目录的存在。

    环境变量PATH

        环境变量PATH是操作系统用来查找可执行文件的目录列表。当你运行一个命令时,系统会在PATH中列出的目录里搜索该命令对应的可执行文件。

f'/root/miniconda3/envs/diffusers/bin:{os.environ["PATH"]}'

        这其中的冒号,其实是一个分隔符。。。。。。

        在PATH环境变量中,路径是按照从左到右的顺序进行搜索的。因此,冒号前面的路径(也就是在变量值的最开始的路径)会被优先搜索。如果在这些路径中找不到所需的可执行文件,系统会继续在冒号后面列出的路径中搜索,直到找到所需的可执行文件或者搜索完所有列出的路径。

        在这个特定的例子中,/root/miniconda3/envs/diffusers/bin被添加到了PATH的最前面,所以系统会首先在这个目录中寻找可执行文件。这种方法常用于确保使用特定环境或版本的程序,特别是在有多个版本的程序安装在系统上时。

os.environ["HF_HOME"] = ".cache"
  • os.environ:这是Python中的一个字典,它包含了当前shell环境的所有环境变量。通过修改这个字典,可以改变环境变量的值。

  • "HF_HOME":这是环境变量的名称。HF_HOME是由Hugging Face库使用的特定环境变量,通常用于指定Hugging Face相关文件(如模型缓存、配置文件等)的存储位置。

  • "= .cache":这将HF_HOME的值设置为.cache。这个值是一个相对路径,表示当前目录下的名为.cache的文件夹。

        将HF_HOME设置为.cache的效果是:当使用Hugging Face库(例如,加载模型、下载数据集等)时,它会将所有缓存的数据(如下载的预训练模型)保存到当前工作目录下的.cache文件夹中。这对于管理模型缓存非常有用,特别是在想要控制缓存位置或在多个项目之间共享缓存时。通过这种方式,你可以避免在系统的默认位置(通常是用户的主目录)中堆积过多的缓存文件。

!python --version

       这行代码在Jupyter笔记本中执行一个shell命令,用于检查当前环境中Python的版本。--version参数让Python打印出其版本信息。

DB_SCRIPT_WORK_PATH = os.getcwd() 
# "/root/autodl-tmp/dreambooth-aki"
%cd $DB_SCRIPT_WORK_PATH

   %cd是Jupyter笔记本的魔术命令,用于改变当前工作目录。

OUTPUT_DIR = "./output"
!mkdir -p $OUTPUT_DIR
  • 在Jupyter笔记本中执行一个shell命令,用于创建目录。
  • mkdir是一个常用的Unix/Linux命令,用于创建新的目录。
  • -p参数告诉mkdir命令,如果目录不存在,则创建它;如果目录已经存在,不要报错(不要叫唤)。此外,-p参数还允许创建必要的父目录。

DreamBooth详解

DreamBooth | AiDraw文章来源地址https://www.toymoban.com/news/detail-799769.html

到了这里,关于Dreambooth Stable Diffusion始化训练环境(AutoDL)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 如何定制属于自己的stable diffusion?Dreambooth原理详解和代码实战

    Diffusion Models专栏文章汇总:入门与实战 前言 :今天是劳动节,先向广大劳动者们致敬!AIGC大模型(如stable diffusion models)的训练成本已经超过绝大多数人的承受范围,彻底沦为中大厂/科研大组的“御用品”,这也是大模型时代的必然趋势。如何利用已有的开源大模型,微调出

    2024年02月05日
    浏览(30)
  • autoDL云部署stable diffusion教程

    没注册的先注册,注册后点击登录 第一次玩的话,可以先充几块钱试一下,选择其它金额,输入充值金额,选择付款方式,点击充值 最上面一排点击算力市场,建议选择内蒙A区RTX A5000、RTX3090、西北B区RTX4090、 选择社区镜像,搜索nove,选择最上面下载量最高的那个,需要不

    2024年02月21日
    浏览(30)
  • Stable Diffusion Automatic1111 Web UI和dreambooth扩展的安装教程

    Python 3.10.9 https://www.python.org/ftp/python/3.10.9/python-3.10.9-amd64.exe git https://git-scm.com/downloads 下载地址:https://github.com/AUTOMATIC1111/stable-diffusion-webui 下载用于训练的模型:Realistic Vision V2 Model For Realistic Training (3.85 GB) DreamBooth extension:https://github.com/d8ahazard/sd_dreambooth_extension 进入Autom

    2024年02月02日
    浏览(39)
  • 在autodl算力云上部署Stable Diffusion

    算力云网址 https://www.autodl.com/home 这回真的是无任何阉割的版本了,截至4月19日,所有的webui最新版功能都能正常用 算力云环境 镜像 Miniconda conda3 Python 3.10(ubuntu22.04) Cuda 11.8 GPU Tesla T4(16GB) * 1升降配置 CPU 8 vCPU Intel Xeon Processor (Skylake, IBRS) 内存 56GB 硬盘 系统盘:25 GB 数据盘:免费

    2024年02月05日
    浏览(39)
  • AutoDL 训练stable-diffusion lora模型

    1.创建镜像实例 2. 启动实例  3.启动服务 4.配置参数 4.1 基础模型选择   4.2 文件路径设置  5.点击打印训练信息  6.训练模型(点击Train model)    

    2024年02月16日
    浏览(32)
  • 【深度学习】Stable Diffusion

    Stable Diffusion原理: https://zhuanlan.zhihu.com/p/632866251 https://zhuanlan.zhihu.com/p/613337342 源码中的模型:

    2024年02月11日
    浏览(33)
  • AutoDL从0到1搭建stable-diffusion-webui

      AI绘画当前非常的火爆,随着Stable diffusion,Midjourney的出现将AI绘画推到顶端,各大行业均受其影响,离我们最近的AI绘画当属Stable diffusion,可本地化部署,只需电脑配备显卡即可完成AI绘画工作,此篇文章将以AUTODL从0到1云部署stable-diffusion-webui。 打开AutoDL,点击立即注册

    2024年02月14日
    浏览(27)
  • stable-diffusion-webui AutoDL 算力平台后台启动命令

    AutoDL官网:AutoDL算力云 | 弹性、好用、省钱。租GPU就上AutoDL AutoDL 算力平台后台启动命令 备注: COMMANDLINE_ARGS=\\\"--share --gradio-debug --port 6006\\\"    要改成 COMMANDLINE_ARGS=\\\"--listen --port 6006\\\"  不然服务启动的是临时会话,72小时后服务可能会过期! 常见问题: 问题1: ValueError: When loc

    2024年02月15日
    浏览(43)
  • 【Stable diffusion教程】AutoDL云部署超详细步骤说明【外婆都会】

    1.1 登录/注册 官网:https://www.autodl.com/home,点击右上角 登录/注册 。此处我已经注册了 如果你是学生的话,注册完之后,进入控制台,在右上角点一下学生认证,然后你就可以享受炼丹会员折扣啦。 1.2 账号充值 登录后在控制台页面,因为抢主机的时候余额不足就没法提交,

    2024年02月12日
    浏览(50)
  • [深度学习]stable diffusion官方模型下载地址

    由于老忘记下载地址还有官方给的下载地址我也是老找不到,因此放博客备份一下,同时也给有需要的人。 1.4版本下载: CompVis/stable-diffusion-v-1-4-original · Hugging Face 1.5版本下载: runwayml/stable-diffusion-v1-5 at main sdxl-0.9.0版本下载 https://huggingface.co/stabilityai/stable-diffusion-xl-base-0.

    2024年02月11日
    浏览(40)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包