stable diffusion(安装以及模型的初步使用)

这篇具有很好参考价值的文章主要介绍了stable diffusion(安装以及模型的初步使用)。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

本机的配置

stable diffusion(安装以及模型的初步使用)

 能跑模型,本地也跑过一点Lora训练的脚本,看看几个效果:

stable diffusion(安装以及模型的初步使用)stable diffusion(安装以及模型的初步使用)

以上的都是配合huggingface有的模型结合civitai上的Lora模型在本地跑出来的图片,自己本地训练的Lora太拉闸了,就不放上来了……

1.安装

1.1安装git以及python3.10

git直接安装最新版本的,python3.10可以下载miniconda,默认会帮忙安装python3.10;记得git和python都要配置在环境目录下(安装的时候都有勾选提示)

git下载链接        |        miniconda下载链接

1.2 stable diffusion webui 安装

在你想要的地方利用git从github上clone项目——webui项目链接

git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui.git

科学上网,如果出现网络问题,但是项目链接又能打开,说明代理设置有问题,可以查看知乎回答解决问题。或者直接网站上下载项目的zip文件也行。但是后续还有脚本需要执行git clone, 建议还是自己解决网络的问题。

项目clone完之后得到这样的目录:

stable diffusion(安装以及模型的初步使用)

双击红框里的.bat文件就行了,会自动执行安装框架的脚本。

webui-user.bat 会调用 webui.bat,里面主要执行的就是这个目录下的launch.py脚本。

在这个文件夹目录下会自动生成venv的虚拟环境,用于安装和使用配置框架的python库(这个挺好的,不用污染自己本地的python环境,代价就是占用空间)

安装过程中可能会出错,大家根据提示修复遇到的坑,继续双击.bat文件就能继续安装。

成功后执行.bat脚本终端就会出现:

stable diffusion(安装以及模型的初步使用)

 浏览器输出网址就能使用了。

1.2.1 安装踩的坑

1.2.1.1 检查损失的库

所有的库安装完毕大概是这样的:

stable diffusion(安装以及模型的初步使用)

 上面的终端是在目录stable diffusion(安装以及模型的初步使用)

下,进入powershell执行进入虚拟环境的命令

stable diffusion(安装以及模型的初步使用)大家安装过程中遇到什么库没装上的,可以跑进来pip list看看,然后也可以自己手动安装失败的库。

红色框的xformers不会在执行脚本的时候自动安装,因为这个不是必须的,功能就是加速图像生成,代价就是图像不稳定,大家看情况自己进入虚拟环境手动进行安装

pip install xformers==0.0.16rc425

1.2.1.2 webui-user.bat执行clone出错

框架安装的时候会执行clone脚本,成功的结果是这样的

stable diffusion(安装以及模型的初步使用)

 这些东西被安装在repositories目录下stable diffusion(安装以及模型的初步使用)

笔者当时安装脚本执行git clone的时候有问题,一直只能看网络不断重新执行安装脚本,但是本地git bash是可以克隆的,于是就跑到launch.py脚本里面,把需要clone的代码网址,手动clone下来了。stable diffusion(安装以及模型的初步使用)

手动clone的肯定是最新版本,安装脚本里似乎会根据hash码去重新fetch版本?笔者就直接在prepare_envrionment函数里给他注释掉了(最新版本的还能安装成功嘛?赌一把)

stable diffusion(安装以及模型的初步使用)

1.2.1.3 安装官方的基础模型出错

stable diffusion(安装以及模型的初步使用)

上述的库和git依赖仓安装完毕了之后,脚本会下载SD1.5的基础模型。下载完了之后运行框架是需要加载模型的,如果加载模型出了问题,大家去红框的网站自行下载模型,放到models/Stable-diffusion目录下即可,原来坏掉的可以删掉。

1.3 框架的运行与模型的使用

在SD安装目录下,打开webui-user.bat,直到终端出现url链接的时候,用浏览器访问链接就可以看到界面了。

stable diffusion(安装以及模型的初步使用)

 训练好的模型可以去huggingface上搜索stable diffusion关键字得到,保存在对应的目录下即可。

stable diffusion(安装以及模型的初步使用)

 然后就可以在prompt文本框里输入想要生成的图像了。

1.3.1 图像生成

这里或许应该叫做prompt工程师…描述词是个技术活具体可以查看B站视频学习一下关键字和一些语法。

stable diffusion(安装以及模型的初步使用)

 每次生成的图像都会保存在项目目录下的outputs中,大家可以去检查。

stable diffusion(安装以及模型的初步使用)

 因为生成的图像是512*512像素的,大家可以勾选红框里的选项,生成完后可以后续进行图像的放大处理,可以直接选定放大倍数,也可以移动黄框里自定义大小。看看效果:stable diffusion(安装以及模型的初步使用)

为什么不要直接生成1024*1024?基本网络训练的都是512*512,或者512*726的图像,直接生成比较大的图像,效果不好。

训练的seed可以根据stable diffusion(安装以及模型的初步使用)

生成后的描述进行复制,如果遇到画风和结构是自己比较喜欢的,就固定seed,调整prompt或者其他参数吧。 

1.3.2 Lora的使用

简单来说就是fine-tuning模型,因为基础模型太大,每次训练要耗费大量的资源和时间,Lora就是在一个基本模型的基础上,去微调参数,得到更符合自己目的的模型。

因此使用Lora的时候,记得看看它是基于那个基础模型的。二者不同,可能出现的结果不好。

Lora模型可以去网站上下载

for example:我想要画一个《双城之战》画风的金克斯

1. 找到对应的lora模型

stable diffusion(安装以及模型的初步使用)

 下载之后放到models/Lora文件夹之下,点击下面的红框就能刷新出来本地有的Lora模型

stable diffusion(安装以及模型的初步使用)

然后生成想要的图片:stable diffusion(安装以及模型的初步使用)

 stable diffusion(安装以及模型的初步使用)

如果把Lora标记删除,那么生成的图片就完全是另一个样子

stable diffusion(安装以及模型的初步使用)

 以上,后续更新本地训练的安装配置。目前在尝试controlnet的使用。

常用链接

models:huggingface

models and lora:civitai

国内的models网站,这几天刚发现的:aituzhan文章来源地址https://www.toymoban.com/news/detail-429300.html

到了这里,关于stable diffusion(安装以及模型的初步使用)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 大模型学习笔记(一):部署ChatGLM模型以及stable-diffusion模型

    平台注册链接: https://growthdata.virtaicloud.com/t/SA 注册完成后,点击右上角: 费用中心 ,可查看领取的算力。 https://platform.virtaicloud.com/ ChatGLM3 是智谱AI和清华大学 KEG 实验室联合发布的新一代对话预训练模型。 推理速度比上一代提高了很多,虽然本教程有两种启动方式,但教

    2024年03月19日
    浏览(62)
  • Stable Diffusion的使用以及各种资源

    Stable Diffusion是2022年发布的深度学习文本到图像生成模型。它主要用于根据 文本的描述 产生详细 图像 ,尽管它也可以应用于其他任务,如内补绘制、外补绘制,以及在提示词指导下产生图生图的翻译。 s用到的技术原理叫做扩散算法,具体的算法设计是很复杂的一门学科。

    2024年02月12日
    浏览(36)
  • Stable Diffusion教程之使用Stable Diffusion改进图像分割模型

    作为 ML 工程师,Edge Analytics和Infinity AI的团队非常熟悉与为计算机视觉应用程序获取高质量标记图像相关的挑战。随着生成图像模型的发布,例如来自Stability AI的开源Stable Diffusion,我们探索了使用生成模型来提高特定语义分割模型的性能。 Stable Diffusion是 Stability AI 在今年早些

    2024年02月10日
    浏览(46)
  • visual studio 2010版本安装以及初步使用

    首先登陆免费下载网站,该网站应该说是不少软件的免费下载网站了。 https://msdn.itellyou.cn/ 然后在上面搜索框中输入Visual Studio 2010,点击GO按钮进行搜索。 选择版本为visual_studio_2010_ultimate_x86_dvd,点击详细信息,复制下方链接到迅雷中就可以进行下载了。  下载后选择文件夹

    2024年02月11日
    浏览(44)
  • 【扩散模型】12、Stable Diffusion | 使用 Diffusers 库来看看 Stable Diffusion 的结构

    参考:HuggingFace 参考:https://jalammar.github.io/illustrated-stable-diffusion/ Stable Diffusion 这个模型架构是由 Stability AI 公司推于2022年8月由 CompVis、Stability AI 和 LAION 的研究人员在 Latent Diffusion Model 的基础上创建并推出的。 其原型是(Latent Diffusion Model),一般的扩散模型都需要直接在像

    2024年01月18日
    浏览(61)
  • 【扩散模型】11、Stable Diffusion | 使用 Diffusers 库来看看 Stable Diffusion 的结构

    参考:HuggingFace 参考:https://jalammar.github.io/illustrated-stable-diffusion/ Stable Diffusion 这个模型架构是由 Stability AI 公司推于2022年8月由 CompVis、Stability AI 和 LAION 的研究人员在 Latent Diffusion Model 的基础上创建并推出的。 其原型是(Latent Diffusion Model),一般的扩散模型都需要直接在像

    2024年01月16日
    浏览(46)
  • Stable Diffusion MacBookAir 手把手安装教程,以及checkpoint安装、Lora安装、civitai介绍。

    本地部署Stable Diffusion 安装git  Git - Downloads https://git-scm.com/downloads 安装python 3.10.6   Python Releases for macOS | Python.org The official home of the Python Programming Language https://www.python.org/downloads/macos/ 下载stable-diffusion-webui  GitHub - AUTOMATIC1111/stable-diffusion-webui: Stable Diffusion web UI Stable Diffusio

    2024年02月10日
    浏览(52)
  • 【Kaggle】Stable Diffusion - Image to Prompts竞赛代码初步理解

    此次代码集成了 CLIP Interrogator、OFA 模型和 ViT 模型。 首先安装指定版本的 transformers 库: transformers-4.18.0.dev0-py3-none-any.whl 是一个 transformers 库的文件,它的命名方式表示这是一个开发版本(dev)的预构建轮子(wheel)文件。 轮子文件是 Python 包的一种打包格式,可以通过 pip

    2024年02月03日
    浏览(54)
  • stable-diffusion-webui手动安装详细步骤(以及报错解决、踩坑)

    主要介绍 stable-diffusion-webui 的 主题开发、插件开发 等内容,感兴趣的朋友可以订阅下! 大话Stable-Diffusion-Webui-客制化主题(一) 大话Stable-Diffusion-Webui-客制化主题(二) 大话Stable-Diffusion-Webui-客制化主题(三) 不定时更新中... stable-diffusion-webui手动安装详细步骤(AMD显卡)

    2023年04月09日
    浏览(45)
  • Stable Diffuse 之 安装文件夹、以及操作界面 UI 、Prompt相关说明

    目录 Stable Diffuse 之 安装文件夹、以及操作界面 UI 、Prompt相关说明 一、简单介绍 二、安装文件相关说明 三、界面的简单说明 四、prompt 的一些语法简单说明 1、Prompt :正向提示词 ,用文字描述在图像中出现的内容 2、Negative prompt:负面提示词,用文字描述不想在图像中出现

    2024年02月09日
    浏览(39)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包