前言
我们下载完stable-diffusion-ui后还需要下载需要的大模型,才能进行AI绘画的操作。秋叶的stable-diffusion-ui整合包内,包含了anything-v5-PrtRE.safetensors和Stable Diffusion-V1.5-final-prune_v1.0.ckpt两个模型。
-
anything-v5-PrtRE.safetensors模型可以用于生成多种类型的图像,包括肖像、风景、动物、卡通、科幻等,它具有较强的适应性和泛用性,效果表现出较强的真实感和细节还原能力。
-
Stable Diffusion-V1.5-final-prune_v1.0.ckpt模型是Stable Diffusion的一个版本,也具有生成多种图像的能力,同时它还具有较快的生成速度和较高的图像质量。这个模型在细节表现和风格化方面表现得更好,适合于需要快速生成高质量图像的应用场景。
因此,选择哪个模型取决于具体的应用场景和需求。如果需要生成多种类型的图像并且要求细节表现和泛用性较好,可以选择anything-v5-PrtRE.safetensors模型;如果需要快速生成高质量的图像,可以选择Stable Diffusion-V1.5-final-prune_v1.0.ckpt模型。
模型概念
先来看看模型在 Stable Diffusion 中到底是什么概念?在维基百科中对模型的定义非常简单:用一个较为简单的东西来代表另一个东西。换句话说,模型代表的是对某一种事物的抽象表达。
在 AIGC 领域,研发人员为了让机器表现出智能,使用机器学习的方式让计算机从数据中汲取知识,并按照人类所期望的方向执行各种任务。对于 AI 绘画而言,我们通过对算法程序进行训练,让机器来学习各类图片的信息特征,而在训练后沉淀下来的文件包,我们就将它称之为模型。用一句话来总结,模型就是经过训练学习后得到的程序文件。
常见的 AI绘画 用模型后缀名有如下几种:
.ckpt格式 ,.pt 格式,.pth格式,.safetensors格式
-
.ckpt格式 ,.pt 格式,.pth格式,这三种是 pytorch[2] 的标准模型保存格式,由于使用了 Pickle,会有一定的安全风险(自行百度:pickle反序列化攻击)。
-
.safetensors格式为一种新型的模型格式,正如同它的名字一样safe(安全)。为了解决前面的这几种模型的安全风险而出现的。.safetensors 格式与 pytorch 的模型可以通过工具进行任意转换,只是保存数据的方式不同,内容数据没有任何区别。
官方模型
如今市面上有如此多丰富的绘图模型,为什么 Stable Diffusion 官方模型还会被大家津津乐道?当然除了它本身能力强大外,更重要的是从零训练出这样一款完整架构模型的成本非常高。根据官方统计,Stable Diffusion v1-5 版本模型的训练使用了 256 个 40G 的 A100 GPU(专用于深度学习的显卡,对标 3090 以上算力),合计耗时 15 万个 GPU 小时(约 17 年),总成本达到了 60 万美元。
除此之外,为了验证模型的出图效果,伴随着上万名测试人员每天 170 万张的出图测试,没有海量的资源投入就不可能得到如今的 Stable Diffusion。这样一款模型能被免费开源,不得不说极大地推进了 AI 绘画技术的发展。
按理说这么大成本训练出来的模型,绘图效果应该非常强大吧?但实际体验过的朋友都知道,对比开源社区里百花齐放的绘图模型,官方模型的出图效果绝对算不上出众,甚至可以说有点拉垮,这是为什么呢?
前两个是Stable Diffusion官方的基础模型,后一个是别人用官方基础模型为底模训练的特定画风的模型。
这里我们用 ChatGPT 来对比就很好理解了。ChatGPT 的底层大模型是 GPT 模型,GPT 模型虽然包含了海量的基础知识,但并不能直接拿来使用,还需要经过人工微调和指导才能应用在实际生活中,而 ChatGPT 就是在聊天领域的应用程序。同理,Stable Diffusion 作为专注于图像生成领域的大模型,它的目的并不是直接进行绘图,而是通过学习海量的图像数据来做预训练,提升模型整体的基础知识水平,这样就能以强大的通用性和实用性状态完成后续下游任务的应用。
用更通俗的话来说,官方大模型像是一本包罗万象的百科全书,虽然集合了 AI 绘图所需的基础信息,但是无法满足对细节和特定内容的绘图需求,所以想由此直接晋升为专业的绘图工具还是有些困难。
常见模型解析
根据模型训练方法和难度的差异,我们可以将这些模型简单划分为 2 类:
一种是主模型(Checkpoint),另一种则是用于微调主模型的扩展模型(Embedding、Lora、Hyperbetwork)。
- 主模型指的是包含了 TextEncoder(文本编码器)、U-net(神经网络)和 VAE(图像编码器)的标准模型 Checkpoint,它是在官方模型的基础上通过全面微调得到的。但这样全面微调的训练方式对普通用户来说还是比较困难,不仅耗时耗力,对硬件要求也很高.
- 因此大家开始将目光逐渐转向训练一些扩展模型,比如 Embedding、LoRA 和 Hypernetwork扩展模型,通过它们搭配合适的主模型同样可以实现不错的控图效果。
Checkpoint
- Checkpoint 模型,又称 Ckpt 模型或大模型、主模型、底模等。Checkpoint 翻译为中文叫检查点、关卡,之所以叫这个名字,是因为模型训练到关键位置时会进行存档,有点类似我们玩游戏时的保存进度,方便后面进行调用和回滚,比如官方的 v1.5 模型就是从 v1.2 的基础上调整得到的。
- Checkpoint 模型常见的文件格式有两种 .ckpt格式 ,.safetensors格式,需要放在sd-webui-aki(秋叶)或者stable-diffusion-ui根目录下的models\Stable-diffusion文件夹下,stable-diffusion-ui才能加载出来使用。
- Checkpoint模型是一种训练过程中保存模型参数的方法,它可以在训练过程中定期保存模型的参数,并在需要时恢复训练过程。这种方法通常用于训练时间较长的模型,以防止训练过程中的意外中断导致之前训练的结果丢失。
Embeddings
Embeddings(Textual Inversion)又被称作嵌入式向量,在之前初识篇的文章里我给大家介绍了 Stable Diffusion 模型包含文本编码器、扩散模型和图像编码器 3 个部分,其中文本编码器 TextEncoder 的作用是将提示词转换成电脑可以识别的文本向量,而 Embedding 模型的原理就是通过训练将包含特定风格特征的信息映射在其中,这样后续在输入对应关键词时,模型就会自动启用这部分文本向量来进行绘制。
训练 Embeddings 模型的过程,由于是针对提示文本部分进行操作,所以该训练方法叫做 Textual Inversion 文本倒置,平时在社区中提到 Embeddings 和 Textual Inversion 时,指的都是同一种模型。
为了方便理解,你可以吧Embeddings 嵌入式模型,理解成一堆特定图片特征信息的的提示词。Embeddings/Textual Inversion需要搭配Checkpoint模型使用,常作用AI绘画中的反向提示词。
LoRA
LoRA 是 Low-Rank Adaptation Models 的缩写,意思是低秩适应模型。LoRA 原本并非用于 AI 绘画领域,它是微软的研究人员为了解决大语言模型微调而开发的一项技术,因此像 GPT3.5 包含了 1750 亿量级的参数,如果每次训练都全部微调一遍体量太大,而有了 lora 就可以将训练参数插入到模型的神经网络中去,而不用全面微调。通过这样即插即用又不破坏原有模型的方法,可以极大的降低模型的训练参数,模型的训练效率也会被显著提升。
相较于Checkpoint模型训练的方法,LoRA 的训练参数可以减少上千倍,对硬件性能的要求也会急剧下降,如果说 Embeddings 像一张标注的便利贴,那 LoRA 就像是额外收录的夹页,在这个夹页中记录了更全面图片特征信息。
由于需要微调的参数量大大降低,LoRA 模型的文件大小通常在几百 MB,比 Embeddings 丰富了许多,但又没有 Ckpt 那么臃肿。模型体积小、训练难度低、控图效果好,多方优点加持下 LoRA 收揽了大批创作者的芳心,在开源社区中有大量专门针对 LoRA 模型设计的插件,可以说是目前最热门的模型之一。
那 LoRA 模型具体有哪些应用场景呢?总结成一句话就是固定目标的特征形象,这里的目标既可以是人也可以是物,可固定的特征信息就更加保罗万象了,从动作、年龄、表情、着装,到材质、视角、画风等都能复刻。因此 LoRA 模型在动漫角色还原、画风渲染、场景设计等方面都有广泛应用。比如你训练了一个固定动漫角色人物的loRA,搭配写实的Checkpoint模型,就会生成逼真的人物,搭配二次元就会生成二次元风格的人物等等。
安装 LoRA 模型的方法和前面大同小异,将模型保存在\models\Lora 文件夹即可,在实际使用时,我们只需选中希望使用的 LoRA 模型,在提示词中就会自动加上对应的提示词组。
Hypernetwork
Hypernetwork 中文意思是超级网络,是一个神经网络模型,用于调整扩散模型(Diffusion model)的参数。它通过训练产生一个新的神经网络模型,这个模型能向原始Diffusion模型中插入合适的中间层及对应的参数,以使输出图像与输入指令之间产生特定的关联关系。虽然Hypernetwork的训练过程没有对原模型进行全面微调,但它的模型尺寸通常在几十到几百MB之间。相比之下,Hypernetwork比LoRA模型的训练难度更大且应用范围较窄,目前主要被用于控制图像画风。在国内,LoRA模型因其更好的效果和更广泛的应用范围,逐渐取代了Hypernetwork。
Hypernetwork 的安装地址,使用流程与 LoRA 基本相同,将模型保存在\models\hypernetworks 文件夹即可。
VAE
Stable Diffusion中使用的VAE模型的全称是Variational AutoEncoder(变分自编码器)。这是一种神经网络模型,能够对图像进行编码和解码,将图像转换到更小的潜在空间,以便计算可以更快。
VAE模型通过编码和解码图像来实现在更小的潜在空间中的图像表示,这可以加速计算过程。在生成AI绘画时,VAE会对输出的颜色和线条产生影响。
当人们提到下载和使用VAE时,他们指的是使用VAE的改进版本。这发生在模型训练者用额外的数据进一步微调了模型的VAE部分。为了避免发布一个很大的完整新模型,他们只发布了经过更新的小部分。
有些VAE模型可能会内置制作者推荐的VAE,但大多数情况下应该认为没有内置。此外,如果您想要更改色调等内容,也可以通过更改VAE来实现,因此最好尽可能自己准备。
VAE模型主要用于搭配Checkpoint大模型使用,用来改善照片的光照、颜色、亮度和对比度,以及产生特定的视觉效果,相当于生成的图片加上滤镜的效果。
VAE 模型的放置位置是在\models\VAE,因为是辅助 Checkpoint 大模型来使用,所以可以将大模型对应的 VAE 修改为同样的名字,然后在选项里勾选自动,这样在切换 Checkpoint 模型时 VAE 就会自动跟随变换了。
ControlNet模型
ControlNet是一个用于控制AI图像生成的插件,它使用了一种称为"Conditional Generative Adversarial Networks"(条件生成对抗网络)的技术来生成图像。与传统的生成对抗网络不同,ControlNet允许用户对生成的图像进行精细的控制。
在Stable Diffusion中,ControlNet模型用于对生成的图像进行更精确的控制。通过使用ControlNet,用户可以上传线稿让AI帮我们填色渲染,控制人物的姿态、图片生成线稿等等。
模型的下载
国外最大的两个下载网站
- 一个是C站(Civitai) Civitai 有许多定制好的模型,而且可以免费下载,https://civitai.com
Civitai 是一个AI绘画模型分享平台。用户可以在这个平台上浏览并发现由不同创作者创建的AI艺术创作资源,同时也可以轻松地分享他们自己的艺术作品。该平台旨在为AI艺术创作爱好者提供一个分享和发现资源的场所,以促进艺术创作和交流
- 一个是抱脸(huggingface) huggingface 有许多定制好的模型,而且可以免费下载,https://huggingface.co/runwayml/
HuggingFace是一个致力于开发先进自然语言处理技术和工具的公司。他们因开源的Transformers库在机器学习社区中崭露头角,尽管初衷是创建聊天机器人,但这个库在机器学习领域得到了广泛应用。HuggingFace开发了许多流行的自然语言处理工具和框架,包括用于PyTorch、TensorFlow和JAX的最先进机器学习tokenizers,快速先进的Rust标记器,以及最大的即用型数据集中心datasets,这些可以帮助开发人员快速构建和训练模型并完成任务。HuggingFace已经共享了超过10万个预训练模型和1万个数据集,为机器学习界提供了巨大价值。其官网为https://huggingface.co/,而其Github仓库则可以通过https://github.com/huggingface进行访问。
Civitai 适合普通用户使用,上面有大神分享得模型和图片示例,HuggingFace适合大神使用,没有图片示例,但是资源多,有最新科研得模型。访问这两个网站,需要科学上网,所以推荐普通用户到国内得模型网站上下载。国内模型网站得模型,大部分都是从国外搬用过来得,还有一谢国内得大佬贡献的!
国内推荐的三个模型网站
-
LiblibAI·哩布哩布AI-中国领先的AI创作平台 https://www.liblib.ai/
原创AI模型分享社区,这里有最新、最热门的模型素材,10万+模型免费下载。欢迎每一位创作者加入,分享你的作品。与中国原创模型作者交流,共同探索AI绘画。 -
吐司 TusiArt.com https://tusiart.com/
由秋叶启动器的大佬,创建的网站,可在线生图的 AI 模型分享社区,还是免费的!文章来源:https://www.toymoban.com/news/detail-763038.html
-
eSheep 一站式的AIGC社区 https://www.esheep.com/
eSheep.com 是国内知名的AIGC在线画图网站,提供海量模型,并支持在线AI画图。文章来源地址https://www.toymoban.com/news/detail-763038.html
到了这里,关于AI绘画 | stable-diffusion的模型简介和下载使用的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!