AIGC专栏5——EasyPhoto AI写真照片生成器 sd-webui插件介绍、安装与使用

这篇具有很好参考价值的文章主要介绍了AIGC专栏5——EasyPhoto AI写真照片生成器 sd-webui插件介绍、安装与使用。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

学习前言

在视觉方向的AIGC领域,AI写真是一个靠谱且经过验证的落地方案,随着StableDiffusion领域开源社区的快速发展,社区也涌现了类似 FaceChain 这样基于 Modelscope开源社区结合 diffusers 的开源项目,用于指导用户快速开发个人写真。

然而对于大量使用SDWebUI的 AIGC 同学们,短时间内却没有一个效果足够好的开源插件,去适配真人写真这一功能。

对于AI写真而言,需要注意两个方向的重点,一个是一定要和用户像,另外一个是一定要真实

最近我参与了一个EasyPhoto的项目,可以根据模板图像生成对应的用户写真,借助Stable Diffusion与Lora的强大生成能力,生成图片可以做到较为相似且真实,近期也开源了出来。
AIGC专栏5——EasyPhoto AI写真照片生成器 sd-webui插件介绍、安装与使用,AIGC专栏,AIGC,人工智能,写真,sdwebui,easyphoto

源码下载地址

https://github.com/aigc-apps/sd-webui-EasyPhoto

麻烦各位朋友点个Star,这对我来讲还是很重要的!

技术原理储备(SD/Control/Lora)

StableDiffusion

StableDiffusion作为Stability-AI开源图像生成模型,通常分为SD1.5/SD2.1/SDXL等版本, 是通过对海量的图像文本对进行训练结合文本引导的扩散模型,使用训练后的模型,通过对输入的文字进行特征提取,引导扩散模型在多次的迭代中生成高质量且符合输入语义的图像。下面的图像就是Stable Diffusion官网贴出来的他们的效果。

EasyPhoto AI基于StableDiffusion丰富的开源社区与强大的生成能力,进而生成逼真且自然的AI写真。
AIGC专栏5——EasyPhoto AI写真照片生成器 sd-webui插件介绍、安装与使用,AIGC专栏,AIGC,人工智能,写真,sdwebui,easyphoto

ControlNet

ControlNet是《Adding Conditional Control to Text-to-Image Diffusion Models》提出的通过添加部分训练过的参数,对StableDiffsion模型进行扩展,用于处理一些额外的输入信号,例如骨架图/边缘图/深度图/人体姿态图等等输入,从而完成利用这些额外输入的信号,引导扩散模型生成与信号相关的图像内容。例如我们在官方 Repo 可以看到的,使用Canny边缘作为信号,控制输出的小狗。

EasyPhoto 基于多Controlnet强大的控制能力,在保留原模板特点的情况下(如颜色、光照、轮廓),生成非常自然写真图像。
AIGC专栏5——EasyPhoto AI写真照片生成器 sd-webui插件介绍、安装与使用,AIGC专栏,AIGC,人工智能,写真,sdwebui,easyphoto

Lora

由《LoRA: Low-Rank Adaptation of Large Language Models》 提出的一种基于低秩矩阵的对大参数模型进行少量参数微调训练的方法,广泛引用在各种大模型的下游使用中。AI真人写真需要保证最后生成的图像和我们想要生成的人是相像的,这就需要我们使用Lora 技术,对输入的少量图片,进行一个简单的训练,从而使得我们可以得到一个小的指定人脸(Face id)的模型。

EasyPhoto插件简介

EasyPhoto是一款Webui UI插件,用于生成AI肖像画,该代码可用于训练与用户相关的数字分身。建议使用 5 到 20 张肖像图片进行训练,最好是半身照片且不要佩戴眼镜(少量可以接受)。训练完成后,EasyPhoto可以在推理部分生成图像。EasyPhoto支持使用预设模板图片与上传自己的图片进行推理。

这些是插件的生成结果,从生成结果来看,插件的生成效果还是非常不错的:
AIGC专栏5——EasyPhoto AI写真照片生成器 sd-webui插件介绍、安装与使用,AIGC专栏,AIGC,人工智能,写真,sdwebui,easyphoto
AIGC专栏5——EasyPhoto AI写真照片生成器 sd-webui插件介绍、安装与使用,AIGC专栏,AIGC,人工智能,写真,sdwebui,easyphoto
每个图片背后都有一个模板,EasyPhoto会对模板进行修改使其符合用户的特征。
在EasyPhoto插件中,Inference侧已经预置了一些模板,可以用插件预置的模板进行体验;另外,EasyPhoto同样可以自定义模板,在Inference侧有另外一个tab页面,可以用于上传自定义的模板。如下图所示。
AIGC专栏5——EasyPhoto AI写真照片生成器 sd-webui插件介绍、安装与使用,AIGC专栏,AIGC,人工智能,写真,sdwebui,easyphoto
而在Inference预测前,我们需要进行训练,训练需要上传一定数量的用户个人照片,训练的产出是一个Lora模型。该Lora模型会用于Inference预测。

总结而言,EasyPhoto的执行流程非常简单:
1、上传用户图片,训练一个与用户相关的Lora模型;
2、选择模板进行预测,获得预测结果。

EasyPhoto插件安装

安装方式一:Webui界面安装 (需要良好的网络)

安装过程较为简单,网络良好的情况下,跳转到Extentions,然后选择install from URL。
输入https://github.com/aigc-apps/sd-webui-EasyPhoto,点击下方的install即可安装,在安装过程中,会自动安装依赖包,这个需要耐心等待一下。安装完需要重启WebUI。
AIGC专栏5——EasyPhoto AI写真照片生成器 sd-webui插件介绍、安装与使用,AIGC专栏,AIGC,人工智能,写真,sdwebui,easyphoto

安装方式二:Git clone下载安装 (clone过程会提示安装进度)

直接进入到Webui的extensions文件夹,打开git工具,git clone即可。
下载完成后,重新启动webui,便会检查需要的环境库并且安装。
AIGC专栏5——EasyPhoto AI写真照片生成器 sd-webui插件介绍、安装与使用,AIGC专栏,AIGC,人工智能,写真,sdwebui,easyphoto

其它插件安装:Controlnet 安装

我们需要使用 Controlnet 进行推理。相关软件源是Mikubill/sd-webui-controlnet。在使用 EasyPhoto 之前,您需要安装这个软件源。

此外,我们至少需要三个 Controlnets 用于推理。因此,您需要设置 Multi ControlNet: Max models amount (requires restart)
AIGC专栏5——EasyPhoto AI写真照片生成器 sd-webui插件介绍、安装与使用,AIGC专栏,AIGC,人工智能,写真,sdwebui,easyphoto

EasyPhoto训练

EasyPhoto训练界面如下:

  • 左边是训练图片,直接点击Upload Photos即可上传图片,点击Clear Photos可以删除已经上传的图片;
  • 右边是训练参数,初次训练可不做参数调整。

AIGC专栏5——EasyPhoto AI写真照片生成器 sd-webui插件介绍、安装与使用,AIGC专栏,AIGC,人工智能,写真,sdwebui,easyphoto

1、上传图片(Upload photos)

点击Upload Photos后即可开始上传图片,在此处我们最好上传5-15张图片、包含不同角度、不同光照的情况;而我这里用了7张,最好有一些图片是不包括眼镜的,如果都是眼镜,生成结果里面有容易会生成眼镜
AIGC专栏5——EasyPhoto AI写真照片生成器 sd-webui插件介绍、安装与使用,AIGC专栏,AIGC,人工智能,写真,sdwebui,easyphoto
上传完成后,我们就可以在界面上看到已经上传的图像啦!
AIGC专栏5——EasyPhoto AI写真照片生成器 sd-webui插件介绍、安装与使用,AIGC专栏,AIGC,人工智能,写真,sdwebui,easyphoto

2、参数设置(Adanced Options)

a、默认参数解析

然后我们来看右边的参数设置部分,这里参数可调节的量还是比较多的,初次训练不做调整,每个参数的解析如下:

参数名 含义
resolution 训练时喂入网络的图片大小,默认值为512
validation & save steps 验证图片与保存中间权重的steps数,默认值为100,代表每100步验证一次图片并保存权重
max train steps 最大训练步数,默认值为800
max steps per photos 每张图片的最大训练次数,默认为200
train batch size 训练的批次大小,默认值为1
gradient accumulationsteps 是否进行梯度累计,默认值为4,结合train batch size来看,每个Step相当于喂入四张图片
dataloader num workers 数据加载的works数量,windows下不生效,因为设置了会报错,Linux正常设置
learning rate 训练Lora的学习率,默认为1e-4
rank Lora 权重的特征长度,默认为128
network alpha Lora训练的正则化参数,一般为rank的二分之一,默认为64

最终训练步数的计算公式也比较简单,Final training step = Min(photo_num * max_steps_per_photos, max_train_steps)。

简单来理解就是:
图片数量少的时候,训练步数为photo_num * max_steps_per_photos。
图片数量多的时候,训练步数为max_train_steps。

b、开启或者关闭验证

EasyPhoto在训练时默认会对训练过程进行验证,然后根据 训练过程中的验证结果,进行最优秀的几个Lora进行融合。

但这个 验证 在显存不足时容易导致 卡住,并且因为验证的频次较多,会影响一定的训练速度,如果机器的配置不足,可以尝试关闭验证来加快训练速度。

AIGC专栏5——EasyPhoto AI写真照片生成器 sd-webui插件介绍、安装与使用,AIGC专栏,AIGC,人工智能,写真,sdwebui,easyphoto

3、开始训练(Start Training)

a、填入User ID

然后我们点击下方的开始训练,此时需要在上方填入一下User ID,比如 用户的名字,然后就可以开始训练了。
AIGC专栏5——EasyPhoto AI写真照片生成器 sd-webui插件介绍、安装与使用,AIGC专栏,AIGC,人工智能,写真,sdwebui,easyphoto

b、下载权重

开始初次训练时会从oss上下载一部分权重,我们耐心等待即可,大概需要下载10G左右的资源,下载进度需要关注终端。
AIGC专栏5——EasyPhoto AI写真照片生成器 sd-webui插件介绍、安装与使用,AIGC专栏,AIGC,人工智能,写真,sdwebui,easyphoto

c、开始训练

在自动预处理完成后,Lora模型开始训练,我们只需要耐心的等待训练完成即可!
AIGC专栏5——EasyPhoto AI写真照片生成器 sd-webui插件介绍、安装与使用,AIGC专栏,AIGC,人工智能,写真,sdwebui,easyphoto

d、得分检查

终端显示成这样就已经训练完了,最后这步是在计算验证图像与用户图像之间的人脸 ID 相似性,从而实现 Lora 融合,确保我们的 Lora 是用户的完美数字分身。

一般来讲这个得分相似性在0.50以上是正常的情况,如果得分在0.10以下则需要检查一下环境,可能因为环境不对导致模型并未训练。
AIGC专栏5——EasyPhoto AI写真照片生成器 sd-webui插件介绍、安装与使用,AIGC专栏,AIGC,人工智能,写真,sdwebui,easyphoto

EasyPhoto预测

1、User ID选择

训练完后,我们需要将tab页转到Inference。由于Gradio的特性,刚训练好的模型不会自动刷新,可以点击Used id旁的蓝色旋转按钮进行模型刷新。

刷新完后选择刚刚训练的模型,然后选择对应的模板即可开始预测。
AIGC专栏5——EasyPhoto AI写真照片生成器 sd-webui插件介绍、安装与使用,AIGC专栏,AIGC,人工智能,写真,sdwebui,easyphoto

2、模板选择

a、预设模板(template image)

EasyPhoto仓库中预设了一些模板,template image中直接点击,即可选择模版进行预测。
AIGC专栏5——EasyPhoto AI写真照片生成器 sd-webui插件介绍、安装与使用,AIGC专栏,AIGC,人工智能,写真,sdwebui,easyphoto

b、上传模板(upload image)

预设模板的内容比较有限,可以切到upload image,直接自己上传模板进行预测。
AIGC专栏5——EasyPhoto AI写真照片生成器 sd-webui插件介绍、安装与使用,AIGC专栏,AIGC,人工智能,写真,sdwebui,easyphoto

c、上传多图批量预测(upload dir)

点击upload dir可以上传多图进行批量预测,上传完成后,点击Start Generation即可批量生成。

批量生成时间较久,请耐心等待。
AIGC专栏5——EasyPhoto AI写真照片生成器 sd-webui插件介绍、安装与使用,AIGC专栏,AIGC,人工智能,写真,sdwebui,easyphoto

3、高级选项(Advanced Options,参数设置)

高级选项中包含预测中各个能够设置的参数,大概有下面这么几个,请各位同学按情况进行调整

参数名 参数解释 调整后的影响
Additional Prompt 正向提示词,会传入Stable Diffusion模型进行预测。 可以根据自身希望增加的元素调整prompt词。
Seed 种子值。 用于保证结果的可复现性,为-1时会随机选择一个种子数。
Face Fusion Ratio Before 第一次人脸融合的强度。 调节后会影响人物相似度,一般来讲,值越大与训练人物的相似度越高。
Face Fusion Ratio After 第二次人脸融合的强度。 调节后会影响人物相似度,一般来讲,值越大与训练人物的相似度越高。
First Diffusion steps 第一次进行Stable Diffusion的总步数。第一次Diffusion主要进行人像区域的调整,使得人像更自然。 调节后会影响图片质量与出图速度,一般值越大图片质量越高,出图越慢。
First Diffusion denoising strength 第一次进行Stable Diffusion的重绘比例。 调节后会影响图片的重绘比例与出图速度,一般值越大,人像变动越大。
Second Diffusion steps 第二次进行Stable Diffusion的总步数。 第二次Diffusion主要进行人像周围区域的调整,使得图片更和谐。 调节后会影响图片质量与出图速度,一般值越大图片质量越高,出图越慢。
Second Diffusion denoising strength 第二次进行Stable Diffusion的重绘比例。 调节后会影响图片的重绘比例与出图速度,一般值越大,人像周围变动越大。
Crop Face Preprocess 是否对人像裁剪后再处理。 推荐开启,假设输入的是大图,会对人像区域先做裁剪后再进行人像调整,调整结果更精细。
Apply Face Fusion Before 是否进行第一次人脸融合。 调节后会影响是否进行第一次人脸融合,会影响人像的相似度。
Apply Face Fusion After 是否进行第二次人脸融合。 调节后会影响是否进行第二次人脸融合,会影响人像的相似度。 如果感觉人像发虚则取消该次融合。
Apply color shift first 是否进行第一次DIffusion后的色彩校正。 调节后会影响图片的人像自然程度。
Apply color shift last 是否进行第二次DIffusion后的色彩校正。 调节后会影响图片的人像自然程度。
Background Restore 是否进行背景的重建。 开启后可以对人像区域外背景进行重建,在使用动漫化模型时,可以让整个图片更和谐。

4、单人预测

选择完user id与模版后,点击start generation即可开始预测。初次预测需要下载一些modelscope的模型,耐心等待一下即可。

等待一段时间后,我们就可以获得预测结果了。

5、多人预测

a、Num of Faceid设置

多人预测需要首先设置Num of Faceid,将其设置为需要设置的人数,如画面上有两个人则设置为2:
AIGC专栏5——EasyPhoto AI写真照片生成器 sd-webui插件介绍、安装与使用,AIGC专栏,AIGC,人工智能,写真,sdwebui,easyphoto

b、选择User ID

首先是替换多个人像的情况,User ID与图片上人像从左到右对应,如下图所示:
AIGC专栏5——EasyPhoto AI写真照片生成器 sd-webui插件介绍、安装与使用,AIGC专栏,AIGC,人工智能,写真,sdwebui,easyphoto
然后是替换多个人像中单个人像的情况,User ID同样与图片上人像从左到右对应,但需要跳过的人像则使用none即可:

AIGC专栏5——EasyPhoto AI写真照片生成器 sd-webui插件介绍、安装与使用,AIGC专栏,AIGC,人工智能,写真,sdwebui,easyphoto

训练加速与预测加速

训练加速参考:
https://github.com/aigc-apps/sd-webui-EasyPhoto/wiki/%E8%BF%9B%E9%98%B6%E6%96%87%E6%A1%A3%E2%80%90%E8%AE%AD%E7%BB%83%E5%8A%A0%E9%80%9F

预测加速参考:
https://github.com/aigc-apps/sd-webui-EasyPhoto/wiki/%E8%BF%9B%E9%98%B6%E6%96%87%E6%A1%A3%E2%80%90%E6%8E%A8%E7%90%86%E5%8A%A0%E9%80%9F

常见问题汇总

常见问题汇总参考:
https://github.com/aigc-apps/sd-webui-EasyPhoto/wiki/FAQ文章来源地址https://www.toymoban.com/news/detail-703531.html

到了这里,关于AIGC专栏5——EasyPhoto AI写真照片生成器 sd-webui插件介绍、安装与使用的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Stable Diffusion插件:EasyPhoto之Lora训练、AI写真、AI视频、AI换装

    大家好,我是程序员晓晓 今天给大家分享一个特别强大的Stable Diffusion插件:EasyPhoto,这个插件一直在迭代,从最开始的AI写真,然后是AI视频,到最近的AI换装,能力一直在持续增强。 这个插件的基础能力是Lora训练,只需要5-20张特定人物或者风景的照片,不需要对图片进行

    2024年02月19日
    浏览(48)
  • AIGC专栏8——EasyPhoto 视频领域拓展-让AIGC肖像动起来

    图像的AI写真是AI人像的初步应用,如何让图像动起来,形成一段视频,是AI写真领域的重要应用方向拓展。 文生视频 , 图生视频 与 视频转视频 ,是AI写真视频的3个方向。 WebUI插件版本:https://github.com/aigc-apps/sd-webui-EasyPhoto Diffusers版本:https://github.com/aigc-apps/EasyPhoto 麻烦各

    2024年02月05日
    浏览(40)
  • AIGC专栏7——EasyPhoto 人像训练与生成原理详解

    如何训练一个高品质的人像Lora与应用高品质Lora的链路对于写真生成而言非常重要。 WebUI插件版本:https://github.com/aigc-apps/sd-webui-EasyPhoto Diffusers版本:https://github.com/aigc-apps/EasyPhoto 麻烦各位朋友点个Star,这对我来讲还是很重要的! 由《LoRA: Low-Rank Adaptation of Large Language Models》

    2024年02月08日
    浏览(40)
  • AIGC专栏6——通过阿里云与AutoDL快速拉起Stable Diffusion和EasyPhoto

    快速拉起AIGC服务 对 用户体验AIGC的产品 而言非常重要,因为环境半天东西都装不好,也用不起来,那哪还有期待去玩呢?通过阿里云与AutoDL可以快速拉起Stable Diffusion和EasyPhoto,简单试试。 DSW 提供免费 GPU 时间,新用户可申请一次,申请后 3 个月内有效。阿里云在 Freetier 中

    2024年02月07日
    浏览(50)
  • 好奇一键ai绘画怎么使用吗?看看照片ai绘画生成器怎么用吧

    丽丽:嘿,小明!你听说过照片ai绘画生成器吗? 小明:我听说过它!据说它可以将普通照片转换成惊人的艺术绘画作品。 丽丽:是的,没错!我最近下载了一个照片ai绘画生成器的应用,它使用了前沿的人工智能技术,能够给照片增添艺术感。 小明:听起来很有趣!你可以

    2024年02月14日
    浏览(54)
  • AIGC系列文章目录 第三章 AIGC 简单易用免费的AI图像生成器: Stable Diffusion

    目前亲测体验的AI图像生成器有NovelAI、MJ和Stable Diffusion。其中, 支持免费、无限生成、超高专业级画质 的只有 Stable Diffusion 。 Stable Diffusion 由 Stable Diffusion XL 提供支持,是一款最先进的工具,可以将您的想象力变为现实。 只需点击几下和简单的文本输入,您就可以创建令人

    2024年02月03日
    浏览(68)
  • 【AIGC-AI人像生成系列-1】PhotoMaker:定制逼真的人体照片

    目录 一. 项目概述与贡献 a) 项目概述 b) 主要贡献 二. 方法详解 a) PhotoMaker和ID导向的数据构建管道的概览  PhotoMaker:  ID导向的数据构建管道: b) 方法详细解读 堆叠ID嵌入(Stacked ID Embedding): 2. ID导向的数据构建管道: 3. 训练过程: 4. 推理(Inference): 5. 应用和灵活性:

    2024年02月19日
    浏览(43)
  • 【AIGC】AI工具合集人脸动漫化,老照片修复和视频补帧工具

    Paper2GUI : 一款面向普通人的 AI 桌面 APP 工具箱,免安装即开即用,已支持 40+AI 模型,内容涵盖 AI 绘画、语音合成、视频补帧、视频超分、目标检测、图片风格化、OCR 识别等领域。支持 Windows、Mac、Linux 系统。 小白兔AI 3.0版起永久免费AI绘画、人脸动漫化,图片修复和视频补

    2024年02月11日
    浏览(54)
  • 使用AIGC平台和数字人,对于零售企业长期发展的价值|AI/大模型/数字人专栏

    #RRL重构零售实验室AIGC内容专栏 以下内容由RRL提问,AIGC平台生成。 随着人工智能和大数据技术的快速发展,各行各业都在积极探索应用这些技术的可能性。在零售行业,人工智能生成内容(AIGC)平台和数字人的应用正在改变着企业的经营策略和营销模式。 本文将从当前AI

    2024年02月04日
    浏览(41)
  • AI绘画-Midjourney-极致精美壁纸-美女写真摄影

    本期主打AI绘画创作美女写真户内摄影风格 中文:(真人写真摄影),中国女孩,漂亮女人,精致的五官,逼真的面部细节,杰作,官方艺术,中等胸部,1女孩,遮阳帽,黑色头发,锁骨,一字肩裙子,白色,粉色,饮料,果汁,吸管,吧台,室内,商场,背景模糊虚

    2024年02月17日
    浏览(49)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包