Stable Diffusion插件:EasyPhoto之Lora训练、AI写真、AI视频、AI换装

这篇具有很好参考价值的文章主要介绍了Stable Diffusion插件:EasyPhoto之Lora训练、AI写真、AI视频、AI换装。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

大家好,我是程序员晓晓

今天给大家分享一个特别强大的Stable Diffusion插件:EasyPhoto,这个插件一直在迭代,从最开始的AI写真,然后是AI视频,到最近的AI换装,能力一直在持续增强。

这个插件的基础能力是Lora训练,只需要5-20张特定人物或者风景的照片,不需要对图片进行任何格式化和打标的处理,也不需要理解各种复杂的参数,就可以生成一个独特的Lora模型;然后基于这个模型,我们就可以生成特定形象的照片、视频,可以文生图(视频),也可以图生图(视频)。

下面是我的效果展示,人物形象来自寡姐,最左边这张是原图,右边两张是生成的图片。效果还不错,最有特色的就是寡姐的这个小鼻子,模仿的惟妙惟肖。

easyphoto训练无法获取,stable diffusion,人工智能,AIGC,AI作画,AI绘画

安装插件

进入Stable Diffusion WebUI的插件管理页面,选择“从网址安装”,输入插件地址,点击“安装”即可。

插件地址:https://github.com/aigc-apps/sd-webui-EasyPhoto.git
如链接无法安装,请看文末获取

easyphoto训练无法获取,stable diffusion,人工智能,AIGC,AI作画,AI绘画

这个插件会使用很多的模型,不过大家不用担心模型下载速度,因为下载链接都是阿里云的,速度会很快。

但是大家要考虑下硬盘空间,最好准备20G的空闲硬盘空间。

安装成功之后,重启WebUI,就能在一级菜单中看到EasyPhoto了。

easyphoto训练无法获取,stable diffusion,人工智能,AIGC,AI作画,AI绘画

训练Lora

如下图所示,首先上传5-20张用来训练模型的图片,可以去百度图片上下载;然后需要一个基础模型,最好是和训练图片的风格搭配的,训练人物用默认的这个也可以,它会自动下载模型;最后点击“Start Traning”开始训练,这个过程需要的时间可能比较长,可能需要20分钟,请耐心等待。其它参数使用默认的即可,当然如果你想调整,可以看我这篇文章:LoRA模型训练

easyphoto训练无法获取,stable diffusion,人工智能,AIGC,AI作画,AI绘画

训练成功之后,会显示:The training has been completed.

easyphoto训练无法获取,stable diffusion,人工智能,AIGC,AI作画,AI绘画

除了训练人物,我们还可以训练场景,方便生成时让人物出现在不同的场景中,比如朋克场景、室内场景、圣诞场景、新年场景等,训练场景时同样需要包含人物在训练图片中,只不过换成了场景不怎么变、人物多变。

生成图片

我们首先来看下图生图,这其实是个AI写真的功能,可以换掉图片中的人脸。我们可以使用插件自带的模版,也可以上传你认可的照片,这里选择一张肖像照片。

easyphoto训练无法获取,stable diffusion,人工智能,AIGC,AI作画,AI绘画

下边还有一些生成参数:

easyphoto训练无法获取,stable diffusion,人工智能,AIGC,AI作画,AI绘画

  • 一个生成图片用的大模型,需要和上边选择的参考图片风格保持一致。

  • 基于预训练的大模型(Infer with Pretrained Lora)、基于IP-Adapter ControlNet(Infer with IPA only,这种方法不需要预训练的Lora模型)。

如果选择“Infer with Pretrained Lora”,需要设置下边的参数:

  • 如果图片中有多张脸需要替换,可以使用“Num of Faceid”来指定要替换的脸的数量,最多替换5张。

  • “User_x id”用来选择上一步训练的Lora模型。

如果选择“Infer with IPA only”,则需要上传一张照片,生成的图片中会使用这张照片中的人脸,我们还可以设置ControlNet的权重,设置的权重越高,生成图片中的人脸越靠近这里上传的照片。

easyphoto训练无法获取,stable diffusion,人工智能,AIGC,AI作画,AI绘画

使用预训练模型生成图片的效果如下图所示:

easyphoto训练无法获取,stable diffusion,人工智能,AIGC,AI作画,AI绘画

文生图和图生图的参数有些差别,如下图所示,依次是:提示词,选择场景Lora(插件会自带一些,我们也可以自己训练场景Lora),图片的分辨率,姿势控制方式、生成图片用的基础模型、人脸的来源(预训练Lora、IP-Adapter控制器)。

easyphoto训练无法获取,stable diffusion,人工智能,AIGC,AI作画,AI绘画

生成视频

EasyPhoto生成视频使用的是AnimateDiff,支持文生图、图生图和视频生视频。

先看视频生成效果:

easyphoto训练无法获取,stable diffusion,人工智能,AIGC,AI作画,AI绘画easyphoto训练无法获取,stable diffusion,人工智能,AIGC,AI作画,AI绘画

文生视频的一些参数设置:既然是文生视频,这里需要一些提示词,另外还可以通过上传一个视频来控制生成视频的的人物动作。注意EasyPhoto中生成视频时必须使用上文提到的预训练Lora模型。

easyphoto训练无法获取,stable diffusion,人工智能,AIGC,AI作画,AI绘画

点开高级设置,还有一些对生成视频影响比较大的参数。

Prompt 提示词:就是Stable Diffusion生成图片的提示词,可以用来控制一些图片效果。

视频帧数:Video Max num of frames 是视频的全部帧数,Video Max fps 是每秒帧数,Video Save as 是保存成gif还是mp4。

Lora模型的权重:Video Lora Weights of User id 是生成图片时Lora模型的权重。

easyphoto训练无法获取,stable diffusion,人工智能,AIGC,AI作画,AI绘画

图生视频的一些设置:参考图可以基于一张图片,也可以从一张图片过渡到另一张图片。提示词要写一下,最好是描述动作的。图片重绘度要设置的小一点,避免生成图片变化太多。

easyphoto训练无法获取,stable diffusion,人工智能,AIGC,AI作画,AI绘画

下面是官方给出的一个图片过渡的效果展示:

easyphoto训练无法获取,stable diffusion,人工智能,AIGC,AI作画,AI绘画

视频生成视频的设置:这个设置比较简单,上传一个参考视频,生成的视频会使用此视频中的动作;选择合适的生图模型,最后选择之前预训练的Lora模型。

easyphoto训练无法获取,stable diffusion,人工智能,AIGC,AI作画,AI绘画

换装

点击“Virtual Try On”进入换装模块。

首先在这里上传一张要换装的图片,用画笔涂抹要换装的区域,或者上传一张模版图片。

easyphoto训练无法获取,stable diffusion,人工智能,AIGC,AI作画,AI绘画

然后在这里选择或者上传要使用的服装。

easyphoto训练无法获取,stable diffusion,人工智能,AIGC,AI作画,AI绘画

这个换装的效果不是特别稳定,如果效果不太好,可以多试几次。

资源下载

因技术迭代更新较快,本文提到的方法可能会过期失效,不过我会定期检查更新文章,因文章在多平台发布,可能出现更新延迟的情况,如需最新版本请通过下方获取。

另外本系列使用的大模型、Lora模型、SD插件、示例图片等,都已经上传到我整理的 Stable Diffusion 绘画资源中,后续也会持续更新,最新下载地址也可通过下方获取。

写在最后

感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。

easyphoto训练无法获取,stable diffusion,人工智能,AIGC,AI作画,AI绘画

AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。

easyphoto训练无法获取,stable diffusion,人工智能,AIGC,AI作画,AI绘画

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。

easyphoto训练无法获取,stable diffusion,人工智能,AIGC,AI作画,AI绘画

easyphoto训练无法获取,stable diffusion,人工智能,AIGC,AI作画,AI绘画

二、AIGC必备工具

工具都帮大家整理好了,安装就可直接上手!
easyphoto训练无法获取,stable diffusion,人工智能,AIGC,AI作画,AI绘画

三、最新AIGC学习笔记

当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
easyphoto训练无法获取,stable diffusion,人工智能,AIGC,AI作画,AI绘画
easyphoto训练无法获取,stable diffusion,人工智能,AIGC,AI作画,AI绘画

四、AIGC视频教程合集

观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

easyphoto训练无法获取,stable diffusion,人工智能,AIGC,AI作画,AI绘画

五、实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
easyphoto训练无法获取,stable diffusion,人工智能,AIGC,AI作画,AI绘画文章来源地址https://www.toymoban.com/news/detail-826943.html

easyphoto训练无法获取,stable diffusion,人工智能,AIGC,AI作画,AI绘画 若有侵权,请联系删除

到了这里,关于Stable Diffusion插件:EasyPhoto之Lora训练、AI写真、AI视频、AI换装的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Stable Diffusion训练Lora模型

    以下内容参考:https://www.bilibili.com/video/BV1Qk4y1E7nv/?spm_id_from=333.337.search-card.all.clickvd_source=3969f30b089463e19db0cc5e8fe4583a 第一步,准备训练要使用的图片,即优质的图片 第二部,为这些图片打标,即精准的tag 数量建议20-50张,最多100张图片 不好的图片:模糊的,动作扭曲的,脸部被

    2024年02月12日
    浏览(70)
  • stable diffusion(Lora的训练)

    以坤坤为例,上网随便找了几个坤坤的人脸图像,作为训练的数据集  建议看一遍教程,虽然这个up主好像不是很专业的样子,不过流程差不多是这样的,重点关注一下虚拟环境搭建完之后,在终端选择配置的操作,就是一堆yes no,的选项,跟着视频来就行了。 本地找个训练

    2023年04月12日
    浏览(101)
  • Stable Diffusion XL训练LoRA

    主要包括SDXL模型结构,从0到1训练SDXL以及LoRA教程,从0到1搭建SDXL推理流程。  【一】SDXL训练初识 Stable Diffusion系列模型的训练主要分成一下几个步骤,Stable Diffusion XL也不例外: 训练集制作:数据质量评估,标签梳理,数据清洗,数据标注,标签清洗,数据增强等。 训练文

    2024年02月07日
    浏览(44)
  • 【stable diffusion LORA训练】改进lora-scripts,命令行方式训练LORA,支持SDXL训练

    分享下自己改进的一个lora训练脚本,在ubuntu下如果SD-WEBUI的环境已经搭好的话,只需要下载lora-script就可以支持训练了,直接命令行方式训练。 首先,我们需要克隆下项目: git clone https://github.com/Akegarasu/lora-scripts 其次,更改项目里的train.sh脚本如下 根据自己机器的显存适当

    2024年02月03日
    浏览(55)
  • Stable diffusion 训练lora出现报错

    今天使用kohya_ss训练lora时出现三个报错,下面是解决办法。 一: 报错 UnboundLocalError: local variable \\\'pipe\\\' referenced before assignment 这个应该是项目的BUG,现在的版本还没修复,但是可以绕过它。方法如下:去 huggingface 下载预训练的基础模型到本地,复制模型的地址到红色框内并把

    2024年02月13日
    浏览(71)
  • Stable Diffusion Lora模型训练详细教程

    通过Lora小模型可以控制很多特定场景的内容生成。 但是那些模型是别人训练好的,你肯定很好奇,我也想训练一个自己的专属模型(也叫炼丹~_~)。 甚至可以训练一个专属家庭版的模型(family model),非常有意思。 将自己的训练好的Lora模型放到stableDiffusion lora 目录中,

    2024年02月02日
    浏览(51)
  • LoRa模型训练教程(炼丹,Stable Diffusion)

    何为LoRA?LoRA并不是扩散模型专有的技术,而是从隔壁语言模型(LLM)迁移过来的,旨在解决避免将整个模型参数拷贝下来才能对模型进行调校的问题。因为大型语言模型的参数量过于恐怖,比如最近新出的GPT-4参数量约为100 万亿。 LoRA采用的方式是向原有的模型中插入新的数

    2024年02月10日
    浏览(43)
  • Stable Diffusion 使用lora-scripts WebUI训练LoRA模型

    如果对代码使用有困难的小伙伴可以直接使用WebUI版的LoRA模块进行训练操作。不管是训练人物,场景,风格,还是服装都是一套通用的模式,仅仅是使用不同的数据集得到的结果不同。 使用 git clone --recurse-submodules https://gi

    2024年02月17日
    浏览(51)
  • 【 stable diffusion LORA模型训练最全最详细教程】

    个人网站:https://tianfeng.space/ 其实想写LORA模型训练很久了,一直没时间,总结一下现在主流的两种LORA模型训练方式,分别是朱尼酱的赛博丹炉和秋叶大佬的训练脚本,训练效果应该是赛博丹炉更好,我个人更推荐朱尼酱的赛博丹炉,界面炫酷,操作简单,作者也是花了很多

    2024年02月09日
    浏览(54)
  • Stable Diffusion 指定模型人物,Lora 训练全流程

    在使用 Stable Diffusion 的时候,可以选择别人训练好的 Lora,那么如何训练自己的 Lora,本篇文章介绍了介绍了如何训练Lora,如何从训练的模型中选择好的模型,如何在 Stable Diffusion 中使用。 闲话不多说,直接实际操作吧,干货满满,记得关注哦,以免找不到了。首先我们来获

    2024年02月09日
    浏览(62)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包