AIGC专栏8——EasyPhoto 视频领域拓展-让AIGC肖像动起来

这篇具有很好参考价值的文章主要介绍了AIGC专栏8——EasyPhoto 视频领域拓展-让AIGC肖像动起来。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

学习前言

图像的AI写真是AI人像的初步应用,如何让图像动起来,形成一段视频,是AI写真领域的重要应用方向拓展。

文生视频图生视频视频转视频,是AI写真视频的3个方向。
AIGC专栏8——EasyPhoto 视频领域拓展-让AIGC肖像动起来,AIGC专栏,AIGC,EasyPhoto,视频生成,AI写真,stable diffusion

源码下载地址

WebUI插件版本:https://github.com/aigc-apps/sd-webui-EasyPhoto
Diffusers版本:https://github.com/aigc-apps/EasyPhoto

麻烦各位朋友点个Star,这对我来讲还是很重要的!

技术原理储备

近年来,Stable Diffusion的开源使得更多非专业作画的用户也能通过简单的文字提示生成非常高质量的图片内容(动漫、真人、场景)。但静态图像的表达能力总是有限的,如果能直接文生动画、动图,那么Stable Diffusion的应用领域将大大增长。

随着Lora与Dreambooth的普及,人们定制化模型的能力越来越强,如果可以有一个类似于Controlnet的即用插件,那么模型便有了定制生成动画的能力。

而AnimateDiff则是这样一种可以即插即用的插件,作者提出了一种将任何定制化文生图模型拓展用于动画生成的框架,可以在保持原有定制化模型画面质量的基础上,生成相应的动画片段。

为了避免破坏原始文生图微调模型的生成能力,AnimateDiff在文生图模型中插入了一个动作建模模块,并从视频数据中学习动作先验。因为只是一个模块的插入(类似于Controlnet),加入了先验知识,其实并不改变原有的Stable Diffusion结构,所以AnimateDiff的拓展性非常强!
AIGC专栏8——EasyPhoto 视频领域拓展-让AIGC肖像动起来,AIGC专栏,AIGC,EasyPhoto,视频生成,AI写真,stable diffusion
其实就是在Stable Diffusion的每层后面,新加上一层用于batch批次之间的理解动作信息。
AIGC专栏8——EasyPhoto 视频领域拓展-让AIGC肖像动起来,AIGC专栏,AIGC,EasyPhoto,视频生成,AI写真,stable diffusion
因此,我们选择AnimateDiff作为EasyPhoto视频领域拓展的应用技术,让AIGC肖像成功动起来。

Video Inference 功能说明 & 效果展示

在EasyPhoto完成基于人像Lora训练后,如何使用EasyPhoto完成以下的几种功能:

  • Text2Video :使用指定user_id + 描述文本,进行具有指定人脸的视频生成
  • Image2Video :使用指定user_id + 模板图片 + 描述, 进行人脸图片的动态视频生成。
  • Video2Video :使用指定user_id 完成视频人像编辑。

1、Text2Video功能说明

a、实现原理简介

  • 在Text2Video功能中,我们首先自选的SD模型 + AnimateDiff设置的mm_sd_v15_v2.ckpt(Animate运动先验模型;默认选取,无需自己选择),以及用户设定的prompt,生成一段顺滑的带有人脸的视频。
  • 在生成的视频上逐帧进行EasyPhoto的前处理,然后对视频使用(EasyPhoto选择的SD模型 + AnimateDiff + User-Lora)进行视频片段上的人脸重绘,用于生成指定ID足够相似的顺滑的人脸。
  • 在重绘后的结果上,逐帧进行EasyPhoto的后处理,提升人脸的美观度和全局的和谐程度。

b、文到视频UI介绍

AIGC专栏8——EasyPhoto 视频领域拓展-让AIGC肖像动起来,AIGC专栏,AIGC,EasyPhoto,视频生成,AI写真,stable diffusion

c、结果展示

下面的文到视频采用的参数是:

  • Stable Diffusion Model:majicmixRealistic_v7;
  • seed=12345;
  • max_frame=32;
  • fps=8。

图中模特为 师兄亲信。

GIF prompt
AIGC专栏8——EasyPhoto 视频领域拓展-让AIGC肖像动起来,AIGC专栏,AIGC,EasyPhoto,视频生成,AI写真,stable diffusion upper-body, look at viewer, 1girl, wear white dress, besides lake, smiles, Autumn Atmosphere, black eyes, black hair, (cowbody shot, realistic), daytime, f32
AIGC专栏8——EasyPhoto 视频领域拓展-让AIGC肖像动起来,AIGC专栏,AIGC,EasyPhoto,视频生成,AI写真,stable diffusion upper-body, look at viewer, 1girl, wear white dress, In the room, luxurious lighting, laser light effects, black eyes, black hair, (cowbody shot, realistic), daytime, f32
AIGC专栏8——EasyPhoto 视频领域拓展-让AIGC肖像动起来,AIGC专栏,AIGC,EasyPhoto,视频生成,AI写真,stable diffusion upper-body, look at viewer, 1girl, wear white dress, black eyes, black hair, Sitting by the edge of the grass, warm sunlight, half-body, illuminated,(cowbody shot, realistic), daytime, f32

2、Image2Video功能说明

a、实现原理简介

i、单图模式
  • 用户会输入一张图作为封面图,该封面图会通过VAE映射到隐空间,与img2img的步骤类似,我们会对隐空间的特征进行一部分加噪。
  • 为了让图像 更能动起来 并且 动的更流畅,然后我们会按照一定系数加上一个随机噪声,构成初始化的潜变量。
  • 最后结合文本prompt监督,生成Image2Video的视频。

在这里我们使用了两次加噪:

  • 如img2img的加噪,这个是为了让图像可以走正常的生图流程,只有在加了噪声后,模型 才有能力发生变化 与 结合prompt 进行生成;
  • 按照一定系数加上一个随机噪声,这个 随机噪声 是 符合正态分布 的;这次 加噪声 是为了生成的视频更流畅。
ii、首尾图模式
  • 用户会输入两张图作为封面图和尾图,该封面图和尾图会通过VAE映射到隐空间;
  • 我们修改了隐向量的初始化,利用首图和尾图的隐向量 插值 构成的 [init_latent, … ,end_latent]作为初始化。从而能生成连贯的从初始图到输出图的变化视频,

b、图到视频UI

AIGC专栏8——EasyPhoto 视频领域拓展-让AIGC肖像动起来,AIGC专栏,AIGC,EasyPhoto,视频生成,AI写真,stable diffusion

c、结果展示

图中模特为 师兄亲信。

first end GIF prompt
AIGC专栏8——EasyPhoto 视频领域拓展-让AIGC肖像动起来,AIGC专栏,AIGC,EasyPhoto,视频生成,AI写真,stable diffusion AIGC专栏8——EasyPhoto 视频领域拓展-让AIGC肖像动起来,AIGC专栏,AIGC,EasyPhoto,视频生成,AI写真,stable diffusion AIGC专栏8——EasyPhoto 视频领域拓展-让AIGC肖像动起来,AIGC专栏,AIGC,EasyPhoto,视频生成,AI写真,stable diffusion 1girl,elegent,smiles,shininglight
AIGC专栏8——EasyPhoto 视频领域拓展-让AIGC肖像动起来,AIGC专栏,AIGC,EasyPhoto,视频生成,AI写真,stable diffusion AIGC专栏8——EasyPhoto 视频领域拓展-让AIGC肖像动起来,AIGC专栏,AIGC,EasyPhoto,视频生成,AI写真,stable diffusion AIGC专栏8——EasyPhoto 视频领域拓展-让AIGC肖像动起来,AIGC专栏,AIGC,EasyPhoto,视频生成,AI写真,stable diffusion 1girl,elegent,smiles,from elegent to spotlight, dark to shining

3、Video2Video功能说明

a、原理与功能

  • 在视频上逐帧进行EasyPhoto的前处理,然后对视频使用(EasyPhoto选择的SD模型 + AnimateDiff + User-Lora)进行视频片段上的人脸重绘,用于生成指定ID足够相似的顺滑的人脸。
  • 在重绘后的结果上,逐帧进行EasyPhoto的后处理,提升人脸的美观度和全局的和谐程度。

b、视频到视频UI

AIGC专栏8——EasyPhoto 视频领域拓展-让AIGC肖像动起来,AIGC专栏,AIGC,EasyPhoto,视频生成,AI写真,stable diffusion

c、结果展示

图中模特为 师兄亲信。

GIF src link
AIGC专栏8——EasyPhoto 视频领域拓展-让AIGC肖像动起来,AIGC专栏,AIGC,EasyPhoto,视频生成,AI写真,stable diffusion AIGC专栏8——EasyPhoto 视频领域拓展-让AIGC肖像动起来,AIGC专栏,AIGC,EasyPhoto,视频生成,AI写真,stable diffusion 原视频链接
AIGC专栏8——EasyPhoto 视频领域拓展-让AIGC肖像动起来,AIGC专栏,AIGC,EasyPhoto,视频生成,AI写真,stable diffusion AIGC专栏8——EasyPhoto 视频领域拓展-让AIGC肖像动起来,AIGC专栏,AIGC,EasyPhoto,视频生成,AI写真,stable diffusion 原视频链接

分支安装

当前尚未与main合并,需要从分支上进行安装。

1、已安装EasyPhoto

如您已经下载并体验了EasyPhoto插件的人脸版本(main),您可进入EasyPhoto 安装目录进行分支的切换来使用(或者备份原来文件夹,然后走未安装的方案重装):
进入EasyPhoto插件所在目录

git branch -a
git fetch origin
git checkout -b feature/keyframe_video remotes/origin/feature/keyframe_video

2、未安装EasyPhoto

从WebUI 的网址下载安装。
AIGC专栏8——EasyPhoto 视频领域拓展-让AIGC肖像动起来,AIGC专栏,AIGC,EasyPhoto,视频生成,AI写真,stable diffusion
或者手动下载 EasyPhoto feature/keyframe_video 代码文件包放置到相关文件夹。
AIGC专栏8——EasyPhoto 视频领域拓展-让AIGC肖像动起来,AIGC专栏,AIGC,EasyPhoto,视频生成,AI写真,stable diffusion文章来源地址https://www.toymoban.com/news/detail-751462.html

到了这里,关于AIGC专栏8——EasyPhoto 视频领域拓展-让AIGC肖像动起来的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 【AIGC】阿里达摩院:文本生成视频大模型-通用领域 (Text-to-video-synthesis Model in Open Domain)

    说实话,这篇破文章没什么营养,就是记录一下 阿里达摩院的文章水平。 :多模态 text2video generation diffusion model 文到视频 文生视频 文本生成视频  目录 文本生成视频大模型-通用领域 (Text-to-video-synthesis Model in Open Domain) 模型描述 (Model Description)

    2023年04月09日
    浏览(50)
  • AIGC专栏1——Pytorch搭建DDPM实现图片生成

    我又死了我又死了我又死了! https://github.com/bubbliiiing/ddpm-pytorch 喜欢的可以点个star噢。 如上图所示。DDPM模型主要分为两个过程: 1、Forward加噪过程(从右往左),数据集的真实图片中逐步加入高斯噪声,最终变成一个杂乱无章的高斯噪声,这个过程一般发生在训练的时候。

    2024年02月10日
    浏览(41)
  • AIGC专栏10——EasyAnimate 一个新的类SORA文生视频模型 轻松文生视频

    在过年期间,OpenAI放出了SORA文生视频的预览效果,一瞬间各大媒体争相报道,又引爆了一次科技圈,可惜的是,SORA依然没选择开源。 在这个契机下,本来我也对文生视频的工作非常感兴趣,所以也研究了一些与SORA相关的技术,虽然我们没有像OpenAI那么大的算力,但做一些基

    2024年04月17日
    浏览(41)
  • 卷起来!Dr. LLaMA:通过生成数据增强改进特定领域 QA 中的小型语言模型,重点关注医学问答任务...

    大家好,最近突然发现了一篇在专门应用于医学领域的LLaMA,名为Dr.LLaMA(太卷了太卷了),就此来分享下该语言模型的构建方法和最终的性能情况。 论文 :Dr. LLaMA: Improving Small Language Models in Domain-Specific QA via Generative Data Augmentation 地址 :https://arxiv.org/pdf/2305.07804.pdf 代码 :

    2024年02月11日
    浏览(48)
  • 基于参考物体的AIGC图像生成技术在家居导购领域的应用

    本文深入探讨了基于参考物体的人工智能图像生成(AIGC)技术的最新进展。首先概述了该类技术如何发展至今,然后着重分析了两篇重要的相关学术论文。随后,文章针对家居导购领域的特殊应用场景,讨论了运用此项技术时遭遇的挑战和取得的最新效果。 引言 随着AIGC技术

    2024年02月19日
    浏览(43)
  • AIGC专栏2——Stable Diffusion结构解析-以文本生成图像(文生图,txt2img)为例

    用了很久的Stable Diffusion,但从来没有好好解析过它内部的结构,写个博客记录一下,嘿嘿。 https://github.com/bubbliiiing/stable-diffusion 喜欢的可以点个star噢。 Stable Diffusion是比较新的一个扩散模型,翻译过来是稳定扩散,虽然名字叫稳定扩散,但实际上换个seed生成的结果就完全不

    2024年02月10日
    浏览(53)
  • AIGC专栏3——Stable Diffusion结构解析-以图像生成图像(图生图,img2img)为例

    用了很久的Stable Diffusion,但从来没有好好解析过它内部的结构,写个博客记录一下,嘿嘿。 https://github.com/bubbliiiing/stable-diffusion 喜欢的可以点个star噢。 Stable Diffusion是比较新的一个扩散模型,翻译过来是稳定扩散,虽然名字叫稳定扩散,但实际上换个seed生成的结果就完全不

    2024年02月10日
    浏览(65)
  • AI绘画与虚拟人生成实践(三):让虚拟形象动起来!照片生成说话的视频

    书接上回,本篇的目的是结合上篇生成虚拟的女生形象,以及上一篇生成的关于介绍AI绘画领域的脚本,让生成的虚拟形象来念这段文案。先进入正题说明怎么来生成想要的动态视频。 Yanderify 教程 来实际手把手操作一下这个项目 Yanderify:https://github.com/dunnousername/yanderifier 在

    2024年02月09日
    浏览(44)
  • 领域专家精心讲解AI视频生成

      大家好,我是herosunly。985院校硕士毕业,现担任算法研究员一职,热衷于机器学习算法研究与应用。曾获得阿里云天池比赛第一名,CCF比赛第二名,科大讯飞比赛第三名。拥有多项发明专利。对机器学习和深度学习拥有自己独到的见解。曾经辅导过若干个非计算机专业的

    2024年01月23日
    浏览(43)
  • 文生图模型进化简史和生成能力比较——艺术肖像篇

    很久没有更新文章,最近真的太忙啦 ,在T2I领域,学习速度真的赶不上进化速度!每天都有无数新模型、新插件、新玩法涌现。玩得太上瘾啦。 上月初我去参加我硕士专业的夏季烧烤大趴,跟我的论文导师重逢(好多年没见啦)。他今年也赶风头开课讲授 Generative AI 与商业

    2024年02月09日
    浏览(43)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包