AI视频风格转换:Stable Diffusion+EBSynth

这篇具有很好参考价值的文章主要介绍了AI视频风格转换:Stable Diffusion+EBSynth。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

这次转换的视频还比较稳定,先给大家看下效果。

这里传不了视频,还是放到盘盘了:https://www.aliyundrive.com/s/5mzfjLViyDa

书接上文,在上一篇文章中,我们首先使用 TemporalKit 提取了视频的关键帧图片,然后使用 Stable Diffusion 重绘了这些图片,然后又使用 TemporalKit 补全了重绘后的关键帧图片之间的序列帧,并拼合出了视频。

本文我们将使用一个新的工具 EBSynth 来补全重绘后的关键帧图片之间的序列帧,其它步骤还是继续使用原来的方法,不过相关参数上要做些调整,请看我慢慢道来。

之所以要使用 EBSynth 这个工具,是因为很多人介绍的都是这个方法,而不是我上一篇文章提到的方法,所以我也来体验下,做一个对比。

插件的安装这里就不提了,请看前一篇文章。我们从提取关键帧开始。

提取关键帧

为什么要提取关键帧?提取关键帧就是把视频中动作变化比较大的画面转成图片,下一步就是对这些图片进行重绘。如果不提取关键帧,而是把视频的每一帧都重绘,一是工作量大,二是重绘的每张图片可能都有点不一样,画面可能闪烁比较严重。

在SD WebUI的主页签中找到 Temporal-Kit,点击打开。然后接着点击“Pre-Processing”,在视频区域这里上传待处理的视频,这是我从抖音上截取的一段(文章最后会提供这个视频的下载地址)。不要马上点击“运行”,还有一些设置,请继续看下文。

AI视频风格转换:Stable Diffusion+EBSynth

在视频下方可以看到这些设置,这些都是针对提取图片的设置:

Sides:生成的1张图片的边包含几张视频帧。如果是2就代表4个视频帧,也就是 2*2;如果是3就代表9个视频帧,也就是 3*3;最小设置为1,也就是1张图包含1个视频帧。这个要结合后边的 Height Resolution一起设置。

Height Resolution:生成图片的高度的像素值,建议是:视频的高度 * Sides ,比如我这个视频是 1080*720,单个视频帧的高度就是720,但是前边Sides设置的2,所以就是720*2=1440。但是这个公式不是绝对的,你也可以写个720,或者写个2048。这个值需要考虑显卡的性能,如果显卡不太行,不要设置的太高。

frames per keyframe:多少视频帧抽取一个关键帧,关键帧越密动作衔接越流畅,但是可能重绘的变化越多,导致画面闪烁。

EBSynth Model:因为我们后边要使用EBSynth来处理,所以这里勾选上它,生成的文件名会有一定的格式。

fps:视频每秒包含几帧,在电脑上查看视频详情一般可以获取到。

Target Folder:关键帧图片的输出位置,实际会输出到这个目录下创建的一个input文件夹,后续各种处理的中间文件都在这个文件夹下,相当于一个项目目录,所以建议为每个视频的不同处理创建不同的文件夹。注意如果是云端,这里需要是服务器上的目录。

Batch Settings:因为我们这里需要处理整个视频,所以需要把这个Batch Run勾选上。

EBSynth Settings:因为EBSynth可以处理的视频时间比较短,所以要把视频分割成几段来处理。

AI视频风格转换:Stable Diffusion+EBSynth

参数设置完毕之后,点击页面右侧的“运行”。

AI视频风格转换:Stable Diffusion+EBSynth

关键帧图片都被提取后,图像这个区域应该显示提取的首张图片,但是我这里没显示,不知道是不是通信原因,大家注意观察处理进度。

  • 如果这里显示了图片,直接点击“图生图”去重绘。
  • 如果这里没有显示图片,可以去文件目录中看看,找到第一张下载下来,然后在“图生图”中手动上传。

AI视频风格转换:Stable Diffusion+EBSynth

转换风格

现在进入“图生图”界面。

AI视频风格转换:Stable Diffusion+EBSynth

上次的水彩画出图比较糊,这次我们直接用一个线条简单点的模型:toonyou,这是一个漫画风模型,也不用搭配Lora模型了。可以在文章最后获取下载地址。

这里的贴出来我的提示词,方便复制。

提示词:a man, epic scene, a poster, flat color,

反向提示词:easy_negative,beard

AI视频风格转换:Stable Diffusion+EBSynth

然后是一些参数设置,大家根据实际情况来吧,效果不好就调整下。

注意两点:

  • 图片的宽高:一般按照实际设置就好,如果数字太大,建议先调小一点,然后再用超分高清化放大。
  • 重绘强度:这里开到了最大。上一篇文章说不要太大,因为重复幅度大,图片相互之间变化可能就大,拼合出来的视频就可能比较闪烁。不过实测发现重绘幅度对 toonyou 这个模型的影响好像比较小,大家可以根据自己的实际情况试试,不必完全一样。
  • 生成种子:先设置为-1,直到出了满意的图。

AI视频风格转换:Stable Diffusion+EBSynth

下面继续使用ControlNet控图,避免重绘的变化太大,尽量稳定画面。我这里选择的还是Tile模型,大家也可以试下SoftEdge、Canny、Lineart等绘线的模型。

AI视频风格转换:Stable Diffusion+EBSynth

然后就是抽卡了,不断的生成图片,直到你满意。

注意记录下满意图片的生成种子,马上就要用到批量生成中。

AI视频风格转换:Stable Diffusion+EBSynth

将图生图切换到“批量处理”,填写两个目录:

  • 输入目录:提取关键帧步骤中输出图片的目录。
  • 输出目录:重绘图片的保存目录,固定值output,填上就行了。

AI视频风格转换:Stable Diffusion+EBSynth

把满意图片的生成种子填写到这里,不过一个种子很难稳定输出图片中的各种元素,大家可以自己体会下。

AI视频风格转换:Stable Diffusion+EBSynth

最后就是点击“生成”按钮,等待批处理完成。

AI视频风格转换:Stable Diffusion+EBSynth

在图片输出区域的下方看到这句话,基本就处理完成了。WebUI的进度有时候更新不及时,大家注意看控制台或者shell的输出。

AI视频风格转换:Stable Diffusion+EBSynth

EBSynth处理

预处理

在之前提取视频关键帧时,我们将原视频分割为了几个子视频。预处理就是将每个子视频中的原视频帧和关键帧单独提取出来,并放到相关文件夹中。

在SD WebUI的主页签中找到 Temporal-Kit,然后接着点击“Ebysynth-Process”。这里的操作顺序要注意下,按照图上标的就行。

在“Input Folder”中输入项目目录,然后点击“read_last_settings”,视频和大部分参数都能自动加载出来。

在“output resolution”中输入视频的分辨率,这个不会自动加载。

最后点击按钮“prepare ebsynth”进行处理。

AI视频风格转换:Stable Diffusion+EBSynth

子视频的文件夹就是这个几个:

AI视频风格转换:Stable Diffusion+EBSynth

打开一个子视频文件夹,可以看到这些内容,其中 frames 和 keys 目录中的图片就是本次处理后写入的,下一步我们将使用EBSynth继续处理这些图片。

AI视频风格转换:Stable Diffusion+EBSynth

如果你的SD WebUI运行在云端,需要先下载到本地,因为EBSynth这个工具需要在本地运行。可以使用下边的命令先打包成zip文件(注意替换成自己的项目目录):

zip -q -r dehua2.zip /root/autodl-tmp/webui_outputs/temporal-kit/dehua2

然后再通过平台支持的方式进行下载。

生成序列帧

这一步就需要EBSynth这个软件出马了,官方提供了WIndows和Mac版本,不过我在Mac上运行的时候会直接退出,没有研究什么原因,直接换到Windows环境就好了。

软件下载地址:https://ebsynth.com/ ,点击 Download 按钮,弹出的窗口中点击最下方的“No thanks, just start the download”,网站会自动识别操作系统,下载对应版本的程序文件。

AI视频风格转换:Stable Diffusion+EBSynth

启动EBSynth后,我们只需要以下操作:

把子视频的 frames 目录拖到 Video 输入框;

把子视频的 keys 目录拖到 keyframes 输入框;

这时要处理的图片任务就会在软件下面的部分自动展示出来。

AI视频风格转换:Stable Diffusion+EBSynth

最后点击软件最下面的 “Run All”,开始这个子视频的处理。

AI视频风格转换:Stable Diffusion+EBSynth

这个处理过程比较长,大家耐心等待。每个子视频都需要这样处理。

所有子视频都处理完毕后,就可以进入合成视频的阶段了。

如果你的SD WebUI运行在云端,需要上传上去。可以先在本地打包成zip文件,然后通过云平台提供的方法上传上去,然后解压覆盖到项目目录,参考下边这个命令:

unzip -o /root/autodl-tmp/root.zip -d /

-o 后边是zip文件的目录,-d 后边是要解压到的目录,因为我这个zip文件中第一级目录是root,所以这里用了斜杠,注意替换你的zip文件路径和要解压到的目录。

合成视频

现在又进入激动人心的视频合成环节了,回到 SD WebUI 中的 Temporal-Kit 页面。

这一步操作很简单,点击按钮“recombine ebsynth”,然后等着视频生成就行了。正常情况下,速度很快,因为视频需要的帧图片都处理好了。

之前使用Batch-Warp时,它还需要先生成一堆帧图片,所以当时比较慢;在本文的方法中这个工作交给了EBSynth处理。

AI视频风格转换:Stable Diffusion+EBSynth

资源下载

本文介绍的相关模型、插件和素材,大家可以按照文中提到的方法自行下载安装,也可以通过使用我准备好的,方法是关注公/众/号:萤火遛AI(yinghuo6ai),回复:视频风格转换,即可获取下载地址。文章来源地址https://www.toymoban.com/news/detail-602282.html

到了这里,关于AI视频风格转换:Stable Diffusion+EBSynth的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Stable Diffusion 30分钟打造AI 写真照片生成器|海马体照相馆这次真的要木得了

    这次,海马体照相馆可能真的要木得了!! 前有妙鸭相机这种付费傻瓜式的 AI 写真程序,后有 Stable Diffusion 定制属于自己的 Lora 模型的围攻。 但今天要分享的确实一个叫 EasyPhoto 的 AI 写真照片生成器! 免费,使用起来却非常简单。 EasyPhoto 是一款 Stable diffusion 插件,用于生

    2024年02月21日
    浏览(81)
  • Stable Diffusion体验——AI生成不同风格照片

    AI绘画想必大家都有所耳闻,最近博主尝试了使用基于扩散过程的图像生成工具 Stable Diffusion 来生成多样化的图片,生成的照片质量较高。 本文将会介绍我使用Stable Diffusion 生成 不同风格照片的 过程 ,并阐述它与其他 同类工具的比较 以及它的 工作原理 。 输入的 原始图片

    2024年02月05日
    浏览(64)
  • Stable Diffusion +EbSynth应用实践和经验分享

    Ebsynth应用 1.安装ffmpeg 2.安装pip install transparent-background,下载模型https://www.mediafire.com/file/gjvux7ys4to9b4v/latest.pth/file 放到C:Users自己的用户名.transparent-background加一个ckpt_base.pth文件 3.秋叶安装ebsynth插件,重启webui 填写项目基本信息 4.对应步骤1,运行第一步分割mp4,这里面最好

    2024年02月13日
    浏览(41)
  • Stable Diffusion AI绘画系列【25】:3D可爱风格系列图片

    《博主简介》 小伙伴们好,我是阿旭。专注于人工智能、AIGC、python、计算机视觉相关分享研究。 ✌ 更多学习资源,可关注公-仲-hao:【阿旭算法与机器学习】,共同学习交流~ 👍 感谢小伙伴们点赞、关注! 《------往期经典推荐------》 一、AI应用软件开发实战专栏【链接】

    2024年02月03日
    浏览(58)
  • Stable Diffusion AI绘画系列【17】:绘本童话风格场景

    《博主简介》 小伙伴们好,我是阿旭。专注于人工智能、AIGC、python、计算机视觉相关分享研究。 ✌ 更多学习资源,可关注公-仲-hao:【阿旭算法与机器学习】,共同学习交流~ 👍 感谢小伙伴们点赞、关注! 《------往期经典推荐------》 一、AI应用软件开发实战专栏【链接】

    2024年02月04日
    浏览(41)
  • AI绘画使用Stable Diffusion(SDXL)绘制玉雕风格的龙

    灵感来源于在逛 LibLib 时,看到的 Lib 原创者「熊叁gaikan」发布的「翠玉白菜 sdxl|玉雕风格」 的 Lora 模型。简直太好看了,一下子就被吸引了! 科普下「翠玉白菜」: 翠玉白菜是由翠玉所琢碾出白菜形状的清代文物,现藏台北故宫博物院。是台北故宫博物馆的镇馆三宝之一

    2024年02月03日
    浏览(44)
  • 【深度学习】风格迁移,转换,Stable Diffusion,FreeStyle : Free Lunch for Text-guided Style Transfer using Diffusion

    论文:https://arxiv.org/abs/2401.15636 代码:https://github.com/FreeStyleFreeLunch/FreeStyle 介绍 生成扩散模型的快速发展极大地推进了风格迁移领域的发展。然而,大多数当前基于扩散模型的风格转移方法通常涉及缓慢的迭代优化过程,例如模型微调和风格概念的文本反转。在本文中,我们

    2024年04月13日
    浏览(37)
  • 本地生成动漫风格 AI 绘画 图像|Stable Diffusion WebUI 的安装和局域网部署教程

    先放一张WebUI的图片生成效果图,以给大家学习的动力 :) 怎么样,有没有小小的心动?这里再补充一下,是可以生成 NSWF 的图片的。 官方github项目 安装 python 3.10.6,记得将python添加到路径。 安装 git (非必要,可以直接从上面的github链接下载压缩文件) 下载 github 文件

    2024年02月01日
    浏览(64)
  • 原神盲盒风格:AI绘画Stable Diffusion原神人物公仔实操:核心tag+lora模型汇总

    本教程收集于:AIGC从入门到精通教程汇总 在这篇文章中,我们将深入探讨原神盲盒的艺术风格,以及如何运用AI绘画技术(Stable Diffusion)——来创造原神角色公仔。我们将通过实践操作让读者更好地理解这种技术,以及如何利用关键标签和Lora模型来优化生成的结果。 原神作

    2024年02月16日
    浏览(46)
  • 这二维码也太美了吧!利用AI绘画[Stable Diffusion的 ControlNet]生成爆火的艺术风格二维码

    先看两张图 上面的话是两张有效的二维码,只要你拿起手机扫描这些图像,是可以扫出内容的。是不是难以置信? 最近,在互联网上疯传一种崭新形式的二维码,它们摆脱了传统黑白方块的外观,而是呈现出令人赏心悦目的图像,一眼望去令人印象深刻。 核心方案就是基于

    2024年02月10日
    浏览(49)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包