SD-WebUI视频重绘:TemporalKit+EbsynthUtility避坑指南

这篇具有很好参考价值的文章主要介绍了SD-WebUI视频重绘:TemporalKit+EbsynthUtility避坑指南。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

大家好,我是程序员晓晓

AI视频重绘,在当下大家并不陌生。我们的实现方式大致可以分为三种:

第三方平台和discord上转绘,如DomoAI ,GoEnhance AI 等。

  • 优点:效果佳,门槛低。

  • 缺点:需要科学上网,和支付一定的使用费用。

ComfyUI转绘工作流,通过animateDiff 结合CN控制网生成视频。

  • 优点:本地部署,可控性高,根据自己的配置灵活取舍。

  • 缺点:门槛高,安装麻烦,需要下载大量的模型。

SD-WebUI通过TemporalKit和EbsynthUtility插件插件生成视频。

  • 优点:本地部署,不需要网络。

  • 缺点:门槛中,操作也很多。

那么我们今天就详细地讲解一下SD-WebUI下重绘视频的详细生成步骤,如果你也想生成AI视频转绘高清视频,请继续往下看。

测试的视频资源我用的是GoEnhance.Al 官方上的视频。

ai视频重绘,音视频,AI作画,stable diffusion,人工智能,AI绘画,AIGC


如何使用:

1. 安装ffmpeg:

下载ffmpeg软件包,将其解压到C盘。

ai视频重绘,音视频,AI作画,stable diffusion,人工智能,AI绘画,AIGC

然后将其完整路径添加到系统环境变量,注意是bin目录。

ai视频重绘,音视频,AI作画,stable diffusion,人工智能,AI绘画,AIGC

然后我们可以“win+r” 输出“cmd”

ai视频重绘,音视频,AI作画,stable diffusion,人工智能,AI绘画,AIGC

调出控制台输入“ffmpeg -version” 出现详细信息就表示ffmpeg安装成功。

2. 安装transparent-background:

在开始“运行” 输入“cmd” (或者键盘Win+R,输入“cmd”)

在弹出的命令行里面输出“pip install transparent-background”

ai视频重绘,音视频,AI作画,stable diffusion,人工智能,AI绘画,AIGC

等待输入提示符闪烁,安装完成。

3. 安装SD插件:

首先我们需要有绘世SD webUI软件(如没有AI绘画软件SD,请看文末扫描获取),然后双击启动“A绘世启动器.exe”,在启动器面板左边“版本管理中”找到“安装新扩展”

搜索一下“Ebsynth ” 点击后面的“安装”,(如无法安装,请看文末获取本地插件安装包)

ai视频重绘,音视频,AI作画,stable diffusion,人工智能,AI绘画,AIGC

再搜索“Temporal” 点击安装。(如无法安装,请看文末获取本地插件安装包)

ai视频重绘,音视频,AI作画,stable diffusion,人工智能,AI绘画,AIGC

然后我们来到首页点击“一键启动” ,启动SD-WebUI。

ai视频重绘,音视频,AI作画,stable diffusion,人工智能,AI绘画,AIGC

它会自动下载安装插件,安装完成后会自动弹出URL网页链接。

ai视频重绘,音视频,AI作画,stable diffusion,人工智能,AI绘画,AIGC

此时我们需要的插件和环境都安装完成了,接下来看看如何使用。

4. 分割视频:

首先,我们找一个要转绘的视频,将其拖拽入WebUI中。设置如下,每1帧都采样,动作幅度较大就设置成每3帧提取一个关键帧。

ai视频重绘,音视频,AI作画,stable diffusion,人工智能,AI绘画,AIGC

分辨率我们可以在视频上右键“属性”-详细信息中查看,填写入视频的高度点击“保存设置”。

ai视频重绘,音视频,AI作画,stable diffusion,人工智能,AI绘画,AIGC

然后,我们需要在本地任意地方创建一个纯英文路径的文件夹。我在C:\Users\75691\Videos\test创建了个文件夹用于接收渲染的文件。

将这个路径填入设置,勾选“批量处理” 和“分割视频” 选项,然后我们就可以点击右边的“运行”了。

ai视频重绘,音视频,AI作画,stable diffusion,人工智能,AI绘画,AIGC

我们会看到刚创建的目录下面,会存放分割的视频文件图片。

ai视频重绘,音视频,AI作画,stable diffusion,人工智能,AI绘画,AIGC

0~6是刚刚每隔3帧取一个关键帧的储存文件夹。

input是原始视频逐帧图存放的文件夹。

output是一会儿要重绘的图的存放文件夹。

main_video.mp4是原始视频文件。

5. 确定风格:

然后我们需要确认我们转换的风格,比如是转换成卡通,还是3D又或者是真人,这些取决于我们选择的大模型的风格。我们这里选择卡通二次元。

将刚刚input路径下的图片拖入图生图,跑图测试。

ai视频重绘,音视频,AI作画,stable diffusion,人工智能,AI绘画,AIGC

修改提示词,先用DeepBooru 反推提示词。将红色背景,改成简单背景。加入LCM加速,提升出图速度。(我还加了个添加细节的lora这个随意)选择一个二次元模板。

ai视频重绘,音视频,AI作画,stable diffusion,人工智能,AI绘画,AIGC

如果你没有DeepBooru ,也可以用“WD 1.4标签器”反推提示词。

ai视频重绘,音视频,AI作画,stable diffusion,人工智能,AI绘画,AIGC

随后,我启用了“ADetailer”用于面部和手部修复。

ai视频重绘,音视频,AI作画,stable diffusion,人工智能,AI绘画,AIGC

加入了ControlNet 设置了两个单元,分别控制形态和前景。

ai视频重绘,音视频,AI作画,stable diffusion,人工智能,AI绘画,AIGC

ai视频重绘,音视频,AI作画,stable diffusion,人工智能,AI绘画,AIGC

渲染确定风格,这里风格主要取决于我们选择的大模型。

ai视频重绘,音视频,AI作画,stable diffusion,人工智能,AI绘画,AIGC

比如我选择的是tmndMix,你也可以选择写实的麦橘,那样出的风格就是写实的啦。

ai视频重绘,音视频,AI作画,stable diffusion,人工智能,AI绘画,AIGC

6. 批量渲染:

我们来到图生图的窗口,点击“批量处理”,将之前的输入输出目录的路径填入其中。

ai视频重绘,音视频,AI作画,stable diffusion,人工智能,AI绘画,AIGC

接下来,再将下面的“ControlNet ”的“批量处理” 页签打开,路径不用填写,它会继承图生图的路径设置。

ai视频重绘,音视频,AI作画,stable diffusion,人工智能,AI绘画,AIGC

ai视频重绘,音视频,AI作画,stable diffusion,人工智能,AI绘画,AIGC

注意上面是两个“ControlNet ”都要设置,完成后我们就可以点击“生成” 按钮了。

ai视频重绘,音视频,AI作画,stable diffusion,人工智能,AI绘画,AIGC

因为有lcm加速,所以速度要比以前快很多。显示大约需要的时间。

ai视频重绘,音视频,AI作画,stable diffusion,人工智能,AI绘画,AIGC

补充:这里有个bug注意一下,就是输出目录output填入了显示正常,但是跑图的时候无效。

ai视频重绘,音视频,AI作画,stable diffusion,人工智能,AI绘画,AIGC

我们会看见后台正常在跑图,但是填写的路径下目录里没东西。这时候我们需要“终止” 渲染。

将输出目录的地址清空不填写地址,用sd默认的地址。

ai视频重绘,音视频,AI作画,stable diffusion,人工智能,AI绘画,AIGC

然后我们点击“文件夹”图标,来到sd默认的img2img-images文件夹。

ai视频重绘,音视频,AI作画,stable diffusion,人工智能,AI绘画,AIGC

在弹出的目录里,选择今天日期的文件夹,将里面的图片清空。

ai视频重绘,音视频,AI作画,stable diffusion,人工智能,AI绘画,AIGC

回到SD,后面就会正常输出在这个默认的目录下了。将这些图片复制到之前的output目录中,但是这些图片是无法构建key的,因为input下的图片命名要和output下的图片命名一致。

所以我们需要使用批量修改命名工具去处理output下的图片命名。

ai视频重绘,音视频,AI作画,stable diffusion,人工智能,AI绘画,AIGC

左边是修改策略,右边是图片文件和预览修改后的样子。工具文末获取。

ai视频重绘,音视频,AI作画,stable diffusion,人工智能,AI绘画,AIGC

统一资源命名后,我们来到“Temporal-kit” 页签将视频和路径都填入设置。

ai视频重绘,音视频,AI作画,stable diffusion,人工智能,AI绘画,AIGC

填写完成后,点击“预处理 Ebsynth” 让其为我们的0-6文件跑“frames”和“keys”

ai视频重绘,音视频,AI作画,stable diffusion,人工智能,AI绘画,AIGC

后台完成后,我们即将进入自动生成补间帧环节。

7. 生成补间帧:

解压EbSynth-Beta-Win.zip压缩包到任意位置,这是一个exe执行程序,处理我们之前生成的0-6文件夹内的关键帧。资源可以在文末获取。

双击运行“EbSynth.exe”

ai视频重绘,音视频,AI作画,stable diffusion,人工智能,AI绘画,AIGC

将“frames”文件夹拖拽到,“Video:” 后面的路径里面。

将“keys”文件夹拖拽到,“Keyframes:” 后面的路径里面。

ai视频重绘,音视频,AI作画,stable diffusion,人工智能,AI绘画,AIGC

然后运行“EbSynth” 面板最下面的“Run AII” ,程序会开始自动生成补帧。

ai视频重绘,音视频,AI作画,stable diffusion,人工智能,AI绘画,AIGC

我们可以多开几个同时对0-6的文件夹处理,

注意每次使用,最好关掉重开!因为它不会自动更新最上级的路径。

ai视频重绘,音视频,AI作画,stable diffusion,人工智能,AI绘画,AIGC

完成后,我们将6个文件全部用上面一样的操作,执行一边。

8. 生成视频:

最后,我们再次回到“Temporal-Kit” 页签下“Ebsynth-流程” 页签,点击“重组 Ebsynth”来生成视频。

ai视频重绘,音视频,AI作画,stable diffusion,人工智能,AI绘画,AIGC

ai视频重绘,音视频,AI作画,stable diffusion,人工智能,AI绘画,AIGC

ai视频重绘,音视频,AI作画,stable diffusion,人工智能,AI绘画,AIGC

OK啦生成完成,流程部分到这里就结束了。但我一想其实还可结合之前的工具对视频进行放大处理。SD也有放大功能但是要重新渲染,下面的方式更简单。

ai视频重绘,音视频,AI作画,stable diffusion,人工智能,AI绘画,AIGC

工具获取看下方扫描获取


总结:

在本文中,我们详细探讨了使用SD-WebUI进行AI视频重绘的整个过程。这一过程涉及多个步骤,包括安装必要的软件和插件、分割视频、确定风格、批量渲染以及最终的视频生成。虽然这一流程相对复杂,需要一定的技术知识和耐心,但它提供了高度的自定义能力和本地化处理的优势,使得用户可以根据自己的需求和偏好来生成独特的视频内容。

总的来说,尽管SD-WebUI的视频重绘流程存在一定的门槛,但它提供了一个强大的平台,让用户能够创造出个性化的视频内容。通过本文的指导,即使是初学者也能够逐步掌握这一技术,享受到AI视频重绘带来的乐趣和创造力。

写在最后

感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。

ai视频重绘,音视频,AI作画,stable diffusion,人工智能,AI绘画,AIGC

AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。

ai视频重绘,音视频,AI作画,stable diffusion,人工智能,AI绘画,AIGC

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。

ai视频重绘,音视频,AI作画,stable diffusion,人工智能,AI绘画,AIGC

ai视频重绘,音视频,AI作画,stable diffusion,人工智能,AI绘画,AIGC

二、AIGC必备工具

工具都帮大家整理好了,安装就可直接上手!
ai视频重绘,音视频,AI作画,stable diffusion,人工智能,AI绘画,AIGC

三、最新AIGC学习笔记

当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
ai视频重绘,音视频,AI作画,stable diffusion,人工智能,AI绘画,AIGC
ai视频重绘,音视频,AI作画,stable diffusion,人工智能,AI绘画,AIGC

四、AIGC视频教程合集

观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

ai视频重绘,音视频,AI作画,stable diffusion,人工智能,AI绘画,AIGC

五、实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
ai视频重绘,音视频,AI作画,stable diffusion,人工智能,AI绘画,AIGC文章来源地址https://www.toymoban.com/news/detail-858523.html

ai视频重绘,音视频,AI作画,stable diffusion,人工智能,AI绘画,AIGC 若有侵权,请联系删除

到了这里,关于SD-WebUI视频重绘:TemporalKit+EbsynthUtility避坑指南的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 工业级开源facechain人物写真sd-webui插件使用方式

    facechain人物写真应用自8月11日开源了第一版证件照生成后。目前在github(https://github.com/modelscope/facechain)上已有近6K的star,论文链接:FaceChain: A Playground for Identity-Preserving Portrait Generation:https://arxiv.org/abs/2308.14256。facechain社区非常活跃,fork、commit数都很大,相应截图如下

    2024年01月20日
    浏览(91)
  • 管好【SD-WEBUI】中大量的模型:名称+预览图+备注+分组(Part.2)

    本篇继续讲怎么管理大量的模型,生成预览图的技巧,模型备注大用途,分组管理的不足。 更多不断丰富的内容参考:🔗 《继续Stable-Diffusion WEBUI方方面面研究(内容索引)》 咱已经了解《管好【SD-WEBUI】中大量的模型:名称+预览图+备注+分组管理》这部分,使用子文件夹分组

    2024年02月05日
    浏览(38)
  • 细数【SD-WEBUI】的模型:谁是最适合的模型&从哪里找到它们

    本篇主要提到了一些热度比较高的模型,模型是每个人都可以训练和改进的,所以无穷无尽,无法真的细数。 更多不断丰富的内容参考:🔗 《继续Stable-Diffusion WEBUI方方面面研究(内容索引)》 其实Stable-Diffusion是分版本的,不出意料咱用的大部分都是1.5的模型。 模型优先下载

    2024年02月06日
    浏览(39)
  • AIGC专栏5——EasyPhoto AI写真照片生成器 sd-webui插件介绍、安装与使用

    在视觉方向的AIGC领域,AI写真是一个靠谱且经过验证的落地方案,随着StableDiffusion领域开源社区的快速发展,社区也涌现了类似 FaceChain 这样基于 Modelscope开源社区结合 diffusers 的开源项目,用于指导用户快速开发个人写真。 然而对于大量使用SDWebUI的 AIGC 同学们,短时间内却

    2024年02月09日
    浏览(51)
  • (十六) AIGC、AI绘画、SD-WebUI、本地部署、Stable-Diffusion本地模型、最新Controlnet扩展

    1、简介 AI绘画的工具网站很多,大部分收费/限制数量,而且速度很慢,如果部署本地的模型,不仅免费无限制、还可以提高出图效率,随意生成自己想象中的图,部署中发现有各种各样的环境配置问题,无法正确运行。 本博整理了SD-WebUI的整合包(Windows环境下),包括启动器

    2024年02月13日
    浏览(72)
  • stable-diffussion-webui+sd-webui-text2video+SadTalker数字人生产力工具安装配置教程(Linux Ubuntu,避坑帖)

            虽然网络上已经有很多类似的文章,但是讲linux 上通过 stable-diffussion-webui整合各类生产力插件的还比较少,而且亲测有效的更是凤毛菱角。为了帮助大家避坑,笔者特意利用休息的时间写了这篇文章。力求让小白玩家也能够上手。         在linux整合stable-difussion有

    2024年02月05日
    浏览(43)
  • AI视频风格转换:Stable Diffusion+TemporalKit

    首先通过 Temporal-Kit 这个插件提取视频中的关键帧图片,然后使用 Stable Diffusion WebUI 重绘关键帧图片,然后再使用 Temporal-Kit 处理转换后的关键帧图片,它会自动补充关键帧之间的图片,最后拼合这些图片,形成视频。 这个方法建议尽量找些背景简单的、主体在画面中占比较

    2024年04月16日
    浏览(47)
  • 【AI绘画-stableDiffusion】图片放大;高清修复;重绘幅度调参讲解;SD upscale 放大脚本

    文章参考:https://www.bilibili.com/video/BV11m4y12727/?spm_id_from=333.788.recommend_more_video.-1vd_source=38d6ea3466db371e6c07c24eed03219b 一、图生图(基于已有图片的高清修复) 1.提升整图分辨率(优点:对原图影响较小;缺点:显存占用较大) · 1.1 使用自己生成出来的图片 · 1.2 使用别人的图片

    2024年02月07日
    浏览(52)
  • 【stable diffusion】保姆级入门课程05-Stable diffusion(SD)图生图-涂鸦重绘的用法

    涂鸦重绘又称手涂蒙版。 简单来说,局部重绘手涂蒙版 就是涂鸦+局部重绘的结合体,这个功能的出现是为了解决用户不想改变整张图片的情况下,对多个元素进行修改。 功能支持: 1.支持蒙版功能 2.笔刷决定绘制的元素颜色 3.支持多种颜色在一张图片上 与局部重绘的界面

    2024年02月15日
    浏览(44)
  • 【stable diffusion】保姆级入门课程04-Stable diffusion(SD)图生图-局部重绘的用法

    目录 0.本章素材 1.什么是局部重绘 2.局部重绘和涂鸦有什么不同 3.操作界面讲解 3.1.蒙版模糊 3.2.蒙版模式 3.3.蒙版蒙住的内容 3.4.重绘区域 4.局部重绘的应用(面部修复) 5.课后训练 局部重绘是不改变整体图片的构图的情况下,对图片的某个区域进行重绘,局部重绘是利用蒙

    2024年02月16日
    浏览(46)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包