AI 视频 | Stable Video Diffusion 来了!(附体验地址)

这篇具有很好参考价值的文章主要介绍了AI 视频 | Stable Video Diffusion 来了!(附体验地址)。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

1. 介绍

11 月 21 日,Stability AI 推出了 Stable Video Diffusion,这是 Stability AI 的第一个基于图像模型 Stable Diffusion 的生成式视频基础模型。

stable video diffusion 网页版,AI工具,# Stable Diffusion,人工智能,音视频

目前 Stability AI 已经在 GitHub 上开源了 Stable Video Diffusion 的代码,在 Hugging Face 上也可以找到模型本地运行所需要的 weights。

「GitHub」

https://github.com/Stability-AI/generative-models

stable video diffusion 网页版,AI工具,# Stable Diffusion,人工智能,音视频

「Hugging Face」

https://huggingface.co/stabilityai/stable-video-diffusion-img2vid-xt

stable video diffusion 网页版,AI工具,# Stable Diffusion,人工智能,音视频

stable video diffusion 网页版,AI工具,# Stable Diffusion,人工智能,音视频

目前该视频模型可以很容易地适配下游各种任务,并计划基于此基础模型建立一系列模型,类似于围绕 stable diffusion 建立一个生态系统。

在外部评估中,Stable Video Diffusion 发布的两种图片生视频的模型 SVD 和 SVD-XT,在用户偏好研究中,已经超过了 Runway 和 Pika Labs。

stable video diffusion 网页版,AI工具,# Stable Diffusion,人工智能,音视频

2. 局限性

需要注意的是:

1、Stability AI 强调,此模型现阶段还不适用于实际或者商业应用。

2、网页的体验目前还未向所有人开放,可以在这里申请候补(https://stability.ai/contact)。

stable video diffusion 网页版,AI工具,# Stable Diffusion,人工智能,音视频

另外,stable-video-diffusion-img2vid-xt 还有一些局限性,在 Hugging Face 上也说明了,该模型仅用于研究目的。

stable video diffusion 网页版,AI工具,# Stable Diffusion,人工智能,音视频

局限性:

1、生成的视频相当短(<=4秒),并且该模型无法实现完美的照片级别的视频。

2、当前模型可能会生成没有运动的视频,或非常缓慢的相机平移的视频。

3、无法通过文本控制模型。

4、模型无法呈现清晰的文本。

5、面孔和人物可能无法正确生成。

6、模型的自编码部分是有损耗的。

3. 如何体验

Hugging Face 上的体验地址:https://huggingface.co/spaces/multimodalart/stable-video-diffusion

stable video diffusion 网页版,AI工具,# Stable Diffusion,人工智能,音视频

不过上传图片点生成后,提示「This application is too busy」。

stable video diffusion 网页版,AI工具,# Stable Diffusion,人工智能,音视频

后来看到国外一位开发者 mkshing 的分享:https://colab.research.google.com/github/mkshing/notebooks/blob/main/stable_video_diffusion_img2vid.ipynb

打开链接后,点击「代码执行程序」-「全部运行」就可以了,过程有点慢,感兴趣的小伙伴可以跑一下~

stable video diffusion 网页版,AI工具,# Stable Diffusion,人工智能,音视频

关于 Stable Video Diffusion 更多详细的介绍,可以查看论文:https://stability.ai/research/stable-video-diffusion-scaling-latent-video-diffusion-models-to-large-datasets

4. 参考网址

https://stability.ai/news/stable-video-diffusion-open-ai-video-model文章来源地址https://www.toymoban.com/news/detail-764950.html

到了这里,关于AI 视频 | Stable Video Diffusion 来了!(附体验地址)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Stable Diffusion 2.0来了,皮卡智能AI早已“抢先”优化升级

    就在昨日,Stability AI发布了Stable Diffusion 2.0 版本上线,玩家惊呼V1还没整明白,V2版本就来了。其实在Stable Diffusion 1.0开源后,皮卡智能AI许多功能都是基于此模型,来进行升级优化的。 就图像修复而言,皮卡智能AI在Stable Diffusion 1.0 版本上增加了新的编码模型训练,该模型可

    2024年02月12日
    浏览(33)
  • 最近超火的Stable Diffusion来了,用文本AI生成图像!

    前言 Stable Diffusion 应该是目前最流行的两个项目之一,另外一个就是大名鼎鼎的 ChatGPT前几天也给大家更新过 。     软件介绍 最近抖音小红人刷屏的AI人物,基本都是这款软件做的,相信很多做设计的小伙伴都知道它 ,只需要描述一段文字,它就能帮你生成一张图片。

    2024年02月10日
    浏览(44)
  • AI绘画新手必看,Stable Diffusion提示词神器来了!

    大家好,我是程序员晓晓 对于AI绘画来说,提示词写得好坏,十分影响最终生成图片的结果。会写提示词的话,生成的图片质量就会比较高,不会写的话,结果可能就不会好。 之前大家在使用Stable Diffuison(以下简称SD)时,写提示词往往要去翻译软件先输入中文,然后翻译成

    2024年04月12日
    浏览(69)
  • 4G显存玩转AI绘画!Stable Diffusion WebUI Forge来了!

    经常使用Stable Diffusion WebUI的同学可能都被显存的问题困扰过,其运行时需要巨大的显存空间,跑着跑着显存可能就爆了,不得不重新启动。不过现在这个问题解决了,因为Stable Diffusion WebUI Forge来了。 相较于原版的SD WebUI(针对1024像素分辨率下的SDXL图片生成),可以获取以下

    2024年04月29日
    浏览(31)
  • 解读Stable Video Diffusion:详细解读视频生成任务中的数据清理技术

    Diffusion Models视频生成-博客汇总 前言 :Stable Video Diffusion已经开源一周多了,技术报告《Stable Video Diffusion: Scaling Latent Video Diffusion Models to Large Datasets》对数据清洗的部分描述非常详细,虽然没有开源源代码,但是博主正在尝试复现其中的操作。这篇博客先梳理一下Stable Video

    2024年02月04日
    浏览(39)
  • Fast.ai 的新课来了,给你详细介绍 Stable Diffusion 原理

    最近跟学生们学了个新词儿,叫做「双厨狂喜」。一般形容两个知名创作者合作出来的作品 ------ 例如视频或者直播等 ------ 很受大伙儿欢迎。 这次,告诉你一个好消息,fast.ai 要和 Huggingface, Stability.ai(Stable Diffusion 作者之一)等各方一起创作一门新课程,叫做 From Deep Learn

    2024年02月11日
    浏览(29)
  • AI视频-stable-video-diffusio介绍

    stbilityai/stable-video-diffusion-img2vid-xt模型,由Stability AI开发和训练的基于散度的图像到视频生成模型。该模型可以接受一张静态图像作为条件,并生成出一个短视频。 优缺点 该模型旨在用于研究目的,可以用来研究生成模型、部署安全模型、理解模型的局限性等。它不适合用来生

    2024年02月21日
    浏览(32)
  • 使用 Docker 和 Diffusers 快速上手 Stable Video Diffusion 图生视频大模型

    本篇文章聊聊,如何快速上手 Stable Video Diffusion (SVD) 图生视频大模型。 月底计划在机器之心的“AI技术论坛”做关于使用开源模型 “Stable Diffusion 模型” 做有趣视频的实战分享。 因为会议分享时间有限,和之前一样,比较简单的部分,就用博客文章的形式来做补充分享吧。

    2024年01月24日
    浏览(48)
  • Stable Diffusion:网页版 体验 / AI 绘图

    一、官网地址   Stable Diffusion Online 二、Stable Diffusion AI 能做什么 Stable Diffusion AI绘图是一种基于Stable Diffusion模型的生成式AI技术,能够生成各种类型的图像,包括数字艺术、照片增强和图像修复等。以下是一些可能的应用: 1. 数字艺术:Stable Diffusion AI绘图可以生成各种类型的

    2024年02月14日
    浏览(26)
  • Stable Diffusion体验——AI生成不同风格照片

    AI绘画想必大家都有所耳闻,最近博主尝试了使用基于扩散过程的图像生成工具 Stable Diffusion 来生成多样化的图片,生成的照片质量较高。 本文将会介绍我使用Stable Diffusion 生成 不同风格照片的 过程 ,并阐述它与其他 同类工具的比较 以及它的 工作原理 。 输入的 原始图片

    2024年02月05日
    浏览(50)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包