短剧时代即将来临?AI 自动生成剧本和多场景长视频

这篇具有很好参考价值的文章主要介绍了短剧时代即将来临?AI 自动生成剧本和多场景长视频。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

近年来随着扩散模型(diffusion models)的进步和发展,给定文本提示进行高质量视频生成技术有着显著的提升。这些技术方案大多针对已有的二维图像扩散模型进行拓展,将图像二维神经网络修正为视频三维神经网络,并基于扩散概率模型进行视频帧序列的去噪,完成视频生成。然而,这些现有方法依然围绕着单个场景的视频生成,对于多场景视频生成并未考虑,并且生成的视频长度也仅为2秒到4秒。

基于这样的问题,来自HiDream.ai公司的算法研究人员提出利用大语言模型针对输入的文本提示进行多场景事件描述的拓展,保证不同事件之间的逻辑性和场景中前景背景描述的一致性。其后,针对大语言模型提供的每一个事件所对应的前景背景描述,以及动作描述,利用视频扩散模型生成具有内容一致的视频片段,从而构建一个多场景的长视频

videodrafter: content-consistent multi-scene video generation with llm,技术文章,自然语言处理,计算机视觉,Transformer,人工智能

项目主页: VideoDrafter: Content-Consistent Multi-Scene Video Generation with LLM 

视频链接:https://www.youtube.com/watch?v=_aIrobrzu2g

01. 研究背景:多场景视频生成任务及难点

当下基于扩散模型的视频生成主要针对单个场景下的动作事件,而对多场景的视频生成鲜有涉及。给定一个文本提示,并且生成具有良好逻辑性的多场景视频,是本工作研究的重点。相应的技术难点主要体现在以下两个方面:

  1. 如何保证不同事件之间具有良好的逻辑性(例如,给定文本提示为一个男孩踢球射门,在时序上男孩应该先进行运球,然后射门)
  2. 如何保证生成视频主体的视觉外貌特征一致(例如,以男孩踢球射门为例,不同场景下男孩的外貌穿着应该保持一致)

02. 以大语言模型为基础的内容一致多场景视频生成模型:VideoDrafter

videodrafter: content-consistent multi-scene video generation with llm,技术文章,自然语言处理,计算机视觉,Transformer,人工智能

针对上述的两个技术难点,本工作提出了一个以大语言模型为基础的内容一致多场景视频生成方案VideoDrafter。该方案通过主要的三个步骤完成多场景视频生成。

第一步是首先通过大语言模型对输入的文本提示进行多场景事件描述拓写,将输入的单句文本转换为多场景的视频描述(Multi-scene video script generation),并且输出每个事件对应的前景和背景实体描述(Entity description)。

第二步是将每个事件对应的前景和背景实体描述利用文本到图像的扩散模型生成对应的前景和背景实体参考图(Entity reference image generation)。

最后一步是针对每个事件对应前景和背景实体参考图,以及事件的动作描述,利用视频扩散模型完成对该事件的视频生成。这里的最后一步本方案拆解为主要的两个步骤,即首先通过VideoDrafter-Img模型,利用前景和背景实体参考图以及事件动作描述,生成对应的场景事件参考图片(Scene reference image);然后通过VideoDrafter-Vid模型,再将动作赋予给场景事件参考图片,生成对应场景的视频。

本方案利用大语言模型保证了生成的不同事件描述的逻辑性,同时利用前景和背景实体参考图指导不同场景下视频内容的生成,因此可以良好地保证不同场景中的内容实体的视觉外貌特征的一致性

03. 视频生成结果

首先用户可以通过输入一个文本提示(input prompt),生成具有良好逻辑性的,内容一致的多场景视频,以下是对应的文本提示和多场景视频生成结果:

生成视频1:

videodrafter: content-consistent multi-scene video generation with llm,技术文章,自然语言处理,计算机视觉,Transformer,人工智能

生成视频2:

videodrafter: content-consistent multi-scene video generation with llm,技术文章,自然语言处理,计算机视觉,Transformer,人工智能

生成视频3:

videodrafter: content-consistent multi-scene video generation with llm,技术文章,自然语言处理,计算机视觉,Transformer,人工智能

动态视频例子:

videodrafter: content-consistent multi-scene video generation with llm,技术文章,自然语言处理,计算机视觉,Transformer,人工智能
输入文本提示: A person with red clothes is preparing dessert in the kitchen
videodrafter: content-consistent multi-scene video generation with llm,技术文章,自然语言处理,计算机视觉,Transformer,人工智能
输入文本提示: A man and a woman drive a car from hills to city

其次,对于用户提供的真实图像作为前景和背景实体参考图,以及对应的事件文本提示,本方案同样可以生成内容一致的多场景视频,生成的视频结果如下:

videodrafter: content-consistent multi-scene video generation with llm,技术文章,自然语言处理,计算机视觉,Transformer,人工智能

动态视频例子:

videodrafter: content-consistent multi-scene video generation with llm,技术文章,自然语言处理,计算机视觉,Transformer,人工智能
前景和背景实体参考图
videodrafter: content-consistent multi-scene video generation with llm,技术文章,自然语言处理,计算机视觉,Transformer,人工智能
视频生成结果

(对应文本提示:The cat lies in the room → The cat lies in the driving car → The cat plays in the flowers)

videodrafter: content-consistent multi-scene video generation with llm,技术文章,自然语言处理,计算机视觉,Transformer,人工智能
前景和背景实体参考图
videodrafter: content-consistent multi-scene video generation with llm,技术文章,自然语言处理,计算机视觉,Transformer,人工智能
视频生成结果

(对应文本提示:The motorcyclist stays in the town → The motorcyclist is riding on the road under the sunset → The motorcyclist is riding on the moon)

对该方案的完整性能评测,以及更多的视频生成例子,请参考论文和对应的项目主页。

04. 总结

  1. 本方案提出了VideoDrafter模型,一种以大语言模型为基础的内容一致多场景视频生成技术。
  2. 利用大语言模型对文本信息的强理解性,对输入的单个文本提示进行多场景视频事件的拓写,保证不同视频事件的逻辑相关性。
  3. 在对应不同事件的不同场景视频生成的过程中,利用前景和背景实体参考图指导视频的生成,保证了不同场景中视频内容主体在视觉外貌特征上的一致性。
  4. 本方案提及的多场景视频生成方案,对大语言模型的利用和保持视频内容一致性的尝试,希望对后续具有因果关系的视频生成具有一定的启发作用。

更多的技术细节,敬请参考论文原文。


关于TechBeat人工智能社区

TechBeat(www.techbeat.net)隶属于将门创投,是一个荟聚全球华人AI精英的成长社区。

我们希望为AI人才打造更专业的服务和体验,加速并陪伴其学习成长。

期待这里可以成为你学习AI前沿知识的高地,分享自己最新工作的沃土,在AI进阶之路上的升级打怪的根据地!

更多详细介绍>>TechBeat,一个荟聚全球华人AI精英的学习成长社区 文章来源地址https://www.toymoban.com/news/detail-793210.html

到了这里,关于短剧时代即将来临?AI 自动生成剧本和多场景长视频的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • AI自动生成代码工具

    AI自动生成代码工具是一种利用人工智能技术来辅助或自动化软件开发过程中的编码任务的工具。这些工具使用机器学习和自然语言处理等技术,根据开发者的需求生成相应的源代码。以下是一些常见的AI自动生成代码工具,希望对大家有所帮助。北京木奇移动技术有限公司,

    2024年02月04日
    浏览(42)
  • AI绘画生成器推荐AI绘画自动生成器有哪些?

    1、DALL-E2 DALL-E2 是由 OpenAI 开发的 AI 图像生成器。只需几分钟,你就可以使用 AI 创建高度逼真的图像。 2、Deep Dream Generator Deep Dream是一个经过数百万张图像训练的神经网络。使用方便,只需要上传一张图片,工具即可根据原图生成新图片。 3、Artbreeder Artbreeder一款图像质量增

    2024年02月06日
    浏览(87)
  • AIGC for code(text-to-codeAIGC/AI生成代码/生成式AI之代码生成/AI编程工具/自动编程/自动生成代码/智能编程工具/智能编程系统)

    AIGC,Artificial Intelligence Generated Content,人工智能生成内容 AIGC for code,AI生成代码 Copilot是由微软的子公司Github与openAI共同开发的人工智能(AI)驱动的编程助手。它能够直接在你的编辑器中,为你提供代码片段或者整个函数的建议,以帮助你更快地编写和完成代码。这个工具

    2024年02月15日
    浏览(58)
  • 使用AI自动生成文章的方法

    自动生成文章的方法可以分为两种:基于模板和基于机器学习。 基于模板的自动生成文章方法是先制定好文章的模板,然后通过填充模板中的空白部分来生成文章。 这种方法不需要依赖大量的数据和复杂的算法,只需要人工设计好模板,然后通过简单的程序实现即可。 基于

    2024年02月11日
    浏览(44)
  • 自动生成文本内容怎么弄?推荐三个ai写作生成器

    随着人工智能技术的不断发展,ai写作生成器已经成为一种越来越受欢迎的文本创作工具。这些ai写作生成器可以快速生成高质量的文章、新闻报道、产品描述等文本内容,帮助我们提高工作效率和文本创作质量。那么,ai写作生成器有哪些呢?在本文中,我将为大家介绍几款

    2024年02月16日
    浏览(61)
  • 使用AI自动生成PPT --- Gamma

    近期找到一个非常好用的,使用AI自动生成PPT的工具--Gamma( https://gamma.app/signup?r=7ikntzoapw5mzpo )测试几次,发现自动生成的PPT基本能够拿来直接使用。注意:使用Gamma需要科学上网。 Gamma是一款人工智能应用程序,可帮助您创建引人入胜的演示文稿,而无需设计专业知识。您可以

    2024年02月11日
    浏览(72)
  • ai绘画生成器有哪些?分享3款好用的ai自动绘画生成器

    文字和绘画是两种看似不同的艺术形式,但它们之间却有着一种神奇的联系。你或许曾经在一些创意绘画作品中发现过使用文字进行表达的元素,那么,文本究竟如何生成这些令人惊叹的艺术作品呢?今天,我们就来探索一下文字怎样可以生成创意绘画。 方法一:使用AI图片

    2024年02月10日
    浏览(75)
  • 使用AI自动生成PPT提高制作效率

    在制作PPT方面,很多制作者都会轻易跳进一个怪圈:“我要制作一个关于关爱老人的PPT,该怎么做呢,有模板没有?”这个会涉及很多逻辑需要经过不断的思考,制作PPT要通过很多素材、使用技巧、方法经验的不断积累,然而在短时间内制作高质量的PPT这对初学者来说是件非常

    2024年01月17日
    浏览(55)
  • AI可以自动生成绘画吗?分享几款AI绘画软件

    AI绘画热潮来临之前,我在网上看到不少人发了AI绘画的图片,除了画人物,还有画漫画和风景的图片,画面真实和色彩丰富程度让我不敢相信是AI画的,于是就去网上搜索AI可以自动生成绘画吗?在搜索的过程中,我不仅确认了AI可以生成绘画,还发现了几款不同的AI绘画软件

    2024年02月13日
    浏览(49)
  • 怎么快速写好论文?AI自动生成论文

    AI PaperPass免费千字大纲,10分钟生成3万字初稿,重复率低于5% https://www.aipaperpass.com?pic=mLnw 要快速写好论文,需要掌握一些有效的技巧和方法。以下是一些建议: 确定论文主题和目标:在开始写作之前,你需要明确你的论文主题和目标。这有助于你聚焦于一个具体的问题或观

    2024年01月22日
    浏览(44)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包