AIGC下一站:期待、警惕充斥着AI剪辑师的世界

这篇具有很好参考价值的文章主要介绍了AIGC下一站:期待、警惕充斥着AI剪辑师的世界。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

上月底,名为“chaindrop”的 Reddit 用户,在 r/StableDiffusion subreddit 上分享了一个由人工智能生成的视频,在业内引起了不小的争议

视频中,一个由 AI 生成的丑陋畸形的 “威尔·史密斯”,以一种可怕的热情将一把意大利面条铲进嘴里。这一 “地狱般” 的视频迅速传播到其他形式的社交媒体,数字媒体和广播公司 Vice 表示该视频将 “伴随你的余生”,美国娱乐网刊 The A.V. Club 称其为 “AI 开发的自然终点”。仅在 Twitter 上,这一视频的观看次数就超过了 800 万。

下面这段动图是其中的部分内容。每一帧都以不同的角度展示了模拟的威尔·史密斯狼吞虎咽地吃着意大利面的场景。

AIGC下一站:期待、警惕充斥着AI剪辑师的世界,人工智能那些事儿,人工智能,AIGC

自从威尔·史密斯吃意大利面的视频疯狂传播后,互联网上就出现了斯嘉丽·约翰逊和乔·拜登吃意大利面等后续报道,甚至还有史密斯吃肉丸子的视频。尽管这些可怕的视频正在成为互联网中完美且 “恐惧” 模因素材,但就像之前的文生图以及每一种 AI 生成的内容一样,文生视频(Text2Video)正加速走进我们的生活

一、文生视频:你写脚本,我做视频

“威尔·史密斯吃意大利面”的视频出自开源 AI 工具 ModelScope 模型,创建这一视频的工作流程相当简单:仅需给出“Will Smith eating spaghetti”的提示,并以每秒 24 帧(FPS)的速度生成。

据了解,ModelScope 是一种 “文生视频” 扩散模型,经过训练可以通过分析收集到 LAION5B、ImageNet 和 Webvid 数据集中的数百万张图像和数千个视频,根据用户的提示来创建新视频。这包括来自 Shutterstock 的视频,因此在其输出上有幽灵般的 “Shutterstock” 水印,就像视频中所展示的那样。

目前,在文生视频这一赛道,国内外大厂和研究机构也在悄然竞争。早在去年 9 月 29 日,Meta 就发布了 Make-A-Video,在最初的公告页面上,Meta 展示了基于文本生成的示例视频,包括 “一对年轻夫妇在大雨中行走” 和 “一只正在画肖像的泰迪熊”。

AIGC下一站:期待、警惕充斥着AI剪辑师的世界,人工智能那些事儿,人工智能,AIGC

同时,Make-A-Video 具备拍摄静态源图像并将其动画化的能力。例如,一张海龟的静止照片,一旦通过 AI 模型处理,就可以看起来像是在游泳。

仅仅在 Meta 推出 Make-A-Video 不到一周后,Google 便发布了 Imagen Video,它能够根据书面提示以每秒 24 帧的速度生成 1280×768 的高清晰视频。Imagen Video 包括几个显著的风格能力,例如根据著名画家的作品(如梵高的画作)生成视频,生成 3D 旋转对象同时保留对象结构,以及渲染文本多种动画风格。Google 希望,这一视频合成模型能够 “显著降低高质量内容生成的难度”。

AIGC下一站:期待、警惕充斥着AI剪辑师的世界,人工智能那些事儿,人工智能,AIGC

随后,Google 推出了另一个文生视频模型 Phenaki。区别于 Imagen Video 主打视频品质,Phenaki 主要挑战视频长度。它可以根据详细提示创建更长的视频,实现 “有故事、有长度”。它生成任意时间长度的视频能力来源于其新编解码器 CViVIT——该模型建立在 Google 早期文生图系统 Imagen 中磨练的技术之上,但在其中加入了一堆新组件,从而可以将静态帧转换为流畅的运动。

今年 2 月 6 日,Stable Diffusion 背后的原始创业公司 Runway 推出了视频生成 AI——Gen-1 模型,可以通过使用文本提示或者参考图像所指定的任意风格,将现有视频转换为新视频,改变其视觉风格。3 月 21 日,Runway 发布 Gen-2 模型,专注于从零开始生成视频,通过将图像或文本提示的构图和样式应用于源视频的结构(视频到视频),或者,只使用文字(文生视频)。

AIGC下一站:期待、警惕充斥着AI剪辑师的世界,人工智能那些事儿,人工智能,AIGC

AIGC下一站:期待、警惕充斥着AI剪辑师的世界,人工智能那些事儿,人工智能,AIGC

二、踩在"文生图"的肩膀上

Make-A-Video 等文生视频模型背后的关键技术——以及为什么它比一些专家预期得更早到来——是因为它踩在了“文生图”技术巨人的肩膀上。

据 Meta 介绍,他们不是在标记的视频数据(例如,描述的动作的字幕描述)上训练 Make-A-Video 模型,而是采用图像合成数据(用字幕训练的静止图像)并应用未标记的视频训练数据,以便模型学习文本或图像提示在时间和空间中可能存在的位置的感觉。然后,它可以预测图像之后会发生什么,并在短时间内显示动态场景。

从 Stable Diffusion 到 Midjourney,再到 DALL·E-2,文生图模型已经变得非常流行,并被更广泛的受众使用。随着对多模态模型的不断拓展以及生成式 AI 的研究,业内近期的工作试图通过在视频领域重用文本到图像的扩散模型,将其成功扩展到文本到视频的生成和编辑任务中,使得用户能够仅仅给出提示便能得到想要的完整视频。

早期的文生图方法依赖于基于模板的生成和特征匹配等方法。然而,这些方法生成逼真和多样化图像的能力有限。在 GAN 获得成功之后,还提出了其他几种基于深度学习的文生图方法。其中包括 StackGAN、AttnGAN 和 MirrorGAN,它们通过引入新的架构和增强机制进一步提高了图像质量和多样性。

后来,随着 Transformer 的进步,出现了新的文生图方法。例如,DALL·E-2 是一个 120 亿参数的变换器模型:首先,它生成图像令牌,然后将其与文本令牌组合,用于自回归模型的联合训练。之后,Parti 提出了一种生成具有多个对象的内容丰富的图像的方法。Make-a-Scene 则通过文生图生成的分割掩码实现控制机制。现在的方法建立在扩散模型的基础上,从而将文生图的合成质量提升到一个新的水平。GLIDE 通过添加无分类器引导改进了 DALL·E。后来,DALL·E-2 利用了对比模型 CLIP:通过扩散过程,从 CLIP 文本编码到图像编码的映射,以及获得 CLIP 解码器……

这些模型能够生成具有高质量的图像,因此研究者将目光对准了开发能够生成视频的文生图模型。然而,文生视频现在还是一个相对较新的研究方向。现有方法尝试利用自回归变换器和扩散过程进行生成

例如,NUWA 引入了一个 3D 变换器编码器-解码器框架,支持文本到图像和文本到视频的生成。Phenaki 引入了一个双向掩蔽变换器和因果关注机制,允许从文本提示序列生成任意长度的视频;CogVideo 则通过使用多帧速率分层训练策略来调整 CogView 2 文生图模型,以更好地对齐文本和视频剪辑;VDM 则联合训练图像和视频数据自然地扩展了文生图扩散模型。

前面展示的 Imagen Video 构建了一系列视频扩散模型,并利用空间和时间超分辨率模型生成高分辨率时间一致性视频。Make-A-Video 在文本到图像合成模型的基础上,以无监督的方式利用了视频数据。Gen-1 则是扩展了 Stable Diffusion 并提出了一种基于所需输出的视觉或文本描述的结构和内容引导的视频编辑方法。

如今,越来越多的文生视频模型不断迭代,我们可以看到,2023 年似乎将要成为 “文生视频” 的一年。

三、生成式AI下一站:需要改进,需要警惕

尽管复用了文生图的技术与训练集,但在视频领域应用扩散模型并不简单,尤其是由于它们的概率生成过程,很难确保时间一致性。即主要主体往往在帧与帧之间看起来略有不同,背景也不一致,这使得完成的视频看起来一切都在不断运动,缺乏真实感。同时,大多数方法都需要大量的标记数据并进行大量的训练,这是极其昂贵并难以负担的。

近日,由 Picsart AI Resarch(PAIR)团队介绍的一种新颖的零样本的文本到视频生成任务,提出了一种低成本的方法,通过利用现有的文本到图像合成方法(如 Stable Diffusion),将其应用于视频领域。该研究主要进行了两个关键修改:一是为生成帧的潜在代码添加动态运动信息,以保持全局场景和背景时间的一致性;二是使用新的跨帧注意力机制,对每个帧在第一帧的关注,重新编程帧级自注意力,以保持前景对象的上下文、外观和身份。

AIGC下一站:期待、警惕充斥着AI剪辑师的世界,人工智能那些事儿,人工智能,AIGC
图|Text2Video-Zero使用(i)文本提示(见第1、2行)、(ii)结合姿势或边缘指导的提示(见右下角)和(iii)视频指令-Pix2Pix,即指令引导视频编辑(见左下角),实现零样本视频生成。结果在时间上是一致的,并严格遵循指导和文本提示。

这个方法的意义在于它具有低开销,同时能生成高质量且相当一致的视频。此外,这种方法不仅适用于文本到视频合成,还适用于其他任务,如条件和内容专用视频生成,以及视频指导下的图像到图像翻译。

实验证明,这种方法在性能上可与最近的方法相媲美,甚至在某些情况下优于它们,尽管它没有在额外的视频数据上进行训练。这项技术可以用于创作动画、广告和短片,节省成本和时间。此外,它还可以在教育领域提供可视化材料,使学习变得更加生动有趣。

然而,随着不断的技术迭代,这些文生视频 AI 模型将变得更加精确、逼真和可控。就像是恐怖的 “史密斯吃意大利面” 视频一样,这些工具很可能被用来生成虚假、仇恨、露骨或有害的内容,信任与安全等问题也逐渐涌现

谷歌称,Google Imagen Video 的训练数据来自公开可用的 LAION-400M 图像文本数据集和 “1400 万个视频文本对和 6000 万个图像文本对”。尽管它已经接受了谷歌过滤的 “有问题的数据” 的训练,但仍然可能包含色情和暴力内容——以及社会刻板印象和文化偏见。

Meta 也承认,按需制作逼真的视频会带来一定的社会危害。在公告页面的底部,Meta 表示,所有来自 Make-A-Video 的人工智能生成的视频内容都包含一个水印,以 “帮助确保观众知道视频是用人工智能生成的,而不是捕获的视频”。但是,竞争性的开源文生视频模型可能会随之而来,这可能会使 Meta 的水印保护变得无关紧要。

美国麻省理工学院人工智能教授菲利普·伊索拉就表示,**如果看到高分辨率的视频,人们很可能会相信它。也有专家指出,随着人工智能语音匹配的出现,以及逐渐拥有改变和创建几乎触手可及的逼真视频的能力,伪造公众人物和社会大众的言行可能会造成不可估量的伤害。但是,“潘多拉的魔盒已经打开”,**作为生成式 AI 的下一站,文生视频的技术需要不断改进,与此同时,依然需要警惕安全与伦理风险。文章来源地址https://www.toymoban.com/news/detail-561895.html

到了这里,关于AIGC下一站:期待、警惕充斥着AI剪辑师的世界的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 大模型的下一站是通用人工智能(AGI)吗?

    目录 大模型的下一站

    2024年02月06日
    浏览(54)
  • 探工业互联网的下一站!腾讯云助力智造升级

    数字化浪潮正深刻影响着传统工业形态。作为第四次工业革命的重要基石,工业互联网凭借其独特的价值快速崛起,引领和推动着产业变革方向。面对数字化时代给产业带来的机遇与挑战,如何推动工业互联网的规模化落地,加速数字经济与实体经济的深度融合,已成为全行

    2024年02月11日
    浏览(41)
  • OpenAI再出新作,AIGC时代,3D建模师的饭碗危险了!

    大家好,我是千与千寻,也可以叫我千寻哥,说起来,自从ChatGPT发布之后,我就开始焦虑,担心自己程序员的饭碗会不会哪天就被AIGC取代了。 有人说我是过度焦虑了,但是我总觉有点危机感肯定没有坏处。(结尾反转,hhh,希望你看下去!) 不过好家伙,还没等AIGC大模型

    2024年02月09日
    浏览(40)
  • 警惕!当心AI诈骗!

    鄂尔多斯新闻公众号、澎湃新闻网、搜孤新闻、腾讯网等 事例一: 近期 “AI换脸”新型诈骗频发和你视频对话的可能不是本人! 近日,东胜市民李女士遭遇了冒充熟人的诈骗,被骗30万元。诈骗分子冒充李女士的同学“贾某”,伪造微信账号添加李女士后,主动提出视频聊

    2024年02月06日
    浏览(35)
  • 美摄云剪辑3.0:融合AIGC,实现效率提升

    数字人视频一键生成 本地素材剪辑无需等待上传 支持Lottie动画导入 伴随元宇宙技术的发展和产业数字化升级,数字人正在成为下一代互联网的基础设施。与此同时,AI的应用场景也愈加丰富。人工智能生产数字内容(AIGC)风潮渐盛,应用前景广阔,具有内容生产能力的数字

    2024年02月11日
    浏览(39)
  • 警惕AI换脸技术:近期诈骗事件揭示的惊人真相

    大家好,我是可夫小子,《小白玩转ChatGPT》专栏作者,关注AIGC、读书和自媒体。 目录 1. deepswap 2. faceswap 3. swapface 总结 📣通知 近日,包头警方公布了一起用AI进行电信诈骗的案件,其中福州科技公司代表郭先生,在10分钟内损失了430万元。事件发生在4月20日,郭先生接到假

    2024年02月06日
    浏览(38)
  • 被称为下一代风口的AIGC到底是什么?

    近期,短视频平台上“AI绘画”的概念爆火,ChatGPT这一词条也刷爆了科技圈,而这些概念同属于一个领域——AIGC。2022年12月,Science杂志发布的2022年度科学十大突破中,AIGC入选。 那么,被称之为是AI下一代风口的AIGC到底是什么? AIGC全称为AI-Generated Content,即 利用人工智能技

    2024年01月16日
    浏览(57)
  • 智能存储:多媒体实验室AIGC能力助力数据万象开启智能剪辑大门

    AIGC正从效率、质量、创意、多样性各方面革新内容生产流程,伴随firely、midjourney等现象级的产品出现,AIGC将逐步 广泛服务于内容生产的各类场景与内容生产者,随着AIGC在内容生产的需求场景不断增加,多媒体实验室也在AIGC领域持续发力,并通过数据万象将 能力成功应用到

    2024年02月10日
    浏览(47)
  • AIGC技术研究与应用 ---- 下一代人工智能:新范式!新生产力!(5 - AIGC 未来展望)

    据预测,未来五年10%-30%的图片内容由AI参与生成,考虑到下一代互联网对内容需求的迅速提升,2030年AIGC市场规模将达到1100亿美元 任务分解替代概率模型 (Task Decomposition Replacement Probability Model) :AI替代某个工作主要取 决于以下要素——任务重复性、 标准化程度、 创新和判断

    2024年02月12日
    浏览(50)
  • AI时代项目经理与架构师的成长之道:ChatGPT让你插上翅膀

    💂 个人网站:【工具大全】【游戏大全】【神级源码资源网】 🤟 前端学习课程:👉【28个案例趣学前端】【400个JS面试题】 💅 寻找学习交流、摸鱼划水的小伙伴,请点击【摸鱼学习交流群】 在AI时代,项目经理和架构师的角色变得越发关键,他们需要不断学习和适应新技

    2024年02月04日
    浏览(50)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包