小鹏公然AI“造假”,啧啧啧

这篇具有很好参考价值的文章主要介绍了小鹏公然AI“造假”,啧啧啧。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

金磊 发自 凹非寺
量子位 | 公众号 QbitAI

家人们,我们先来看一段视频,你能否发现其中有什么异样?

小鹏公然AI“造假”,啧啧啧,人工智能

如果说,在这段视频里,有一个物件是假的,是被合成进去的,你能发现吗?

小鹏公然AI“造假”,啧啧啧,人工智能

不卖关子,现在就来揭晓答案。

“造假”的物体,正是这个出现在不该出现位置的红绿灯。

小鹏公然AI“造假”,啧啧啧,人工智能

我们再来玩一把“大家来找茬”,请看题目:

小鹏公然AI“造假”,啧啧啧,人工智能

答案是:放在置物架上的这个设备。

小鹏公然AI“造假”,啧啧啧,人工智能

这就是来自小鹏汽车最新的一项研究——Anything in Any Scene

主打一个往真实环境里毫无违和感地“塞”进去任何东西。

小鹏公然AI“造假”,啧啧啧,人工智能

并且研究团队给予这个通用框架的评价是:

它的应用远远超出了视频数据增强的范围,在虚拟现实、视频编辑和其他各种以视频为中心的应用中显示出巨大的潜力。

甚至有网友在看完效果之后直呼:

再见了视频证据~这个技术插入视频的物体可以保持与原始素材相同的真实感。

小鹏公然AI“造假”,啧啧啧,人工智能

那么这项AI技术更多效果如何,我们继续往下看。

Anything in Any Scene

先从室外场景来看下效果。

在视频中合成某个物体的时候,往往不逼真的原因,可以总结为位置放置错误、无阴影、无HDR和无样式迁移等原因。

正如下面几个错误案例所示:

小鹏公然AI“造假”,啧啧啧,人工智能

而小鹏团队的效果,是这样的:

小鹏公然AI“造假”,啧啧啧,人工智能

相比刚才缺少各种因素的情况而言,效果显然是相对逼真的。

再与其它已有的算法和框架做比较,例如DoveNet、StyTR2和PHDiffusion,它们在室外场景中合成物体的效果是这样的:

小鹏公然AI“造假”,啧啧啧,人工智能

小鹏的Anything in Any Scene从效果上来看,依旧是相对更为逼真。

小鹏公然AI“造假”,啧啧啧,人工智能

同样的,在室内环境中,不论是包包还是鞋子,小鹏新AI技术所生成的效果可以说是真假难辨的那种了。

小鹏公然AI“造假”,啧啧啧,人工智能

更多的效果展示如下图所示:

小鹏公然AI“造假”,啧啧啧,人工智能

除了视觉效果之外,小鹏团队在CODA数据集的原始图像上,将训练的YOLOX模型的性能与Anything in Any Scene框架在原始和增强图像的组合上训练时的性能进行了比较。

从整体精度上来看也有了不小的提高。

小鹏公然AI“造假”,啧啧啧,人工智能

怎么做到的?

从此次提出的框架上来看,Anything in Any Scene主要由三个关键部分组成。

小鹏公然AI“造假”,啧啧啧,人工智能

首先是物体放置和稳定化的过程。

团队先确定相机在场景中的世界坐标系位置,并将其作为物体插入的参考点;使用相机的内参矩阵和姿态(旋转矩阵和位移向量)将世界坐标系中的点投影到像素坐标系中,以确定物体在视频帧中的放置位置。

为了避免与场景中其他物体的遮挡,团队还使用语义分割模型估计每个帧的分割掩模,并确保物体放置在未被遮挡的区域。

在物体稳定化方面,团队在连续帧之间估计光流,以跟踪物体的运动轨迹;并通过优化相机姿态(旋转矩阵和位移向量),最小化物体在连续帧中的3D到2D投影误差,确保物体在视频中的稳定运动。

小鹏公然AI“造假”,啧啧啧,人工智能

其次,是光照估计和阴影生成

针对HDR全景图像重建,团队使用图像修复网络推断全景视图的光照分布,然后通过天空HDR重建网络将全景图像转换为HDR图像;并结合使用GAN训练编码器-解码器网络来模拟太阳和天空的亮度分布。

在环境HDR图像重建方面,研究人员则是收集了场景的多视角LDR图像,并通过现有模型恢复为HDR图像,以学习连续曝光值表示。

在物体阴影生成上,团队则是使用3D图形应用(如Vulkan)和光线追踪技术,根据估计的主要光源位置生成插入物体的阴影。

小鹏公然AI“造假”,啧啧啧,人工智能

最后的步骤,则是照片风格迁移

框架对插入物体的外观进行微调,使其风格与背景视频完美融合,进一步提升了视频的逼真度。

小鹏公然AI“造假”,啧啧啧,人工智能

这便是小鹏Anything in Any Scene在真实环境中生成物体较为逼真的原因了。

而与小鹏此次研究类似的效果,其实早在之前便有了许多工作。

例如名为GAIA-1的多模态生成式世界模型,便可以从头到脚的打造逼真的自动驾驶视频:

小鹏公然AI“造假”,啧啧啧,人工智能

这里的每一帧都是由AI生成,甚至就连不同的路况和天气等等,都是可以做到以假乱真。

小鹏公然AI“造假”,啧啧啧,人工智能

就连LeCun看了都惊叹不已:

小鹏公然AI“造假”,啧啧啧,人工智能

不过这些AI效果虽真实,但也有网友提出了担忧之处,那便是网上虚假、生成的信息越发的逼真;因此,以后辨别信息的真假需要更加警惕。

小鹏公然AI“造假”,啧啧啧,人工智能

目前,这个项目已经在GitHub中开源,感兴趣的小伙伴可以了解一下了小鹏公然AI“造假”,啧啧啧,人工智能~

参考链接:
[1]https://anythinginanyscene.github.io/
[2]https://arxiv.org/abs/2401.17509

—  —

点这里👇关注我,记得标星哦~文章来源地址https://www.toymoban.com/news/detail-836929.html

到了这里,关于小鹏公然AI“造假”,啧啧啧的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • AI人工智能开发的5种最佳人工智能编程语言

    今天的AI程序员应该掌握多种语言,因为他们在跨学科的环境中工作,而不是在孤岛中工作。 虽然当前这一代人更喜欢Python,R,Java,Lisp,Prolog,Julia等 ,但前端开发人员必须了解JavaScript,Python和R的机器学习应用程序。一家知名组织的流程自动化首席开发人员了解R,Java,

    2023年04月16日
    浏览(51)
  • 【人工智能】Responsible AI 负责任的人工智能:人工智能安全和隐私的未来 The Future of AI Security and Privacy

      While AI development was mostly in the realm of research, practices such as sharing open datasets, publishing models publicly, and using any compute resources available all helped drive forward the state of the art. AI is now increasingly deployed in production environments in the commercial, healthcare, government, and defense sectors and Intel provides

    2023年04月09日
    浏览(47)
  • 人工智能ai写作系统,ai智能写作机器人

     人工智能AI大数据深度:基于伪原创算法,采用神经网络算法,在超过1535000篇文章中进行自动学习、聚合算法进行人工智能的创建,内容语义不变,媒体阿里、腾讯、百度均于日前在百家号内容创作者盛典上推出人工智能创作支撑平台创作大脑。 智能助手可以为人类创作者

    2024年02月10日
    浏览(67)
  • 【AI人工智能】从技术角度看,我们离超级人工智能还有多远?

    目录 前言 超级人工智能是什么? 一、计算能力 二、算法支持 三

    2024年02月06日
    浏览(52)
  • 人工智能AI简史

    最近学习AI,顺便整理了一份AI人工智能简史,大家参考: 1951年 第一台神经网络机,称为SNARC; 1956年 达特茅斯学院会议,正式确立了人工智能的研究领域; 1966年 MIT发明ELIZA人机心理治疗对话程序,通过和数据库实现心理咨询; 1980年 CMU为DEC设计的XCON专家系统获得巨

    2023年04月18日
    浏览(88)
  • AI人工智能简史

    最近学习AI,顺便整理了一份AI人工智能简史,大家参考: 1951年 第一台神经网络机,称为SNARC; 1956年 达特茅斯学院会议,正式确立了人工智能的研究领域; 1966年 MIT发明ELIZA人机心理治疗对话程序,通过和数据库实现心理咨询; 1980年 CMU为DEC设计的XCON专家系统获得巨

    2023年04月17日
    浏览(55)
  • 【人工智能】AI 人工智能:会给人类未来的工作带来怎样的转变?

    0. 前言 人工智能(AI)将对人类未来的工作产生深刻的影响,这些转变具体可以分为以下几点: 自动化与智能优化 : 人工智能可以实现自动化,从而提高工作效率。许多脑力和体力密集型的任务将不再需要人工完成,劳动力可用于更高级别的任务。 生产力增长 : 随着AI的广泛

    2024年02月08日
    浏览(59)
  • 【人工智能 AI】什么是人工智能? What is Artificial Intelligence

      目录 Introduction to Artificial Intelligence人工智能概论 What is Artificial Intelligence? 什么是人工智能?

    2024年02月10日
    浏览(42)
  • 【大数据&AI人工智能】变革人类社会的第四次工业革命——AI人工智能革命已到来

    霍金曾留下几句话: 在我的一生中,我见证了很多社会深刻的变化。其中最深刻,同时也是对人类影响与日俱增的变化就是人工智能的崛起。 人工智能的真正风险不是它的恶意,而是它的能力。一个超智能的人工智能在完成目标方面非常出色,如果这些目标与我们的目标不

    2023年04月22日
    浏览(48)
  • 【大数据&AI人工智能】机器意识能走多远:未来的人工智能哲学

    机器意识能走多远:未来的人工智能哲学     【摘要】 意识是人类最为神奇的心理能力,也是宇宙中最为神秘的复杂现象。 正因为如此,对于人工智能终极目标的实现而言,开展机器意识也就成为其绕不开的一个前沿性难题。机器意识研究不但对深化人工智能的研究有着重

    2024年02月03日
    浏览(60)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包