3D Gaussian Splatting 应用场景及最新进展【附10篇前沿论文和代码】

这篇具有很好参考价值的文章主要介绍了3D Gaussian Splatting 应用场景及最新进展【附10篇前沿论文和代码】。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

CV玩家们,知道3D高斯吗?对,就是计算机视觉最近的新宠,在几个月内席卷三维视觉和SLAM领域的3D高斯。不太了解也没关系,我今天就来和同学们一起聊聊这个话题。

3D Gaussian Splatting(3DGS)是用于实时辐射场渲染的 3D 高斯分布描述的一种光栅化技术,具有高质量和实时渲染的能力。如果说NeRF等辐射场方法彻底改变了多张照片或视频主导的场景新视角合成的算法生态,那么3D高斯则是在NeRF的基础上,做到了在保持有竞争力的训练时间的同时实现最先进的视觉质量。

不仅如此,我们都知道传统的NeRF渲染过于粗暴,且随机性较大,但基于3D Gaussian Splatting的渲染技术则全面展现出了更好的实时性,更好的渲染质量,以及更精确的定位精度。

因此,3D Gaussian Spaltting方向最近涌现了大量开创性的新工作,我在这里帮同学们简单的总结了一波,包括3D高斯的开山作,以及一些应用成果

论文原文及开源代码看文末

1.3D Gaussian Splatting for Real-Time Radiance Field Rendering

用于实时辐射场渲染的3D高斯溅射

「SIGGRAPH 2023 best paper,3D高斯开山作」

「简述:」Radiance Field方法是一种用于多张照片或视频场景的新视图合成技术。然而,目前的方法要么需要昂贵的神经网络进行训练和渲染,要么牺牲速度以换取质量。作者提出了三个关键元素来实现高质量的实时渲染:使用3D高斯表示场景,优化各向异性协方差以准确表示场景,并开发快速的可见性感知渲染算法。作者在多个数据集上展示了先进的视觉质量和实时渲染效果。

3D Gaussian Splatting 应用场景及最新进展【附10篇前沿论文和代码】,深度学习干货,人工智能干货,人工智能,3D高斯,神经辐射场

2.Segment Any 3D Gaussians

分割一切「3D高斯」版

「简述:」论文介绍了一种新的3D交互式分割方法——Segment Any 3D GAussians(SAGA),它无缝融合了基于2D分割的基础模型和最近在辐射场中取得突破的3D高斯散射(3DGS)。SAGA通过精心设计的对比训练将基础模型生成的多粒度2D分割结果高效地嵌入到3D高斯点特征中。在现有基准测试上进行的评估表明,SAGA可以与最先进的方法竞争。此外,SAGA可以实现多粒度分割并适应各种提示,包括点、涂鸦和2D掩码。值得注意的是,SAGA可以在几毫秒内完成3D分割,相对于先前的SOTA实现了近1000倍的加速。

3D Gaussian Splatting 应用场景及最新进展【附10篇前沿论文和代码】,深度学习干货,人工智能干货,人工智能,3D高斯,神经辐射场

3.Mip-Splatting: Alias-free 3D Gaussian Splatting

无别名的3D高斯溅射

「简述:」最近,3D高斯散射在新的视图合成方面取得了令人印象深刻的结果,达到了高保真度和高效率。然而,当改变采样率时(例如通过改变焦距或相机距离),会出现明显的伪影。作者发现这种现象的主要原因是缺乏3D频率约束和使用2D膨胀滤波器。为了解决这个问题,作者引入了一个3D平滑滤波器,根据输入视图引起的最大采样频率来限制3D高斯原语的大小,从而消除缩放时的高频伪影。此外,用模拟2D盒式滤波器的2D Mip滤波器替换2D膨胀滤波器有效地缓解了混叠和膨胀问题。评估包括在单个尺度的图像上进行训练并在多个尺度上进行测试等场景,验证了该方法的有效性。

3D Gaussian Splatting 应用场景及最新进展【附10篇前沿论文和代码】,深度学习干货,人工智能干货,人工智能,3D高斯,神经辐射场

4.Splatter Image: Ultra-Fast Single-View 3D Reconstruction

超快速单视图3D重建

「简述:」论文介绍了Splatter Image,一种超快速的单视图3D重建方法,运行速度为38 FPS。该方法基于高斯溅射,将输入图像映射为每个像素的一个3D高斯,生成的图像称为Splatter Image。该方法使用2D图像到图像网络进行学习,并在测试时只需要前向评估神经网络即可进行重建。我们还扩展了该方法以处理多个图像作为输入,并使用跨视图注意力来提高性能。在标准基准测试中,作者展示了快速重建和更好的结果,优于最近的更昂贵的基线。

3D Gaussian Splatting 应用场景及最新进展【附10篇前沿论文和代码】,深度学习干货,人工智能干货,人工智能,3D高斯,神经辐射场

5.PhysGaussian: Physics-Integrated 3D Gaussians for Generative Dynamics

用于生成动力学的物理集成3D高斯分布

「简述:」论文介绍了PhysGaussian,一种将基于物理的牛顿动力学无缝集成到3D高斯分布中的方法,以实现高质量的新运动合成。该方法使用自定义的物质点方法(MPM),通过连续力学原理对3D高斯核进行丰富的物理有意义的运动变形和机械应力属性。该方法的一个显著特征是物理模拟和视觉渲染之间的无缝集成:这两个组件都使用相同的3D高斯核作为它们的离散表示形式。这消除了三角形/四面体网格、Marching Cubes、“笼子网格”或其他任何几何嵌入的必要性,强调了“所见即所模拟(WS2)”的原则。该方法还展示了在各种材料上的出色通用性,包括弹性实体、金属、非牛顿流体和颗粒状材料,展示了其在创建具有新颖视角和运动的多样化视觉内容方面的强能力。

3D Gaussian Splatting 应用场景及最新进展【附10篇前沿论文和代码】,深度学习干货,人工智能干货,人工智能,3D高斯,神经辐射场

6.SuGaR: Surface-Aligned Gaussian Splatting for Efficient 3D Mesh Reconstruction

用于高效3D网格重建的表面对齐高斯溅射

「简述:」论文提出了一种从3D高斯溅射中快速提取网格的方法。该方法使用正则化项鼓励高斯与场景表面对齐,并使用泊松重建从高斯中提取网格。最后,引入了一种可选的细化策略,将高斯绑定到网格的表面,并通过高斯溅射渲染共同优化这些高斯和网格。该方法可以在几分钟内检索到可用于逼真渲染的可编辑网格,并提供更好的渲染质量。

3D Gaussian Splatting 应用场景及最新进展【附10篇前沿论文和代码】,深度学习干货,人工智能干货,人工智能,3D高斯,神经辐射场

7.Gaussian Splatting SLAM

高斯溅射SLAM

「简述:」论文介绍了一种将3D高斯散射应用于单目或RGB-D相机的增量式3D重建的方法。该方法使用高斯作为唯一的3D表示形式,实现了准确、高效跟踪、映射和高质量渲染所需的表示形式。通过直接优化针对3D高斯进行相机跟踪,并引入几何验证和正则化来处理歧义性,实现了快速和鲁棒的跟踪和重建。同时,该方法还实现了全面的SLAM系统,可以重建微小甚至透明的物体。

3D Gaussian Splatting 应用场景及最新进展【附10篇前沿论文和代码】,深度学习干货,人工智能干货,人工智能,3D高斯,神经辐射场

8.GaussianEditor: Swift and Controllable 3D Editing with Gaussian Splatting

使用高斯溅射实现快速和可控的3D编辑

「简述:」论文介绍了一种基于高斯散射的高效3D编辑算法——GaussianEditor。该算法通过高斯语义跟踪来增强编辑精度和控制性,并使用分层高斯散射来实现稳定和精细的结果。此外,作者还开发了用于对象删除和集成的编辑策略。实验表明,GaussianEditor具有优越的控制、效率和快速性能,是3D编辑领域的重要进展。

3D Gaussian Splatting 应用场景及最新进展【附10篇前沿论文和代码】,深度学习干货,人工智能干货,人工智能,3D高斯,神经辐射场

9.GSGEN: Text-to-3D using GaussianSplatting

使用高斯溅射进行文本到3D转换

「简述:」论文介绍了一种基于高斯溅射的文本到3D生成方法——GSGEN,用于生成高质量的3D对象。该方法利用了3D高斯散射表示来引入3D先验,并采用渐进式优化策略,包括几何优化和外观细化阶段。通过这些设计,作者的方法可以生成具有精致细节和更准确几何形状的3D内容。实验表明,该方法非常有效,尤其是在捕捉高频成分方面。

3D Gaussian Splatting 应用场景及最新进展【附10篇前沿论文和代码】,深度学习干货,人工智能干货,人工智能,3D高斯,神经辐射场

10.Dynamic 3D Gaussians: Tracking by Persistent Dynamic View Synthesis

动态3D高斯:通过持续动态视图合成进行跟踪

「简述:」论文介绍了一种同时解决动态场景新视图合成和所有密集场景元素的六自由度跟踪任务的方法。该方法使用3D高斯集合来模拟场景,并通过可微渲染优化来重建输入图像。为了模拟动态场景,允许高斯随时间移动和旋转,并强制它们具有持久的颜色、不透明度和大小。通过使用局部刚体约束对高斯的运动和旋转进行正则化,实现了密集的6-DOF跟踪和动态重建。该方法能够实现许多下游应用,如第一人称视角合成、动态组成场景合成和4D视频编辑。

3D Gaussian Splatting 应用场景及最新进展【附10篇前沿论文和代码】,深度学习干货,人工智能干货,人工智能,3D高斯,神经辐射场

 

关注下方《学姐带你玩AI》🚀🚀🚀

回复“3D高斯”获取论文+开源代码

码字不易,欢迎大家点赞评论收藏文章来源地址https://www.toymoban.com/news/detail-780624.html

到了这里,关于3D Gaussian Splatting 应用场景及最新进展【附10篇前沿论文和代码】的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 【辐射场】3D Gaussian Splatting

      , 3D Gaussian Splatting,下文简称3DGS,是好一段时间以来在三维内容创作和三维重建领域比较有热度的一项技术。 它属于 基于图像的三维重建方法 ,意思就是你对现实物体或者场景拍照片,就能给你训练成一个场景模型,能够被渲染出来给你看。 它产生的模型可以作为三维

    2024年02月03日
    浏览(41)
  • AI Transformer:最新进展及其应用场景解析

    作者:禅与计算机程序设计艺术 随着人工智能(AI)技术的飞速发展,深度学习(DL)和Transformer模型已经成为最具代表性的两个研究方向。近年来,两者在自然语言处理、图像识别、文本生成等领域均取得重大突破,在各行各业产生了广泛影响。本文将从最新研究成果和相关

    2024年02月07日
    浏览(65)
  • 3D Gaussian Splatting:论文原理分析

    标题:3D Gaussian Splatting for Real-Time Radiance Field Rendering 作者:Bernhard Kerbl、Georgios Kopanas、Thomas Leimkühler和George Drettakis,来自法国Inria、Université Côte d\\\'Azur和德国Max-Planck-Institut für Informatik。 发表时间:2023年8月,ACM Transactions on Graphics上,卷号42,编号4 提出了一种名为3D Gaussia

    2024年01月23日
    浏览(48)
  • Awesome 3D Gaussian Splatting Resources

    GitHub - MrNeRF/awesome-3D-gaussian-splatting: Curated list of papers and resources focused on 3D Gaussian Splatting, intended to keep pace with the anticipated surge of research in the coming months. 3D Gaussian Splatting简明教程 - 知乎 

    2024年01月20日
    浏览(53)
  • 3D Gaussian Splatting学习记录11.2

    cmd输入以下命令,开始训练 整个训练(30,000步)大约需要20分钟,但7000步后会保存一个中间模型,效果已经很不错了。训练结束后得到output文件 在Ubuntu 22.04上,运行以下命令来构建可视化工具: 安装后,找到SIBR_gaussianViewer_app二进制文件,并以模型的路径作为参数运行它: 参

    2024年02月04日
    浏览(61)
  • 3D Gaussian Splatting文件的压缩【3D高斯泼溅】

    在上一篇文章中,我开始研究高斯泼溅(3DGS:3D Gaussian Splatting)。 它的问题之一是数据集并不小。 渲染图看起来不错。 但“自行车”、“卡车”、“花园”数据集分别是一个 1.42GB、0.59GB、1.35GB 的 PLY 文件。 它们几乎按原样加载到 GPU 内存中作为巨大的结构化缓冲区,因此

    2024年02月03日
    浏览(34)
  • 3d gaussian splatting笔记(paper部分翻译)

    本文为3DGS paper的部分翻译。 基于点的𝛼混合和 NeRF 风格的体积渲染本质上共享相同的图像形成模型。 具体来说,颜色 𝐶 由沿射线的体积渲染给出: 其中密度 𝜎、透射率 𝑇 和颜色 c 的样本是沿着射线以间隔 𝛿 𝑖 采集的。 这可以重写为 典型的基于神经点的方法通过

    2024年01月24日
    浏览(44)
  • 学习笔记之——3D Gaussian Splatting源码解读

    之前博客对3DGS进行了学习与调研 学习笔记之——3D Gaussian Splatting及其在SLAM与自动驾驶上的应用调研-CSDN博客 文章浏览阅读450次。论文主页3D Gaussian Splatting是最近NeRF方面的突破性工作,它的特点在于重建质量高的情况下还能接入传统光栅化,优化速度也快(能够在较少的训练

    2024年01月20日
    浏览(59)
  • 3D高斯泼溅(Gaussian Splatting)通俗解释

    项目:3D Gaussian Splatting for Real-Time Radiance Field Rendering 代码:GitHub - graphdeco-inria/gaussian-splatting: Original reference implementation of \\\"3D Gaussian Splatting for Real-Time Radiance Field Rendering\\\" 功能:拍摄一段视频或多张图片,可以重建3维场景并能实时渲染。 优点:质量高、速度快。 缺点:占用

    2024年02月22日
    浏览(58)
  • 3D Gaussian Splatting 训练自己的数据scene

    目录 训练教程: 1 colmap安装: 2.1生成初始点云 2.2训练流程 读ColmapScene

    2024年03月25日
    浏览(55)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包