经典文献阅读之--Gaussian Splatting SLAM(单目3D高斯溅射重建)

这篇具有很好参考价值的文章主要介绍了经典文献阅读之--Gaussian Splatting SLAM(单目3D高斯溅射重建)。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

0. 简介

3D GS在NeRF领域已经掀起了一股浪潮,然后又很快席卷到了SLAM领域,最近已经看到很多3D GS和SLAM结合的开源工作了。将为大家分享帝国理工学院戴森机器人实验最新开源的方案《Gaussian Splatting SLAM》,这也是第一个将3D GS应用到增量3D重建的工作,速度为3 FPS。要想实时从摄像头连续重建出高保真度的三维场景,需要多项创新。首先,为了超越原始的3D高斯溅射(3DGS)算法——该算法需要来自离线结构运动(SfM)系统的精确位置信息——我们为3DGS构建了相机跟踪功能,直接针对3D高斯函数进行优化,并证明这样可以实现快速、稳健的跟踪,具有广泛的收敛范围。其次,通过利用高斯函数的显式特性,我们引入了几何验证和规则化处理,以处理增量式三维密集重建中出现的歧义。最后,我们引入了一个完整的SLAM系统,不仅在新视图合成和轨迹估计方面取得了最先进的结果,而且还能重建微小甚至透明的物体。这个代码暂时还没开源,预计2月会开源,感兴趣的可以关注一下对应的网站

1. 主要贡献

我们进一步展示了基于高斯的SLAM方法的独特性,如极大的相机姿态收敛盆地,这对于基于地图的相机定位也有用。我们的方法仅适用于单目输入,这是SLAM中最具挑战性的场景之一,但我们展示了它也可以在可用时结合深度测量。总而言之,我们的贡献如下:

  1. 第一个接近实时的SLAM系统,仅使用3DGS作为唯一的场景表示。
  2. SLAM框架内的新颖技术,包括相机姿态估计的解析雅可比,高斯形状规范化和几何验证。
  3. 在各种数据集上进行了广泛评估,包括单目和RGB-D设置,特别是在实际场景中展示了竞争性能。

2. 高斯飞溅

我们的SLAM表示法是3DGS,它通过一组各向异性的高斯函数G来映射场景。每个高斯函数 G i G^i Gi包含光学特性:颜色 c i c^i ci和不透明度 α i α^i αi。为了连续的3D表示,均值 µ W i µ^i_W µWi和协方差 Σ W i Σ^i_W ΣWi,在世界坐标中定义,代表了高斯函数的位置和其椭球形状。为了简化和提速,在我们的工作中,我们省略了表示视角依赖辐射的球谐函数。由于3DGS使用体积渲染,因此不需要显式提取表面。相反,通过对N个高斯函数进行打点和混合,合成了像素颜色 C p C_p Cp

经典文献阅读之--Gaussian Splatting SLAM(单目3D高斯溅射重建),深度学习,slam,3d

3DGS执行光栅化时,是遍历高斯函数,而不是沿着相机射线前进,因此,在渲染过程中忽略了空闲空间。在光栅化过程中,基于通过打点3D高斯形成的2D高斯,通过高斯函数衰减 α α α的贡献。在世界坐标中的3D高斯 N ( µ W , Σ W ) N(µ_W, Σ_W) N(µW,ΣW)与图像平面上的2D高斯 N ( µ I , Σ I ) N(µ_I, Σ_I) N(µI,ΣI)通过投影变换联系在一起:

经典文献阅读之--Gaussian Splatting SLAM(单目3D高斯溅射重建),深度学习,slam,3d文章来源地址https://www.toymoban.com/news/detail-838189.html

…详情请参照古月居

到了这里,关于经典文献阅读之--Gaussian Splatting SLAM(单目3D高斯溅射重建)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 经典文献阅读之--Evaluation of Lidar-based 3D SLAM algorithms (激光SLAM性能比较)

    我们在日常使用激光SLAM算法的时候,常常会发现现有的算法只会和一些比较经典或者前作去进行比较,很多时候我们更希望对主流的激光SLAM方法进行性能比较。之前作者转载过一篇文章《常见不同3D激光SLAM方案对比》。但是对比的算法有限。现在瑞典Lule科技大学评估9种最常

    2024年02月02日
    浏览(28)
  • 3D Gaussian Splatting(高斯飞溅3D算法) Windows系统部署(简版) |导入到Unity

    目录 前言 1、安装python (1)下载地址 (2)添加环境变量 2、安装CUDA         3、安装git (1)下载地址 (2)检查是否安装成功 4、安装visual studio 5、安装COLMAP (1)下载地址 (2)添加环境变量 6、安装ffmpeg (1)下载地址 (2)添加环境变量 (3)检查是否安装成功 7、安

    2024年01月15日
    浏览(29)
  • 【反渲染高斯】GS-IR: 3D Gaussian Splatting for Inverse Rendering

    会有自己的理解PS,不保证正确,欢迎评论中指出错误。 我们提出了一种基于3D高斯溅射(GS)的新型反向渲染方法GS-IR,它利用前向映射体渲染forward mapping volume rendering来实现逼真的新视图合成和重照明结果。与先前使用隐式神经表征和体绘制(例如NeRF)的工作不同,这些工作具有

    2024年02月19日
    浏览(29)
  • 经典文献阅读之--PL-SLAM(点线SLAM)

    之前作者基本都在围绕着特征点提取的路径在学习,最近看到了最近点云PCL推送的《Structure PLP-SLAM: Efficient Sparse Mapping and Localization using Point, Line and Plane for Monocular, RGB-D and Stereo Cameras》。这个工作是基于OpenVSLAM架构的,但是由于OpenVSLAM被认为侵权,所以作者想从PL-SLAM开始,学

    2024年02月11日
    浏览(28)
  • 3D Gaussian Splatting for Real-Time Radiance Field Rendering 阅读笔记

    感谢B站意の茗的讲解。 论文地址:https://arxiv.org/abs/2308.04079 项目主页:https://repo-sam.inria.fr/fungraph/3d-gaussian-splatting/ 从已有点云模型出发(sfm),以每个点为中心建立可学习的3D高斯表达,Splatting方法进行渲染,实现高分辨率实时渲染。(推动NERF加速方向) 能用训练好的点云

    2024年01月16日
    浏览(39)
  • 经典文献阅读之--STD(激光SLAM回环检测算法)

    各位也知道,我们在之前的博客中,介绍了很多回环的方法,比如Scan Context,Lris, BoW3D等方法。之前作者也在《重定位解析与思考》一文中,给到了一些回环检测算法的介绍。最近林博新开源了一个回环检测算法《STD: A Stable Triangle Descriptor for 3D place recognition》。我们从小乌坞

    2024年02月03日
    浏览(28)
  • 经典文献阅读之--VoxFormer(基于Transformer的3D语义场景补全)

    之前了解了很多BEV的相关操作,但是基本上要么是激光和视觉结合,要么是纯视觉完成的2D激光投影这两种,而那种3D Occupancy方法可以利用栅格的方法完成纯视觉占据栅格的生成。《VoxFormer: Sparse Voxel Transformer for Camera-based 3D Semantic Scene Completion》就是这种方法对于被遮挡的物

    2024年01月23日
    浏览(40)
  • 3D Gaussian Splatting

    本文转载于大佬~~ 这是3D Gaussian Splatting综述, 先回顾3D Gaussian的原理和应用,借着全面比较了3D GS在静态场景、动态场景和驾驶场景中的性能,最后为未来指明了研究方向! 三维 Gaussian splatting(3DGS)是近年来在显式辐射场和计算机图形学领域出现的一种变革性技术。这种创新

    2024年04月08日
    浏览(43)
  • 3D Gaussian Splatting的使用

    今年SIGGRAPH最佳论文,学习了一下,果然厉害,具体论文原理就不说了,一搜都有,主要是看看怎么用,自己能不能把身边的场景快速建个模。 赶紧记录下,好像这几天在这个基础上又有很多花样出来了… 我的系统是Ubuntu22.04。 开源作者已经都弄的很详细了,也有教程。 首

    2024年02月04日
    浏览(35)
  • 【辐射场】3D Gaussian Splatting

      , 3D Gaussian Splatting,下文简称3DGS,是好一段时间以来在三维内容创作和三维重建领域比较有热度的一项技术。 它属于 基于图像的三维重建方法 ,意思就是你对现实物体或者场景拍照片,就能给你训练成一个场景模型,能够被渲染出来给你看。 它产生的模型可以作为三维

    2024年02月03日
    浏览(33)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包