(NeRF学习)3D Gaussian Splatting & Instant-NGP环境配置

这篇具有很好参考价值的文章主要介绍了(NeRF学习)3D Gaussian Splatting & Instant-NGP环境配置。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

学习参考:

  • 3D gaussian splatting 安装步骤拆解23.9月
  • 3D Gaussian Splatting入门指南
  • 【五分钟学会渲染自己的NeRF模型,有手就行!】
  • 三维重建instant-ngp环境部署与colmap、ffmpeg的脚本参数使用

如果你已经熟悉了流程只是记不住命令:


# 3Dgaussian-splatting
FFMPEG -i D:\Projects\Nerf\gaussian-splatting\data\data_classroom\classroom.mov -qscale:v 1 -qmin 1 -vf fps=8 %04d.jpg

python convert.py -s data/data_classroom

python train.py -s data/data_classroom

cd viewers\bin

SIBR_gaussianViewer_app -m data/data_classroom/output




# instant-ngp
python scripts\colmap2nerf.py --video_in data\data_classroom\classroom.mp4 --run_colmap --colmap_db data\data_classroom\colmap.db --text data\data_classroom\text_colmap   --aabb_scale 16 --out data\data_classroom\transforms.json  --colmap_matcher exhaustive  --video_fps 8

instant-ngp.exe --scene data\data_classroom\transforms.json 

一、3D Gaussian Splatting

(一)3D Gaussian Splatting环境配置

1.环境需要

我在conda环境中使用的是python3.8,cuda用的是11.8版本,cudann用的是8.9.6.50。

(1)CUDA和CUDANN安装提示:
  • 在下面这个教程中,作者提到不要勾选Visual Studio Integration,但是我第一次下的时候没有勾选就一直说nvcc不是内部指令。
  • 在CUDA安装好后,我的是自动添加了环境变量,没有的建议“刷新”一下。训练3d gaussian splatting模型步骤,三维重建,学习

教程:安装CUDA和CudaNN

(2)安装依赖:

在虚拟环境里:

pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

pip install plyfile tqdm

pip install submodules/diff-gaussian-rasterization

pip install submodules/simple-knn  

如果这里后面两个命令报错了,我的解决方法是重新拉取整个项目加上 --recursive

git clone https://github.com/graphdeco-inria/gaussian-splatting --recursive  
(3)接下来就跟着教程走
  • 3D gaussian splatting 安装步骤拆解23.9月
  • 3D Gaussian Splatting入门指南
(4)执行完之后的目录结构如下:训练3d gaussian splatting模型步骤,三维重建,学习
(5)可视化工具执行后效果如下:

训练3d gaussian splatting模型步骤,三维重建,学习

一、Instant-NGP

(一)Instant-NGP环境配置

-三维重建instant-ngp环境部署与colmap、ffmpeg的脚本参数使用

跟着上面两个参考走,下面记录几点不一样的地方:

1.使用instent-ngp

视频放在此处:
训练3d gaussian splatting模型步骤,三维重建,学习

执行以下命令生成用于三维重建的images和transforms.json等文件:

python scripts\colmap2nerf.py --video_in data\data_laptop\laptop.mp4 --run_colmap --colmap_db data\data_laptop\colmap.db --text data\data_laptop\text_colmap   --aabb_scale 16 --out data\data_laptop\transforms.json  --colmap_matcher exhaustive  --video_fps 10

训练3d gaussian splatting模型步骤,三维重建,学习

命令参数解释:
训练3d gaussian splatting模型步骤,三维重建,学习
执行后的目录结构如下:
训练3d gaussian splatting模型步骤,三维重建,学习

运行instent-ngp:

instant-ngp.exe --scene data\data_laptop\transforms.json

但是运行的时候报错了: ERROR Uncaught exception: No training images were found for NeRF training!
训练3d gaussian splatting模型步骤,三维重建,学习
我对比了一下官方fox文件夹里给的transforms.json写的图片路径,发现,我保存的路径有问题(但我还不知道是哪段代码导致存储的是这个路径)
训练3d gaussian splatting模型步骤,三维重建,学习
所以将我的transforms.json写的图片路径改成和官方示例一样:
训练3d gaussian splatting模型步骤,三维重建,学习
再次执行,成功。结果如下:
训练3d gaussian splatting模型步骤,三维重建,学习文章来源地址https://www.toymoban.com/news/detail-767872.html

到了这里,关于(NeRF学习)3D Gaussian Splatting & Instant-NGP环境配置的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • instant-ngp

    instant-ngp是今年NVIDIA在SIGGRAPH 2022中的项目,由于其\\\"5s训练一个Nerf\\\"的传奇速度,受到研究人员的关注。下面对其做简单介绍,也作为自己学习的记录。 背景 传统基于全连接的神经网络已经能解决很多问题,比如MLP结构( PointNet、Nerf等 ),但是这种全连接的神经网络在训练和评

    2024年02月05日
    浏览(33)
  • 打败一切NeRF! 3D Gaussian Splatting 的 简单入门知识

    每次都是在csdn上找救命稻草,这是第一次在csdn上发东西。确实是个不错的笔记网站,还能同步,保存哈哈哈。印象笔记,Onenote逊爆了。研一刚开学两个月,导师放养,给的方向还贼大,发点东西还是想找到相似方向的可以一起交流交流。 关于NeRF和3D GS的关系,这放个意の茗

    2024年02月05日
    浏览(45)
  • 三维重建方法3D gaussian splatting与NeRF的区别和异同

    最近学习了一些三维重建相关的内容,目前比较主要的重建流派就是3DGS以及NeRF,NeRF作为2020年发布的文章轰动一时,影响深远,有很多NeRF based的相关工作在这些年涌现。3DGS作为2023年的new talk of the town,其在保证合成质量的情况下能够以数倍乃至数十倍的速度碾压许多NeRF b

    2024年02月01日
    浏览(42)
  • 基于3D Gaussian Splatting与NeRF实现三维重建(使用IPhone创建数据集)

    本项目参考YouTube中博主( Spectacular AI ) 详细可了解:SpectacularAI官网 本文项目构建在Windows与Ubuntu中,二者在项目构建中并未有实质性的差距,可相互参考环境与参数的配置,本文即在Windows11(已配置好CUDA)中进行。 Windows下配置CUDA的方法可参考 :《TensorFlow-GPU-2.4.1与CUDA安

    2024年01月17日
    浏览(50)
  • 3D Gaussian Splatting学习记录11.2

    cmd输入以下命令,开始训练 整个训练(30,000步)大约需要20分钟,但7000步后会保存一个中间模型,效果已经很不错了。训练结束后得到output文件 在Ubuntu 22.04上,运行以下命令来构建可视化工具: 安装后,找到SIBR_gaussianViewer_app二进制文件,并以模型的路径作为参数运行它: 参

    2024年02月04日
    浏览(66)
  • 学习笔记之——3D Gaussian Splatting源码解读

    之前博客对3DGS进行了学习与调研 学习笔记之——3D Gaussian Splatting及其在SLAM与自动驾驶上的应用调研-CSDN博客 文章浏览阅读450次。论文主页3D Gaussian Splatting是最近NeRF方面的突破性工作,它的特点在于重建质量高的情况下还能接入传统光栅化,优化速度也快(能够在较少的训练

    2024年01月20日
    浏览(61)
  • 【3D-GS】Gaussian Splatting SLAM——基于3D Gaussian Splatting的全网最详细的解析

    3D Gaussian Splatting for Real-Time Radiance Field Rendering 论文:link code:link video:link 1. 开山之作 Nerf 一切的开始都是起源于 NERF 开山之作 这里由详细的学习与拆解 【NERF】入门学习整理(一) 【NERF】入门学习整理(二) 【NERF】入门学习整理(三) 【NeRF数据集】LLFF格式数据集处理co

    2024年04月15日
    浏览(85)
  • 3D Gaussian Splatting

    本文转载于大佬~~ 这是3D Gaussian Splatting综述, 先回顾3D Gaussian的原理和应用,借着全面比较了3D GS在静态场景、动态场景和驾驶场景中的性能,最后为未来指明了研究方向! 三维 Gaussian splatting(3DGS)是近年来在显式辐射场和计算机图形学领域出现的一种变革性技术。这种创新

    2024年04月08日
    浏览(59)
  • 【辐射场】3D Gaussian Splatting

      , 3D Gaussian Splatting,下文简称3DGS,是好一段时间以来在三维内容创作和三维重建领域比较有热度的一项技术。 它属于 基于图像的三维重建方法 ,意思就是你对现实物体或者场景拍照片,就能给你训练成一个场景模型,能够被渲染出来给你看。 它产生的模型可以作为三维

    2024年02月03日
    浏览(45)
  • 3D Gaussian Splatting 渲染过程

    给定一组三维高斯点,渲染步骤大致为:1.camera space转成ray space 2.对像平面进行分块,然后对高斯排序 3.正投影发出射线进行α-blending 这个步骤将NeRF中的投影过程变为了正投影,引入了ray space的概念,让3D Gaussian 变为2D Gaussian. 透视投影和正投影                    一般的渲

    2024年01月20日
    浏览(68)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包