3D Gaussian Splatting(高斯飞溅3D算法) Windows系统部署(简版) |导入到Unity

这篇具有很好参考价值的文章主要介绍了3D Gaussian Splatting(高斯飞溅3D算法) Windows系统部署(简版) |导入到Unity。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

目录

前言

1、安装python

(1)下载地址

(2)添加环境变量

2、安装CUDA        

3、安装git

(1)下载地址

(2)检查是否安装成功

4、安装visual studio

5、安装COLMAP

(1)下载地址

(2)添加环境变量

6、安装ffmpeg

(1)下载地址

(2)添加环境变量

(3)检查是否安装成功

7、安装pytorch

8、安装其他依赖项

9、安装viewers(可视化界面)

10、设置启动脚本与data文件夹

(1)设置5个.bat脚本

(2)data文件夹设置

11、打开可视化页面

12、外接Unity操作

(1)Unity下载

(2)Unity gaussian splatting外挂操作

(3)Unity中操作


前言

3D Gaussian Splatting最近真的是太热了,想看看重建出来是什么样子的,于是就参考网络上各位大神给的教程进行复现。我先在Ubuntu20.04系统上进行复现,环境配置安装成功,也可以进行训练,就是在编译可视化界面时一直cmake不动,显示的原因是FFmpeg出现了问题,在此期间我重新安装ffmpeg的各个版本,并且替换一些代码,还是cmake不起,在万般无语之下转到windows系统,没想到windows系统相对来说更容易复现。我将本文所借鉴的视频、博客放在下面供大家参考:

Getting Started With 3D Gaussian Splatting for Windows (Beginner Tutorial)

gaussian-splatting-Windows

3D Gaussian Splatting for Real-Time Radiance Field Rendering

3D Gaussian Splatting從0開始到Unreal與Unity-( pzman )   强推想复现的小伙伴看这个视频,真的是太详细了,给这个博主点赞👍

1、安装python

(1)下载地址

        http:// https://www.python.org/downloads/release/python-3106/

3D Gaussian Splatting(高斯飞溅3D算法) Windows系统部署(简版) |导入到Unity,nerf,人工智能,windows,深度学习,python

(2)添加环境变量

3D Gaussian Splatting(高斯飞溅3D算法) Windows系统部署(简版) |导入到Unity,nerf,人工智能,windows,深度学习,python

搜索环境变量

3D Gaussian Splatting(高斯飞溅3D算法) Windows系统部署(简版) |导入到Unity,nerf,人工智能,windows,深度学习,python

将下载的python路径添加到path中

        如果没有正确将python的环境变量正确添加好,后面pip安装的时候会出现一些错误。

2、安装CUDA        

        安装CUDA我就不列出步骤了,因为我windows系统上之前安装过。有一点需要注意的是,在复现Gaussian Splatting的时候官方文档给的要求是不要使用CUDA 11.6和CUDA 12.0,大部分人采用的是CUDA 11.8,我一直采用我之前安装的CUDA 11.3也是可以复现的。

3、安装git

(1)下载地址

        https://git-scm.com/downloads

3D Gaussian Splatting(高斯飞溅3D算法) Windows系统部署(简版) |导入到Unity,nerf,人工智能,windows,深度学习,python

(2)检查是否安装成功

        按照正常的流程进行下载安装,然后在系统终端输入git --version,进行检查是否安装成功

3D Gaussian Splatting(高斯飞溅3D算法) Windows系统部署(简版) |导入到Unity,nerf,人工智能,windows,深度学习,python

        安装完git后就可以进行Gaussian splatting项目的下载了

git clone https://github.com/graphdeco-inria/gaussian-splatting --recursive

4、安装visual studio

        安装Visual Studio主要是里面集成了一些C++编译,在这里我是在网上找的破解版visual studio2019进行安装,也是正常的安装流程,给大家一个参考的安装链接。

https://mp.weixin.qq.com/s/A6HwzO8Ger4Q9_GMkBDvqg

3D Gaussian Splatting(高斯飞溅3D算法) Windows系统部署(简版) |导入到Unity,nerf,人工智能,windows,深度学习,python

        在安装vs2019的时候 一定一定要勾选上面的c++选项!

5、安装COLMAP

(1)下载地址

        http:// https://github.com/colmap/colmap/releases/tag/3.8

        3D Gaussian Splatting(高斯飞溅3D算法) Windows系统部署(简版) |导入到Unity,nerf,人工智能,windows,深度学习,python

(2)添加环境变量

        将下载好的colmap的地址复制好,然后像上面添加python的环境变量一样,在path中添加colmap的路径然后在进行检查是否安装成功。

3D Gaussian Splatting(高斯飞溅3D算法) Windows系统部署(简版) |导入到Unity,nerf,人工智能,windows,深度学习,python

        然后打开windows的powershell检查是否安装成功,在终端中输入COLMAP,如果过一会能够显示出colmap的gui界面就代表安装成功。

3D Gaussian Splatting(高斯飞溅3D算法) Windows系统部署(简版) |导入到Unity,nerf,人工智能,windows,深度学习,python

6、安装ffmpeg

        在ubuntu系统上安装这个东西让我头大,我之前复现instant-ngp、nerfstudio的时候也安装过并且cmake成功,现在复现高斯飞溅的时候一直失败。但是在windows系统里这个软件还是很好安装的。

(1)下载地址

        http:// https://www.gyan.dev/ffmpeg/builds/

3D Gaussian Splatting(高斯飞溅3D算法) Windows系统部署(简版) |导入到Unity,nerf,人工智能,windows,深度学习,python

(2)添加环境变量

3D Gaussian Splatting(高斯飞溅3D算法) Windows系统部署(简版) |导入到Unity,nerf,人工智能,windows,深度学习,python

(3)检查是否安装成功

        在windows 终端中输入ffmpeg --version进行检验

3D Gaussian Splatting(高斯飞溅3D算法) Windows系统部署(简版) |导入到Unity,nerf,人工智能,windows,深度学习,python

7、安装pytorch

         在你自己的gaussian splatting文件夹中的上面输入cmd,然后在这个地址下进行pytorch的下载,我安装的是cuda11.3,因此我的pytorch安装指令和别人的不一样

3D Gaussian Splatting(高斯飞溅3D算法) Windows系统部署(简版) |导入到Unity,nerf,人工智能,windows,深度学习,python 3D Gaussian Splatting(高斯飞溅3D算法) Windows系统部署(简版) |导入到Unity,nerf,人工智能,windows,深度学习,python

        安装指令:

pip install torch==1.12.1+cu113 torchvision==0.13.1+cu113 torchaudio==0.12.1 --extra-index-url https://download.pytorch.org/whl/cu113

8、安装其他依赖项

        在这个部分我们采用的是pip安装,但是有可能在安装一些依赖项的时候出现问题,很幸运我在安装一些依赖项的时候没有出现问题,但是如果有朋友出现问题的话,我给大家一个链接,里面有详细的手动安装教程。

        视频第19min开始解决无法正常pip安装的教程

        先按照下面的pip进行安装,如果安装后面两个的时候出现了问题,就参考我上面发的链接

pip install plyfile tqdm
pip install submodules/diff-gaussian-rasterization
pip install submodules/simple-knn

9、安装viewers(可视化界面)

        windows系统里面的可视化界面是相对来说比较好安装的因为人家已经集成好了,直接下载到gaussian splatting的文件夹里解压就可以了。

3D Gaussian Splatting(高斯飞溅3D算法) Windows系统部署(简版) |导入到Unity,nerf,人工智能,windows,深度学习,python

10、设置启动脚本与data文件夹

(1)设置5个.bat脚本

        在gaussian文件夹中先新建一个txt文档,然后分别将下面的指令对应放到文件中,记住最后要把.txt文件的后缀名改成.bat,如果想更改.bat文件的内容的话可以点击鼠标右键然后点编辑进行更改。

1.视频抽帧.bat : 
cd data
ffmpeg -i input.mp4 -vf "setpts=0.2*PTS" input\input_%%4d.jpg
pause

2.产生点云.bat : 
python convert.py -s data
pause

3.检查对位.bat :
 COLMAP

4.开始训练.bat : 
python train.py -s data -m data/output
pause

5.可视化窗口.bat :
 .\viewers\bin\SIBR_gaussianViewer_app -m data/output
pause
3D Gaussian Splatting(高斯飞溅3D算法) Windows系统部署(简版) |导入到Unity,nerf,人工智能,windows,深度学习,python 3D Gaussian Splatting(高斯飞溅3D算法) Windows系统部署(简版) |导入到Unity,nerf,人工智能,windows,深度学习,python 3D Gaussian Splatting(高斯飞溅3D算法) Windows系统部署(简版) |导入到Unity,nerf,人工智能,windows,深度学习,python 3D Gaussian Splatting(高斯飞溅3D算法) Windows系统部署(简版) |导入到Unity,nerf,人工智能,windows,深度学习,python 3D Gaussian Splatting(高斯飞溅3D算法) Windows系统部署(简版) |导入到Unity,nerf,人工智能,windows,深度学习,python

3D Gaussian Splatting(高斯飞溅3D算法) Windows系统部署(简版) |导入到Unity,nerf,人工智能,windows,深度学习,python

(2)data文件夹设置

        在gaussian splatting文件夹里面新建一个data文件夹,然后将你拍的视频命名为input放入到data文件夹中,然后再在data文件夹里新建一个input文件夹,然后分别双击点击运行上面四个指令后就会生成一系列参数。

3D Gaussian Splatting(高斯飞溅3D算法) Windows系统部署(简版) |导入到Unity,nerf,人工智能,windows,深度学习,python

 3D Gaussian Splatting(高斯飞溅3D算法) Windows系统部署(简版) |导入到Unity,nerf,人工智能,windows,深度学习,python

11、打开可视化页面

         运行完上面四个操作指令后,再双击第五个指令就可以看到可视化页面了。在这个可视化页面中,使用键盘的W,A,S,D,U,I,O,J,K,L可以调整观察视角。

3D Gaussian Splatting(高斯飞溅3D算法) Windows系统部署(简版) |导入到Unity,nerf,人工智能,windows,深度学习,python

12、外接Unity操作

(1)Unity下载

        可以在任何地方下载Unity,首先要说明的是,先下载Unity hub,然后再进行操作,在unity hub里面下载unity2022.3版本的才能将外挂导入进去。

(2)Unity gaussian splatting外挂操作

        下载方式:git clone https://github.com/aras-p/UnityGaussianSplatting.git

(3)Unity中操作

        打开unity hub 点击add把git下来的外挂导入到project中,然后双击这个gaussianExample就可以进入unity2022.3中

3D Gaussian Splatting(高斯飞溅3D算法) Windows系统部署(简版) |导入到Unity,nerf,人工智能,windows,深度学习,python

        进入页面后,先把之前训练的项目导入进去,最上面的工具栏有tools,点击Gausian Splats,再点击Create GaussianSplatAsset把你之前训练好的模型的点云(.ply)文件导入进去,再进行后续操作。

       完成上面的项目导入之后,先点击左上角的Gaussian Splats,然后就会显示下图中右边的显示栏,接着将下图中蓝色的图标拖入到右边的指定位置。

3D Gaussian Splatting(高斯飞溅3D算法) Windows系统部署(简版) |导入到Unity,nerf,人工智能,windows,深度学习,python

       

        我介绍的比较简洁,如果大家有什么疑问的话,还是建议去b站观看一个up主的操作视频3D Gaussian Splatting從0開始到Unreal與Unity-( pzman ),过程非常的清晰, 而且和其他up主的区别在于,这位up主不需要在windows上安装conda用于包的管理,我之前在youtube上看一个国外老哥在windows上部署但是过程很麻烦,不如这位up主的简洁。还看了一些大佬在ubuntu上训练然后在windows上安装view,把ubuntu上训练好的模型放在windows上进行可视化,就感觉有些麻烦。希望大家在部署的时候少走一些弯路!文章来源地址https://www.toymoban.com/news/detail-791987.html

到了这里,关于3D Gaussian Splatting(高斯飞溅3D算法) Windows系统部署(简版) |导入到Unity的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • GaussianEditor:快速可控的3D编辑与高斯飞溅

    Yiwen Chen*​1,2    Zilong Chen*​3,5    Chi Zhang2    Feng Wang3    Xiaofeng Yang2 陈怡雯 *​1,2 陈子龙 *​3,5 张驰 2 王峰 3 杨晓峰 2   Yikai Wang3    Zhongang Cai4    Lei Yang4    Huaping Liu3    Guosheng Lin**​1,2 王一凯 3 蔡忠昂 4 杨磊 4 刘华平 3 林国胜 **​1,2 1S-Lab, Nanyang

    2024年04月26日
    浏览(21)
  • 【3D-GS】Gaussian Splatting SLAM——基于3D Gaussian Splatting的全网最详细的解析

    3D Gaussian Splatting for Real-Time Radiance Field Rendering 论文:link code:link video:link 1. 开山之作 Nerf 一切的开始都是起源于 NERF 开山之作 这里由详细的学习与拆解 【NERF】入门学习整理(一) 【NERF】入门学习整理(二) 【NERF】入门学习整理(三) 【NeRF数据集】LLFF格式数据集处理co

    2024年04月15日
    浏览(60)
  • 3D Gaussian Splatting

    本文转载于大佬~~ 这是3D Gaussian Splatting综述, 先回顾3D Gaussian的原理和应用,借着全面比较了3D GS在静态场景、动态场景和驾驶场景中的性能,最后为未来指明了研究方向! 三维 Gaussian splatting(3DGS)是近年来在显式辐射场和计算机图形学领域出现的一种变革性技术。这种创新

    2024年04月08日
    浏览(43)
  • 3D Gaussian Splatting的使用

    今年SIGGRAPH最佳论文,学习了一下,果然厉害,具体论文原理就不说了,一搜都有,主要是看看怎么用,自己能不能把身边的场景快速建个模。 赶紧记录下,好像这几天在这个基础上又有很多花样出来了… 我的系统是Ubuntu22.04。 开源作者已经都弄的很详细了,也有教程。 首

    2024年02月04日
    浏览(36)
  • 【辐射场】3D Gaussian Splatting

      , 3D Gaussian Splatting,下文简称3DGS,是好一段时间以来在三维内容创作和三维重建领域比较有热度的一项技术。 它属于 基于图像的三维重建方法 ,意思就是你对现实物体或者场景拍照片,就能给你训练成一个场景模型,能够被渲染出来给你看。 它产生的模型可以作为三维

    2024年02月03日
    浏览(33)
  • 3D Gaussian Splatting 渲染过程

    给定一组三维高斯点,渲染步骤大致为:1.camera space转成ray space 2.对像平面进行分块,然后对高斯排序 3.正投影发出射线进行α-blending 这个步骤将NeRF中的投影过程变为了正投影,引入了ray space的概念,让3D Gaussian 变为2D Gaussian. 透视投影和正投影                    一般的渲

    2024年01月20日
    浏览(56)
  • 3D Gaussian Splatting:论文原理分析

    标题:3D Gaussian Splatting for Real-Time Radiance Field Rendering 作者:Bernhard Kerbl、Georgios Kopanas、Thomas Leimkühler和George Drettakis,来自法国Inria、Université Côte d\\\'Azur和德国Max-Planck-Institut für Informatik。 发表时间:2023年8月,ACM Transactions on Graphics上,卷号42,编号4 提出了一种名为3D Gaussia

    2024年01月23日
    浏览(37)
  • Awesome 3D Gaussian Splatting Resources

    GitHub - MrNeRF/awesome-3D-gaussian-splatting: Curated list of papers and resources focused on 3D Gaussian Splatting, intended to keep pace with the anticipated surge of research in the coming months. 3D Gaussian Splatting简明教程 - 知乎 

    2024年01月20日
    浏览(44)
  • 3D Gaussian Splatting学习记录11.2

    cmd输入以下命令,开始训练 整个训练(30,000步)大约需要20分钟,但7000步后会保存一个中间模型,效果已经很不错了。训练结束后得到output文件 在Ubuntu 22.04上,运行以下命令来构建可视化工具: 安装后,找到SIBR_gaussianViewer_app二进制文件,并以模型的路径作为参数运行它: 参

    2024年02月04日
    浏览(50)
  • 3d gaussian splatting笔记(paper部分翻译)

    本文为3DGS paper的部分翻译。 基于点的𝛼混合和 NeRF 风格的体积渲染本质上共享相同的图像形成模型。 具体来说,颜色 𝐶 由沿射线的体积渲染给出: 其中密度 𝜎、透射率 𝑇 和颜色 c 的样本是沿着射线以间隔 𝛿 𝑖 采集的。 这可以重写为 典型的基于神经点的方法通过

    2024年01月24日
    浏览(35)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包