1 下载与安装
今年SIGGRAPH最佳论文，学习了一下，果然厉害，具体论文原理就不说了，一搜都有，主要是看看怎么用，自己能不能把身边的场景快速建个模。
赶紧记录下，好像这几天在这个基础上又有很多花样出来了…
我的系统是Ubuntu22.04。
开源作者已经都弄的很详细了，也有教程。
首先拉项目
git clone https://github.com/graphdeco-inria/gaussian-splatting --recursive
然后，要建conda环境，而项目已经提供了配置文件包含了需要的各版本信息，文件就是：enviornment.ymal，所以这么调用就建好环境，并激活：
conda env create --file environment.yml
#文件里给环境的名字固定叫 gaussian_splatting
conda activate gaussian_splatting
此时呢，虽然建好了，但是呢也报错了，仔细分析了error，是因为安装项目里的submodules里的两个项目报错了，类似这样的报错：
/usr/include/c++/11/bits/std_function.h:435:145: error: parameter packs not expanded with ‘…’:
435 | function(_Functor&& __f) | ^ /usr/include/c++/11/bits/std_function.h:435:145: note: ‘_ArgTypes’ /usr/include/c++/11/bits/std_function.h:530:146: error: parameter packs not expanded with ‘…’: 530 | operator=(_Functor&& __f) | ^ /usr/include/c++/11/bits/std_function.h:530:146: note: ‘_ArgTypes’
查了半天以为是g++版本不对，有的说要将到版本10，还有说要改c++文件源码。我没敢改，再找了下，发现我的cuda版本是11.5，而该项目要求的是11.8，于是我就升级了一下，具体怎么升级，见我之前写的一篇 升级和切换CUDA版本 。
升级完CUDA，就手动再安装这两个子模块：
pip install submodules/diff-gaussian-rasterization
pip install submodules/simple-knn
都没问题，成功安装~
2 准备场景样本
准备拿会议室整个屋子做一次尝试，看看能不能建出个模来。
2.1 准备场景照片
2.1.1 采集图片
根据原理吧，就需要这个场景中所有位置所有角度的图像，所以这个准备过程多仔细就能决定最终模型的效果。
我试了很多次，觉得拍视频最好，完了再抽帧。
因为训练的照片要分辨率统一，相机参数、光照等看着都比较统一才好。
另外，建议分辨率推荐1080p，至少720p。再退一步，至少保证宽或高有一个能到720 ，不然训练出来的效果不好，这是我的个人经验。
拍视频的时候，一定不要在一个位置转的拍，要缓慢走动，边走边转，上下左右，然后再走回来，这个路线根据场景要设计好，目的就是在任何位置上都有任何角度的照片。这只能尝试体会了。。。
然后，有了视频，就能通过抽帧拿到图片了，想要效果可以，我建议500张起，多的话我只试到2000张，再多我也没尝试。
怎么抽帧呢，就用ffmpeg
比如，先建一个data目录，data目录里一定要建个input文件夹，名字必须是这个。
ffmpeg -i room.mp4 -r 3 -f image2 input/%06d.jpg
-i就是输入视频，
-r就是帧率，控制抽的图片数量
后面input/%60d.jpg ，图片名字最终是 000001.jpg, 000002.jpg这样的格式。
最终在data/input下就有了一堆图片
2.1.2 生成相机位姿
首先呢，系统里要先安装colmap，使用源码装，具体怎么装，见我之前的文章：
Colmap在Linux下的安装
装好了呢，就在gaussian splatting 项目目录下，运行convert.py
python convert.py -s data
这里 -s 要传入数据目录，一定写data这个目录级别（input在这个目录下）
这时用的是CPU跑的，多等会儿，最终就在data目录下生成一堆目录和文件，包括相机位姿。
3 训练
前面都OK了，就开始训练了。
注意：如果训练图片比较多，比如超过1000张了，那要先给系统设置一下同时打开的文件数上限，因为默认的数太小了，会报错：
OSError: [Errno 24] Too many open files:
所以先临时调大一下上限：
ulimit -n 10000
1w一般就够了，这个设置重启电脑后就失效了。想要永久有效，搜一下就知道了。
然后运行：
python train.py -s data -m data/output
-s还是一样，要写到data这个目录级别
-m 是输出文件夹，就写data下的output，output目录会自动创建的
整个训练是30000步，在7000步的时候会自动保存一个中间模型。
运行时间的话我举个我的测试例子：
分辨率 1920x1080,939张照片，convert.py的时间是二十几分钟，train.py的时间一共是15分钟。
GPU显存占用22GB，训练得到的ply文件 156MB。
4 展示
该项目也提供了展示的软件，在SIBR_viewers目录里：
进去要编译安装一下这个软件。
编译过程因为有东西下不下来，会出错，得想办法，之后有空单独简单记录一下。
这个软件也要用GPU跑，我就在Ubuntu上跑的，最终安装的目录在SIBR_viewers/install/bin里，所以就进目录里运行：
install/bin/SIBR_gaussianViewer_app -m /home/xxxx/data/output
-m 就是给上面训练后的output目录就行了。
有用的模型就一个，就是30000步里的那个Ply文件。
我这会议室效果展示，就不录屏了，来几个角度的照片吧：
我其实弄的也没那么仔细，但是效果还挺厉害，如果不动的话，就和照片一样。文章来源：https://www.toymoban.com/news/detail-764573.html
这个模型出来，和传统模型其实不一样，不好弄成obj fbx啥的，就是它这算法直接渲染的。至于怎么在产品或者其他场景里用，后面有空再说，我已经尝试了一个在web里打开的demo了，只是没那么流畅而已。文章来源地址https://www.toymoban.com/news/detail-764573.html
到了这里，关于3D Gaussian Splatting的使用的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
