1 下载与安装
今年SIGGRAPH最佳论文,学习了一下,果然厉害,具体论文原理就不说了,一搜都有,主要是看看怎么用,自己能不能把身边的场景快速建个模。
赶紧记录下,好像这几天在这个基础上又有很多花样出来了…
我的系统是Ubuntu22.04。
开源作者已经都弄的很详细了,也有教程。
首先拉项目
git clone https://github.com/graphdeco-inria/gaussian-splatting --recursive
然后,要建conda环境,而项目已经提供了配置文件包含了需要的各版本信息,文件就是:enviornment.ymal,所以这么调用就建好环境,并激活:
conda env create --file environment.yml
#文件里给环境的名字固定叫 gaussian_splatting
conda activate gaussian_splatting
此时呢,虽然建好了,但是呢也报错了,仔细分析了error,是因为安装项目里的submodules里的两个项目报错了,类似这样的报错:
/usr/include/c++/11/bits/std_function.h:435:145: error: parameter packs not expanded with ‘…’:
435 | function(_Functor&& __f) | ^ /usr/include/c++/11/bits/std_function.h:435:145: note: ‘_ArgTypes’ /usr/include/c++/11/bits/std_function.h:530:146: error: parameter packs not expanded with ‘…’: 530 | operator=(_Functor&& __f) | ^ /usr/include/c++/11/bits/std_function.h:530:146: note: ‘_ArgTypes’
查了半天以为是g++版本不对,有的说要将到版本10,还有说要改c++文件源码。我没敢改,再找了下,发现我的cuda版本是11.5,而该项目要求的是11.8,于是我就升级了一下,具体怎么升级,见我之前写的一篇 升级和切换CUDA版本 。
升级完CUDA,就手动再安装这两个子模块:
pip install submodules/diff-gaussian-rasterization
pip install submodules/simple-knn
都没问题,成功安装~
2 准备场景样本
准备拿会议室整个屋子做一次尝试,看看能不能建出个模来。
2.1 准备场景照片
2.1.1 采集图片
根据原理吧,就需要这个场景中所有位置所有角度的图像,所以这个准备过程多仔细就能决定最终模型的效果。
我试了很多次,觉得拍视频最好,完了再抽帧。
因为训练的照片要分辨率统一,相机参数、光照等看着都比较统一才好。
另外,建议分辨率推荐1080p,至少720p。再退一步,至少保证宽或高有一个能到720 ,不然训练出来的效果不好,这是我的个人经验。
拍视频的时候,一定不要在一个位置转的拍,要缓慢走动,边走边转,上下左右,然后再走回来,这个路线根据场景要设计好,目的就是在任何位置上都有任何角度的照片。这只能尝试体会了。。。
然后,有了视频,就能通过抽帧拿到图片了,想要效果可以,我建议500张起,多的话我只试到2000张,再多我也没尝试。
怎么抽帧呢,就用ffmpeg
比如,先建一个data目录,data目录里一定要建个input文件夹,名字必须是这个。
ffmpeg -i room.mp4 -r 3 -f image2 input/%06d.jpg
-i就是输入视频,
-r就是帧率,控制抽的图片数量
后面input/%60d.jpg ,图片名字最终是 000001.jpg, 000002.jpg这样的格式。
最终在data/input下就有了一堆图片
2.1.2 生成相机位姿
首先呢,系统里要先安装colmap,使用源码装,具体怎么装,见我之前的文章:
Colmap在Linux下的安装
装好了呢,就在gaussian splatting 项目目录下,运行convert.py
python convert.py -s data
这里 -s 要传入数据目录,一定写data这个目录级别(input在这个目录下)
这时用的是CPU跑的,多等会儿,最终就在data目录下生成一堆目录和文件,包括相机位姿。
3 训练
前面都OK了,就开始训练了。
注意:如果训练图片比较多,比如超过1000张了,那要先给系统设置一下同时打开的文件数上限,因为默认的数太小了,会报错:
OSError: [Errno 24] Too many open files:
所以先临时调大一下上限:
ulimit -n 10000
1w一般就够了,这个设置重启电脑后就失效了。想要永久有效,搜一下就知道了。
然后运行:
python train.py -s data -m data/output
-s还是一样,要写到data这个目录级别
-m 是输出文件夹,就写data下的output,output目录会自动创建的
整个训练是30000步,在7000步的时候会自动保存一个中间模型。
运行时间的话我举个我的测试例子:
分辨率 1920x1080,939张照片,convert.py的时间是二十几分钟,train.py的时间一共是15分钟。
GPU显存占用22GB,训练得到的ply文件 156MB。
4 展示
该项目也提供了展示的软件,在SIBR_viewers目录里:
进去要编译安装一下这个软件。
编译过程因为有东西下不下来,会出错,得想办法,之后有空单独简单记录一下。
这个软件也要用GPU跑,我就在Ubuntu上跑的,最终安装的目录在SIBR_viewers/install/bin里,所以就进目录里运行:
install/bin/SIBR_gaussianViewer_app -m /home/xxxx/data/output
-m 就是给上面训练后的output目录就行了。
有用的模型就一个,就是30000步里的那个Ply文件。
我这会议室效果展示,就不录屏了,来几个角度的照片吧:
我其实弄的也没那么仔细,但是效果还挺厉害,如果不动的话,就和照片一样。文章来源:https://www.toymoban.com/news/detail-764573.html
这个模型出来,和传统模型其实不一样,不好弄成obj fbx啥的,就是它这算法直接渲染的。至于怎么在产品或者其他场景里用,后面有空再说,我已经尝试了一个在web里打开的demo了,只是没那么流畅而已。文章来源地址https://www.toymoban.com/news/detail-764573.html
到了这里,关于3D Gaussian Splatting的使用的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!