https://colmap.github.io/index.html
工程文件结构
+── images # 对应重建图片数据集
│ +── image1.jpg
│ +── image2.jpg
│ +── ...
+── sparse # 稀疏重建结果
│ +── 0
│ │ +── cameras.bin
│ │ +── images.bin
│ │ +── points3D.bin
│ +── ...
+── dense # 稠密重建结果
│ +── 0
│ │ +── images # 去畸变图像
│ │ +── sparse
│ │ +── stereo
│ │ +── fused.ply # 稠密点云
│ │ +── meshed-poisson.ply
│ │ +── meshed-delaunay.ply
│ +── ...
+── database.db # 图像提取的特征相关信息
+── project.ini # 项目信息文件重建图像采集要求
- 获取丰富纹理的图像。避免完全无纹理的区域，比如白墙和空的桌子。如果物体本身没有足够的背景，可以考虑增加待纹理的背景。
- 图像的光照条件尽可能保持一致。避免高的动态范围，比如逆光图片或者透过门窗的图片。同时避免有光泽的表面的镜面反射。
- 图像之间具有较高的视觉重叠。确保每个物体至少在三张图像中可见，而且越多越好。
- 从不同视角获取图像。不要维持位置不变只旋转相机，即每次拍照后都要移动一段距离。同时，尽量从相对相似的角度获得足够的图像。不过并不是更多的图像就更好，这可能会导致重建过程缓慢。如果使用视频作为输入，请考虑对帧速率进行下采样。
相机模型
Colmap 实现了不同的相机模型。不过如果相机内参未知，最好还是使用最简单的相机模型，其已经能够很好的解决畸变效应。
- SIMPLE_PINHOLE, PINHOLE：适用于已知无畸变的图像。两个模型分别对应于一个统一焦距和两个分离焦距。不过即使是无畸变图像，Colmap 还是会尝试使用更复杂的相机模型去优化相机内参。
- SIMPLE_RADIAL, RADIAL：适用于内参位姿且每张图像来自于不同的相机标定，比如互联网图像。两个模型都是 Opencv 模型的简化版本，分别使用一个和两个参数只建模了径向畸变。
- OPENCV, FULL_OPENCV：适用于已知标定参数的情况。如果多张图像共享内参，可以使用 Colmap 进行进一步优化；不过如果每张图像具有不同的内参，自动估计大概率会失败。
- SIMPLE_RADIAL_FISHEYE, RADIAL_FISHEYE, OPENCV_FISHEYE, FOV, THIN_PRISM_FISHEYE：适用于鱼眼镜头，同时所有其他的模型都不能真正地建模鱼眼镜头的畸变。其中 FOV 被 Google Tango 项目采用（必须确保不要将 omega 初始化为 0）
特征提取与匹配
特征提取
Colmap 可以使用 GPU 或者 CPU 提取 SIFT 特征。GPU 版本需要一个额外的显示器，因此 CPU 版本更适合于服务器使用。通常情况下，GPU版本是性能更佳。因为它具有定制的特征检测模式，在高对比度图像的情况下，该模式通常会产生更高质量的特征。
如果希望导入现有特征，每张图像必须具有一个对应的 text 文件，像 /path/to/image1.jpg and /path/to/image1.jpg.txt 这样。对应文件内容如下
NUM_FEATURES 128
X Y SCALE ORIENTATION D_1 D_2 D_3 ... D_128
...
X Y SCALE ORIENTATION D_1 D_2 D_3 ... D_128
4 128
1.2 2.3 0.1 0.3 1 2 3 4 ... 21
2.2 3.3 1.1 0.3 3 2 3 2 ... 32
0.2 1.3 1.1 0.3 3 2 3 2 ... 2
1.2 2.3 1.1 0.3 3 2 3 2 ... 3特征匹配
Colmap 提供了多样的特征匹配方式，不同的匹配方式有不同的适用场景。
- exhaustive_matcher：针对少量图像（几百张量级），可以获得足够快且最好的重建结果。它将每张图像与其余所有图像进行匹配，不过 block size 可能限制同时加载到内存中的图像数量。
- sequential_matcher：针对顺序采集的视频图像，由于相邻帧存在视觉上的重叠且没有必要进行完全匹配，它只匹配视频流中的相邻帧。同时，这种匹配方式能够基于 vocabulary tree 进行回环检测。最后，帧之间的前后关系由图像文件名给定，与数据集中的存储顺序无关。
- vocab_tree_matcher：针对大量图像（几千帧量级），可以通过提供 vocabulary tree 从而快速检索视觉上最相近的图像进行匹配。
- spatial_matcher：针对能够提供准确定位信息的图像，可以通过对应图像采集时的 GPS 信息从而仅匹配空间位置上相近的图像。
- transitive_matcher：基于传递规则使用已有的特征匹配关系确定更完全的匹配图，即 A 与 B 匹配，B 与 C 匹配，那将直接匹配 A 和 C。
- Custom Matching：通过 text 文件指定图像的匹配关系，如果是导入的特征可以进一步指定两张图像之间特征的匹配关系。
数据库格式 —— database.db
database.db 文件中存储着以下关系表：
- cameras：包含相机内参，通过 ID 索引
- images：包含相机外参，通过 ID 索引
- keypoints：检测到的关键点
- descriptors：对应关键点的描述符
- matches：特征匹配结果
- two_view_geometries：几何验证结果
重建结果
稀疏重建
+── sparse # 稀疏重建结果
│ +── 0
│ │ +── cameras.bin
│ │ +── images.bin
│ │ +── points3D.bin其中既可以通过二进制文件表示，也可以通过 text 文件表示，其中具体内容细节如下：
- cameras.bin\cameras.txt：
# Camera list with one line of data per camera:
# CAMERA_ID, MODEL, WIDTH, HEIGHT, PARAMS[]
# Number of cameras: 3
1 SIMPLE_PINHOLE 3072 2304 2559.81 1536 1152
2 PINHOLE 3072 2304 2560.56 2560.56 1536 1152
3 SIMPLE_RADIAL 3072 2304 2559.69 1536 1152 -0.0218531最后的相机参数依赖不同的 distortion model，其中 2559.81 1536 1152 分别表示焦距和 principal point 的像素位置。
- images.bin\images.txt：
# Image list with two lines of data per image:
# IMAGE_ID, QW, QX, QY, QZ, TX, TY, TZ, CAMERA_ID, NAME
# POINTS2D[] as (X, Y, POINT3D_ID)
# Number of images: 2, mean observations per image: 2
1 0.851773 0.0165051 0.503764 -0.142941 -0.737434 1.02973 3.74354 1 P1180141.JPG
2362.39 248.498 58396 1784.7 268.254 59027 1784.7 268.254 -1
2 0.851773 0.0165051 0.503764 -0.142941 -0.737434 1.02973 3.74354 1 P1180142.JPG
1190.83 663.957 23056 1258.77 640.354 59070第一行中的 QW, QX, QY, QZ 为图像拍摄时相机的外参的四元数（使用 Hamilton 假设，符合 Eigen 中的定义），TX, TY, TZ 为对应外参的平移向量。
第二行每三个数表示一个图像关键点，其中前两个值 X,Y 分别对应关键点在图像中的像素坐标，第三个值 POINT3D_ID 为对应关键点对应的三维重建点 ID，-1 表示没有对应三维点。
- points.bin\points.txt：
# 3D point list with one line of data per point:
# POINT3D_ID, X, Y, Z, R, G, B, ERROR, TRACK[] as (IMAGE_ID, POINT2D_IDX)
# Number of points: 3, mean track length: 3.3334
63390 1.67241 0.292931 0.609726 115 121 122 1.33927 16 6542 15 7345 6 6714 14 7227
63376 2.01848 0.108877 -0.0260841 102 209 250 1.73449 16 6519 15 7322 14 7212 8 3991
63371 1.71102 0.28566 0.53475 245 251 249 0.612829 118 4140 117 4473ERROR 为三维点的综合重投影误差；TRACK[] 每两个数表示三维点对应的一个图像二维特征点，分别对应图像 ID 和 这张图像的二维特征点 ID。 文章来源：https://www.toymoban.com/news/detail-503173.html
稠密重建
+── images # 去畸变图像
│ +── image1.jpg
│ +── image2.jpg
│ +── ...
+── sparse # 基于去畸变图像的稀疏重建结果
│ +── cameras.txt
│ +── images.txt
│ +── points3D.txt
+── stereo # 立体重建的结果
│ +── consistency_graphs
│ │ +── image1.jpg.photometric.bin
│ │ +── image1.jpg.geometric.bin
│ │ +── image2.jpg.photometric.bin
│ │ +── image2.jpg.geometric.bin
│ │ +── ...
│ +── depth_maps # 图像每个像素点的深度图
│ │ +── image1.jpg.photometric.bin
│ │ +── image1.jpg.geometric.bin
│ │ +── image2.jpg.photometric.bin
│ │ +── image2.jpg.geometric.bin
│ │ +── ...
│ +── normal_maps # 图像每个像素点的法线贴图
│ │ +── image1.jpg.photometric.bin
│ │ +── image1.jpg.geometric.bin
│ │ +── image2.jpg.photometric.bin
│ │ +── image2.jpg.geometric.bin
│ │ +── ...
│ +── patch-match.cfg
│ +── fusion.cfg
+── fused.ply # fusion 的结果
+── meshed-poisson.ply # poisson mesh 的结果
+── meshed-delaunay.ply # delaunay mesh 的结果
+── run-colmap-geometric.sh # 基于几何的稠密重建代码
+── run-colmap-photometric.sh # 基于视觉的稠密重建代码The consistency graph defines, for all pixels in an image, the source images a pixel is consistent with. （没理解 o_0）。文章来源地址https://www.toymoban.com/news/detail-503173.html
到了这里，关于Colmap 实用教程 —— 整体介绍的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
