Surface reconstruction 表面重建
在许多情况下,我们希望生成密集的3D几何体,即三角形网格(triangle mesh)。然而,从多视点立体方法或深度传感器中,我们只能获得非结构化的点云。要从此非结构化输入中获取三角形网格,我们需要执行表面重建。在文献中存在几种方法,Open3D目前实现了以下方法:
Alpha shapes(阿尔法形状)
Ball pivoting(球旋转)
Poisson surface reconstruction(泊松表面重建)
Alpha shapes
阿尔法形状[Edelsbrunner1983]是凸壳的推广。正如这里[https://graphics.stanford.edu/courses/cs268-11-spring/handouts/AlphaShapes/as_fisher.pdf]所描述的,人们可以直观地将阿尔法形状想象成:想象一大堆冰淇淋,其中包含这些点作为硬巧克力块。使用其中一个球形冰淇淋勺子,我们雕刻出冰淇淋块的所有部分,我们可以在不碰到巧克力块的情况下到达,从而甚至在内部雕刻出孔洞(例如,只需从外面移动勺子就无法到达的部分)。我们最终将得到一个由大写字母、弧线和点边界的(不一定是凸的)物体。如果我们现在将所有圆面拉直为三角形和线段,则可以直观地描述所谓的 alpha 形状S。
Open3D 实现了涉及权衡参数alpha的方法create_from_point_cloud_alpha_shape。
bunny = o3d.data.BunnyMesh()
mesh = o3d.io.read_triangle_mesh(bunny.path)
mesh.compute_vertex_normals()
pcd = mesh.sample_points_poisson_disk(750)
o3d.visualization.draw_geometries([pcd])
alpha = 0.03
print(f"alpha={alpha:.3f}")
mesh = o3d.geometry.TriangleMesh.create_from_point_cloud_alpha_shape(pcd, alpha)
mesh.compute_vertex_normals()
o3d.visualization.draw_geometries([mesh], mesh_show_back_face=True)
该实现基于点云的凸壳。如果我们想从给定的点云中计算多个 alpha 形状,那么我们可以通过只计算凸壳一次并将其传递给 create_from_point_cloud_alpha_shape来节省一些计算。
tetra_mesh, pt_map = o3d.geometry.TetraMesh.create_from_point_cloud(pcd)
for alpha in np.logspace(np.log10(0.5), np.log10(0.01), num=4):
print(f"alpha={alpha:.3f}")
mesh = o3d.geometry.TriangleMesh.create_from_point_cloud_alpha_shape(
pcd, alpha, tetra_mesh, pt_map)
mesh.compute_vertex_normals()
o3d.visualization.draw_geometries([mesh], mesh_show_back_face=True)
Ball pivoting
球枢轴算法(ball pivoting algorithm,BPA)[Bernardini1999]是一种与阿尔法形状相关的表面重建方法。直观地说,想想一个具有给定半径的3D球,我们将其落在点云上。如果它击中任何3个点(并且它没有落在这3个点上),它就会创建一个三角形。然后,算法开始从现有三角形的边缘旋转,每次它击中球没有落下的3个点时,我们都会创建另一个三角形。
Open3D 在create_from_point_cloud_ball_pivoting中实现了此方法。该方法接受与在点云上旋转的各个球的半径相对应的参数列表radii。
Note:此方法假设点云具有法线。
bunny = o3d.data.BunnyMesh()
gt_mesh = o3d.io.read_triangle_mesh(bunny.path)
gt_mesh.compute_vertex_normals()
pcd = gt_mesh.sample_points_poisson_disk(3000)
o3d.visualization.draw_geometries([pcd])
radii = [0.005, 0.01, 0.02, 0.04]
rec_mesh = o3d.geometry.TriangleMesh.create_from_point_cloud_ball_pivoting(
pcd, o3d.utility.DoubleVector(radii))
o3d.visualization.draw_geometries([pcd, rec_mesh])
Poisson surface reconstruction
泊松曲面重构方法 [Kazhdan2006] 求解了一个正则化优化问题,得到了一个光滑的曲面。因此,泊松曲面重建可能比上述方法更可取,因为它们会产生非平滑的结果、因为PointCloud点也是所得三角形网格的点vertices,无需任何修改。
Open3D实现了该方法create_from_point_cloud_poisson,该方法基本上是Kazhdan代码的包装器。该函数的一个重要参数depth是定义用于表面重建的八叉树的深度,因此意味着所得三角形网格的分辨率。depth值越高,表示网格具有更多细节。
Note:此方法假设点云具有法线。
import open3d as o3d
eagle_path = r'../data/EaglePointCloud.ply'
pcd = o3d.io.read_point_cloud(eagle_path)
print(pcd)
o3d.visualization.draw_geometries([pcd],
zoom=0.664,
front=[-0.4761, -0.4698, -0.7434],
lookat=[1.8900, 3.2596, 0.9284],
up=[0.2304, -0.8825, 0.4101])
print('run Poisson surface reconstruction')
with o3d.utility.VerbosityContextManager(
o3d.utility.VerbosityLevel.Debug) as cm:
mesh, densities = o3d.geometry.TriangleMesh.create_from_point_cloud_poisson(
pcd, depth=9)
print(mesh)
o3d.visualization.draw_geometries([mesh],
zoom=0.664,
front=[-0.4761, -0.4698, -0.7434],
lookat=[1.8900, 3.2596, 0.9284],
up=[0.2304, -0.8825, 0.4101])
泊松表面重建也会在低点密度区域创建三角形,甚至推断到某些区域(见上面鹰输出的底部)。函数create_from_point_cloud_poisson具有第二个返回值densities,该值指示每个顶点的密度。低密度值意味着顶点仅由输入点云中的少量点支持。
在下面的代码中,我们使用伪彩色在3D中可视化密度。紫色表示低密度,黄色表示高密度。
print('visualize densities')
densities = np.asarray(densities)
density_colors = plt.get_cmap('plasma')(
(densities - densities.min()) / (densities.max() - densities.min()))
density_colors = density_colors[:, :3]
density_mesh = o3d.geometry.TriangleMesh()
density_mesh.vertices = mesh.vertices
density_mesh.triangles = mesh.triangles
density_mesh.triangle_normals = mesh.triangle_normals
density_mesh.vertex_colors = o3d.utility.Vector3dVector(density_colors)
o3d.visualization.draw_geometries([density_mesh],
zoom=0.664,
front=[-0.4761, -0.4698, -0.7434],
lookat=[1.8900, 3.2596, 0.9284],
up=[0.2304, -0.8825, 0.4101])
我们可以进一步使用密度值来删除具有低支撑的顶点和三角形。在下面的代码中,我们删除了密度值低于0.01所有密度值的分位数的所有顶点(和连接的三角形)。文章来源:https://www.toymoban.com/news/detail-426504.html
print('remove low density vertices')
vertices_to_remove = densities < np.quantile(densities, 0.01)
mesh.remove_vertices_by_mask(vertices_to_remove)
print(mesh)
o3d.visualization.draw_geometries([mesh],
zoom=0.664,
front=[-0.4761, -0.4698, -0.7434],
lookat=[1.8900, 3.2596, 0.9284],
up=[0.2304, -0.8825, 0.4101])
Normal estimation 法线估计
在上面的例子中,我们假设点云具有指向外部的法线。但是,并非所有点云都已附带相关的法线。Open3D 可用estimate_normals估计点云法线,其局部拟合每个 3D 点的平面以推导出法线。但是,估计的法线可能不是一致的。 orient_normals_consistent_tangent_plane使用最小生成树传播法线。文章来源地址https://www.toymoban.com/news/detail-426504.html
bunny = o3d.data.BunnyMesh()
gt_mesh = o3d.io.read_triangle_mesh(bunny.path)
pcd = gt_mesh.sample_points_poisson_disk(5000)
pcd.normals = o3d.utility.Vector3dVector(np.zeros(
(1, 3))) # invalidate existing normals
pcd.estimate_normals()
o3d.visualization.draw_geometries([pcd], point_show_normal=True)
pcd.orient_normals_consistent_tangent_plane(100)
o3d.visualization.draw_geometries([pcd], point_show_normal=True)
到了这里,关于Open3D Surface reconstruction 表面重建的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!