[3D&Halcon] 3D鞋点胶的点云边界提取

这篇具有很好参考价值的文章主要介绍了[3D&Halcon] 3D鞋点胶的点云边界提取。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

  • 📢博客主页:https://loewen.blog.csdn.net
  • 📢欢迎点赞 👍 收藏 ⭐留言 📝 如有错误敬请指正!
  • 📢本文由 丶布布原创,首发于 CSDN,转载注明出处🙉
  • 📢现在的付出,都会是一种沉淀,只为让你成为更好的人✨


一. 边界提取的常规思路

3D鞋实物图如下所示:

3d边缘提取,3D视觉,3d,点云边界提取,3D点云与2D平面之间投影变换
鞋点胶的点云边界提取的常规思路:

(一) 法向量(很重要,本文基础内容暂时不做介绍,后面补充)

(二) 切平面(简单但适用性不强,本文使用该方式供初学者一个学习思路)

  1. 读取点云模型数据;
    read_object_model_3d(Operator)
  2. 分割出鞋子点云集合;
    connection_object_model_3d(Operator)
    select_object_model_3d(Operator)
  3. 仿射变换到长轴与X平行的位置(基准位置);
  4. 定义切平面,求鞋的3D点云集合跟切平面的点云交集
  5. 把交集的点云映射成2DXLD轮廓,求每段XLD轮廓的起点和终点坐标
  6. 把得到的每段XLD轮廓的起点和终点坐标映射转换成3D点云坐标
  7. 显示鞋的点云集合以及鞋的外边界点云集合;
  8. 若要配合机器人点胶的话,还需将外边界点云坐标排序、连接并指定机器人的运行轨迹,将外边界点云坐标转换成机器人坐标;

二. 3D鞋点胶的点云边界提取具体步骤

2.1、读取点云模型数据

如图所示:

3d边缘提取,3D视觉,3d,点云边界提取,3D点云与2D平面之间投影变换

read_object_model_3d ('./2020-01-14-16832.om3', 'm', [], [], ObjectModel3D, Status)
dev_close_window ()
dev_open_window (0, 0, 512, 512, 'black', WindowHandle)
visualize_object_model_3d (WindowHandle, ObjectModel3D, [], [], ['lut','color_attrib','disp_pose'], ['color1','coord_z','true'], [], [], [], PoseOut)

交互式显示函数 visualize_object_model_3d ,相比较于显示函数 disp_object_model_3d 的不同:

visualize_object_model_3d(Operator) — Interactively display 3D object models. 交互式显示,可以点击旋转,缩放。
disp_object_model_3d(Operator) — Display 3D object models. 只是展示。

2.2、去噪(得到鞋子的点云数据集合)

如图所示:

3d边缘提取,3D视觉,3d,点云边界提取,3D点云与2D平面之间投影变换

* ['distance_3d', 1]点云距离在1mm之内的算作一个点云连通域集合
connection_object_model_3d (ObjectModel3D, 'distance_3d', 1, ObjectModel3DConnected)
* 获取每个点云连通域集合包含的点个数(因为鞋子点云连通域包含的点云个数最多)
get_object_model_3d_params (ObjectModel3DConnected, 'num_points', GenParamValue)
* 筛选点数(获取点云最多的集合,即鞋子点云),2e7 = 2*10的七次方
select_object_model_3d (ObjectModel3DConnected, 'num_points', 'and', 20000, 2e7, ObjectModel3DSelected)
visualize_object_model_3d (WindowHandle, ObjectModel3DSelected, [], [], ['lut','color_attrib','disp_pose'], ['color1','coord_z','true'], [], [], [], PoseOut1)

Halcon例程中关于点云筛选的两种不同方式【select_points_object_model_3d_by_density.hdev】和【select_object_model_3d.hdev】:

3d边缘提取,3D视觉,3d,点云边界提取,3D点云与2D平面之间投影变换


2.3、将鞋点云集合变换到原始坐标系下主轴-x y z(基准)

所谓主轴:用最小外接长方体将点云囊括,获取其长轴、短轴以及高度。

而鞋点云的长轴、短轴和高度相对于坐标系X、Y、Z轴,会有一个姿态关系,这里称作 pose

姿态Pose7个参数,包括3个平移(x、y、z)+3个旋转(Rx、Ry、Rz)+1个旋转类型(旋转顺序)—— 常规有0(先绕X旋转,在绕Y旋转,最后绕Z旋转)和1(和0相反)。

我们目的就是将鞋点云变换到标准位置,让其长轴与X轴重合,短轴与Y轴重合,高度与Z轴重合,好处是切平面与鞋面垂直,与轴平行,沿轴切,不会乱。整齐。

鞋子点云在刚体/仿射变换后的姿态所图所示:

3d边缘提取,3D视觉,3d,点云边界提取,3D点云与2D平面之间投影变换

* 'principal_axes'代表求主轴,并输出当前主轴姿态Pose
moments_object_model_3d (ObjectModel3DSelected, 'principal_axes', Pose)
* 姿态翻转
pose_invert (Pose, PoseInvert)
* 点云模型刚体变换
rigid_trans_object_model_3d (ObjectModel3DSelected, PoseInvert, ObjectModel3DStandard)
visualize_object_model_3d (WindowHandle, ObjectModel3DStandard, [], [], ['lut','color_attrib','disp_pose'], ['color1','coord_z','true'], [], [], [], PoseOut)

moments_object_model_3d(Operator):确定主轴X轴方向,这样做的原因是为了方便沿着x轴做切平面的时候,方便分割。这就是确定长轴的原因。

标准位置的好处:做切平面与鞋面垂直。与轴平行,沿轴切,不会乱。整齐。

其参数二含义:

  • 'central_moment_2_points'计算点云模型的二阶矩(方差、即点云X、Y、Z的波动情况),输出X、Y、Z的方差,XY、XZ、YZ协方差(关联性)。
  • 'mean_points'计算点云模型的一阶矩(均值、即点云X、Y、Z的均值大小),输出X、Y、Z的均值。
  • 'principal_axes'计算点云模型的主轴,输出姿态Pose3个平移(x、y、z)+3个旋转(Rx、Ry、Rz)+`1个旋转类型)。

其中刚体变换等价于仿射变换的如下方式:

* 点云模型仿射变换
pose_to_hom_mat3d (PoseInvert, HomMat3D)
affine_trans_object_model_3d (ObjectModel3DSelected, HomMat3D, ObjectModel3DAffineTrans)

2.5、求鞋点云最小外接box(选做)

若觉得鞋点云主轴(长、宽和高轴)与坐标轴(X、Y和Z轴)基本重合,也可忽略这一步。

因为鞋长轴可能并不是直线,所以2.4得到的鞋点云长轴可能不一定和X轴重合,这时我们可以求鞋点云最小外接box继续调整转正鞋长轴和X轴之间的位置关系,使鞋点云转正。

1)三角曲面重建

3d边缘提取,3D视觉,3d,点云边界提取,3D点云与2D平面之间投影变换

求鞋点云的最小外接box之前可以做一个三角网格曲面重建(点集→曲面),使得点云更加圆滑。

1、三角曲面重建:将无序点云三角化。内部算子实际使用的是贪婪投影三角法:将有向点云投影到一个二维平面内,做平面内三角化,
   最后根据平面内的三角拓扑关系,生成一个三角网格曲面模型。此外,若使用膨胀腐蚀(参数3,本文默认[]),就会使网格变大变小。
2、优化项:三角曲面重建需要点时间。如果点数太多的话,可以简化点云(暂不做演示)。
3、局限性:三角曲面重建比较适用于表面连续比较光滑的曲面,或者点云密度比较均匀的情况,速度会比较快。否则会出现因点云不连续导致的奇形怪状,甚至悬空点等。
* 对鞋点云进行三角曲面重建(点数多会有点耗时)
triangulate_object_model_3d (ObjectModel3DStandard, 'greedy', [], [], TriangulatedObjectModel3D, Information)
visualize_object_model_3d (WindowHandle, TriangulatedObjectModel3D, [], [], ['lut','color_attrib','disp_pose'], ['color1','coord_z','true'], [], [], [], PoseOut)

2)求鞋点云最小外接box

3d边缘提取,3D视觉,3d,点云边界提取,3D点云与2D平面之间投影变换

* Pose0:box的主轴(长、宽和高轴)相对于坐标轴(X、Y和Z轴)的姿态
* Length1、Length2、Length3:box长宽高
smallest_bounding_box_object_model_3d (TriangulatedObjectModel3D, 'oriented', Pose0,Length1, Length2, Length3)
* 求出来的box主轴长轴并不一定和X轴完全重合,下面需要调整
pose_invert (Pose0, Pose1) //姿态翻转
rigid_trans_object_model_3d (TriangulatedObjectModel3D, Pose1, TransObjectModel3D)
visualize_object_model_3d (WindowHandle, TransObjectModel3D, [], [], ['lut','color_attrib','disp_pose'], ['color1','coord_z','true'], [], [], [], PoseOut)

截止到这里,我们就算将第三步的【将鞋点云集合变换到原始坐标系下主轴-x y z(基准)】完成了,下面将鞋子和盒子一起显示一下:

3d边缘提取,3D视觉,3d,点云边界提取,3D点云与2D平面之间投影变换

smallest_bounding_box_object_model_3d (TransObjectModel3D, 'oriented', PoseBox,Length1, Length2, Length3)
gen_box_object_model_3d (PoseBox, Length1, Length2, Length3, PoseBoxOriented)
*['green','gray',0.5,'true'] 0.5代表盒子透明度,1表示不透明,0表示完全透明
visualize_object_model_3d (WindowHandle,[TransObjectModel3D,PoseBoxOriented], [],[], ['color_0','color_1','alpha_1','disp_pose'], ['green','gray',0.5,'true'],'RectBOX', [], [], Pose)

最小外接Box的计算可参考Halcon示例【smallest_bounding_box_object_model_3d.hdev】:

3d边缘提取,3D视觉,3d,点云边界提取,3D点云与2D平面之间投影变换


2.6、在Box中做切平面(切X轴),求与鞋子轮廓的交线

X轴,做切平面,每次沿X轴移动指定均匀长度。切平面与鞋子点云有一个点云交集,把点云交集映射到二维平面上形成一个XLD二维的轮廓交线,交线的两端(起点、终点)就是我们需要的轮廓点

切平面沿X轴方向一段段的对鞋子点云做切割,需要引入一个循环问题:

参考Halcon示例:inspect_3d_surface_intersections.hdev

3d边缘提取,3D视觉,3d,点云边界提取,3D点云与2D平面之间投影变换
本小结主要由几个步骤组成:

  1. 求出切平面与鞋点云的XLD轮廓;(知识点1intersect_plane_object_model_3d求交平面 )
  2. 做姿态转换以及内参1:1转换(图像尺寸和实际尺寸1:1,这样比较好转换),将XLD轮廓投影变换到二维XLD进行处理;(知识点2:三维到二维XLD轮廓转换)
  3. 对轮廓行方向点坐标进行排序,获得最大最小点(轮廓边缘);(知识点3:排序求出二维XLD轮廓的起点、终点坐标)
  4. 将所有的二维XLD轮廓起点、终点坐标再转换成三维点云坐标(行坐标对应Y坐标,列坐标对应Z坐标);(知识点4:二维XLD轮廓转换到三维点云,因为比例是1:1,姿态直接转就行)
  5. 显示;

3d边缘提取,3D视觉,3d,点云边界提取,3D点云与2D平面之间投影变换
代码如下:

* 5.在box中做切平面,求与轮廓的交线
objectsOut:=[]
Index_S:=[]
Index_E:=[]
color_S:=[]
color_E:=[]
colorsOut:=[]
colorvaluesOut:=[]
all_x:=[]
all_y:=[]
* 做切平面与鞋子的点云相交
for index1:=0 to 45 by 1
*  求交线点云(做切平面)
   CutPlanePose := PoseBox
   CutPlanePose[0]:=PoseBox[0]-Length1/2+(index1)*4+3  //pose中的第五个参数值x:第一个为沿着x轴的平移,保证循环时可以沿着x轴正方向重复以一个固定距离做切割
*                                                      //需要从Box最左边开始做切割,所以:PoseBox[0]-Length1/2,每次循环沿着x轴往右移动4个单位
   CutPlanePose[3]:=0
   CutPlanePose[4]:=90  //pose中的第五个参数值Ry:绕着y轴(绿色)旋转90度,让平面立起来做切割
   CutPlanePose[5]:=0
   gen_plane_object_model_3d (CutPlanePose, [-1,-1,1,1] * 90, [-1,1,1,-1] * 90, IntersectionPlane)
*  visualize_object_model_3d (WindowHandle, [TransObjectModel3D,IntersectionPlane], [], Pose, ['disp_pose'], ['true'], [], [], [], PoseOut1)
   intersect_plane_object_model_3d (TransObjectModel3D, CutPlanePose, ObjectModel3DIntersection)
*  visualize_object_model_3d (WindowHandle, ObjectModel3DIntersection, [], [], [], [], [], [], [], PoseOut2)
*  为了求交线轮廓的起点和终点,需要变换到二维XLD(跟相机标定将世界坐标系转换到图像像素坐标系一个原理,需要内外参)
*  图像中的点云都是物理点坐标,都是世界坐标系下的姿态(图像相对于世界坐标系下的姿态),所以需要翻转姿态,转换成图像坐标系下的姿态
   pose_invert (CutPlanePose, PoseInvert)
*  确定投影平面在前面
   get_object_model_3d_params (ObjectModel3DIntersection, 'diameter_axis_aligned_bounding_box', Diameter)
   PoseInvert[2] := PoseInvert[2] +Diameter
*  用平行于投影平面的相机(1:1的比例)
   Scale:=1
   CamParam := [0,0,1.0 / Scale,1.0 / Scale,0,0,500,500] //人为构建相机内参(焦距、畸变系数、图像中心点、宽高)
   project_object_model_3d (IntersectionXld, ObjectModel3DIntersection, CamParam, PoseInvert, 'data', 'lines')

*  转换过来之后就存二维图像处理XLD轮廓,将轮廓的所有上下起点和终点求出来就是我们需要的鞋子边界了
   count_obj (IntersectionXld, Number)
   Rows:=[]
   Columns:=[]
   Row:=[]
   Column:=[]
*  可能会有断开的轮廓,这里遍历一下获取所有轮廓点
   for I:=1 to  Number  by 1
     select_obj (IntersectionXld, EdgeContour, I)
     get_contour_xld(EdgeContour, Row,Column)
     Rows:=[Rows,Row]
     Columns:=[Columns,Column]
   endfor
*  点按照由上到下排序
   tuple_sort_index (Rows, Indices)
   tuple_length(Rows,Length)
   OrderRow:=[]
   OrderColumn:=[]
   if(Length>=1)
   for Row_Index:=0 to Length-1  by 1
      OrderRow:=[OrderRow,Rows[Indices[Row_Index]]]
      OrderColumn:=[OrderColumn,Columns[[Row_Index]]]
   endfor
   endif
   gen_contour_polygon_xld (Intersection, OrderRow, OrderColumn) 
*  求最大和最小点(行方向)
   tuple_sort_index (OrderRow, Indices)
   tuple_length(OrderRow,Length)
*  起点(xld)
   StartRow:=OrderRow[Indices[0]]
   StartColumn:=OrderColumn[Indices[0]]
*  终点(xld)
   EndRow:=OrderRow[Indices[Length-1]]
   EndColumn:=OrderColumn[Indices[Length-1]] 
   gen_cross_contour_xld(StartXP, StartRow, StartColumn, 6, 0.795296)
   gen_cross_contour_xld(EndXP, EndRow,EndColumn, 6, 0.795296)
   dev_display(Intersection)
   * 转成点云的坐标
   StartPose:=[CutPlanePose[0],StartRow,-StartColumn, 0,0,0,0]
   EndPose  :=[CutPlanePose[0],EndRow,-EndColumn, 0,0,0,0]
   gen_sphere_object_model_3d (StartPose, 2, StartPoint)
   gen_sphere_object_model_3d (EndPose  , 2, EndPoint  )  
*  visualize_object_model_3d (WindowHandle, [StartPoint,EndPoint], [], [], [], [], [], [], [], PoseOut4)
 * 所有对点的边界点集合
   objectsOut := [objectsOut,StartPoint]
   objectsOut := [objectsOut,EndPoint  ] 
*  显示时的颜色
   Index_S:= 0+index1*2
   Index_E:= 0+index1*2+1
   color_S:='color_'+Index_S
   color_E:='color_'+Index_E
   
   colorsOut := [colorsOut,color_S]
   colorsOut := [colorsOut,color_E]
   
   colorvaluesOut := [colorvaluesOut,'blue']
   colorvaluesOut := [colorvaluesOut,'blue']
     
   all_x:=[all_x,CutPlanePose[0]]
   all_y:=[all_y,StartRow]
   
   all_x:=[all_x,CutPlanePose[0]]
   all_y:=[all_y,EndRow]
   
endfor
*显示外边界模型点云
visualize_object_model_3d (WindowHandle,[objectsOut,TransObjectModel3D], [],[],[colorsOut],[colorvaluesOut], [], '', [], Pose)
*2二维显示
dev_open_window (0, 0, 512, 512, 'black', WindowHandle1)
dev_set_color('red')
gen_cross_contour_xld(Start,all_x,all_y, 3, 0.885398)

效果展示:

3d边缘提取,3D视觉,3d,点云边界提取,3D点云与2D平面之间投影变换
注意:当前的算法稳定性不好,而且有些边缘处理粗糙,点云转换成2D进行处理虽然简单一些,但有时候会造成一些精度损失,本文仅供给初学者提供一个解决该问题的思路。最好的做法我们应该更多的关注点云本身的特征进行处理,比如基于法向量求解、凸包法形成曲面的变化、根据点云之间的邻域关系等方式。

点云模型以及完整代码:https://pan.baidu.com/s/15nXvEC8HbzvGM3_DuyCEbg                                                              提取码:wznw文章来源地址https://www.toymoban.com/news/detail-555223.html


下雨天,最惬意的事莫过于躺在床上静静听雨,雨中入眠,连梦里也长出青苔。

到了这里,关于[3D&Halcon] 3D鞋点胶的点云边界提取的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • rviz是如何获取图像里选择的点云的3D坐标的

    以前以为rviz是用OpenGL渲染绘图,那么获取图像里像素点对应的真实3D坐标是采用的OpenGL里提供的API实现的,结果一看代码还真不是这样,rviz也就渲染用了OpenGL,其他都是自己实现的,图像界面的实现完全是遵循MVC设计模式自己实现的透视投影和坐标转换等所有相关类。获取点

    2024年04月25日
    浏览(33)
  • [3D&Halcon] 三维点云匹配&无序抓取

    📢博客主页:https://loewen.blog.csdn.net 📢欢迎点赞 👍 收藏 ⭐留言 📝 如有错误敬请指正! 📢本文由 丶布布 原创,首发于 CSDN, 转载注明出处 🙉 📢现在的付出,都会是一种沉淀,只为让你成为更好的人✨ 一. 3D无序抓取原理 通过 3D 成像系统(激光三角、结构光+单/双目等

    2024年02月08日
    浏览(42)
  • 基于Open3D的点云处理16-特征点匹配

    将点云数据统一到一个世界坐标系的过程称之为点云配准或者点云拼接。(registration/align) 点云配准的过程其实就是找到同名点对;即找到在点云中处在真实世界同一位置的点。 常见的点云配准算法: ICP、Color ICP、Trimed-ICP 算法流程: 选点: 确定参与到配准过程中的点集。 匹

    2024年02月10日
    浏览(56)
  • 史上超全的Halcon常用3D算子:点云处理

    在计算机视觉和机器人领域,点云处理是一项重要的任务。Halcon作为一款强大的图像处理软件,提供了丰富的3D算子来进行点云数据的处理和分析。本文将介绍一些常见的Halcon 3D算子,并提供相应的源代码示例。 读取点云数据 点云数据通常以文件的形式存在,可以通过Halco

    2024年02月02日
    浏览(48)
  • Halcon3d 点云计算平面度

    2024年02月11日
    浏览(40)
  • Halcon3D篇-3D预处理,滤波,点云筛选

    由于3D相机采集到的数据通常通过Tiff格式的深度图进行显示或者保存。 深度图与模型的互转可以访问另一篇博客:https://blog.csdn.net/m0_51559565/article/details/135362674 关于3D相机的数据采集,可以访问我们另一篇关于LMI3D相机SDK的二次开发: https://blog.csdn.net/m0_51559565/article/details/1

    2024年01月21日
    浏览(44)
  • [3D&Halcon] 3D重要算子及简单处理点云模型求高度示例讲解

    📢博客主页:https://loewen.blog.csdn.net 📢欢迎点赞 👍 收藏 ⭐留言 📝 如有错误敬请指正! 📢本文由 丶布布 原创,首发于 CSDN, 转载注明出处 🙉 📢现在的付出,都会是一种沉淀,只为让你成为更好的人✨ 一. 重要算子解析 read_object_model_3d ( : : FileName, Scale, GenParamName, Gen

    2024年02月03日
    浏览(42)
  • 使用python-open3d读取pcd,bin格式的点云,并显示

    open3d读取pcd格式点云 效果图    用open3d读取bin文件   效果图     

    2024年02月11日
    浏览(46)
  • 基于Open3D的点云处理17-Open3d的C++版本

    http://www.open3d.org/docs/latest/cpp_api.html http://www.open3d.org/docs/latest/getting_started.html#c http://www.open3d.org/docs/release/cpp_project.html#cplusplus-example-project https://github.com/isl-org/open3d-cmake-find-package https://github.com/isl-org/open3d-cmake-external-project https://github.com/isl-org/Open3D/releases Note: -DBUILD_SHARED_LIBS

    2024年02月09日
    浏览(59)
  • 3D点云处理:提取点云边缘

    2023年04月29日
    浏览(58)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包