Halcon 3D相关案例分享

这篇具有很好参考价值的文章主要介绍了Halcon 3D相关案例分享。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。


本文是工作和学习过程中整理的3D相关案例,内容包括但不限于: 预处理、检测、量测以及配准… 具体展开可见如下思维导图。

Halcon 3D相关案例分享,Halcon玩转机器视觉,3d,点云

一、预处理

1、平滑滤波

平滑滤波用到的主要算子是:smooth_object_model_3d

算子说明

操作符smooth_object_model_3d使用方法指定的方法对ObjectModel3D中的3D点进行平滑处理。得到的平滑点在SmoothObjectModel3D中返回。目前,移动最小二乘法(Method=’ MLS ')是唯一支持的平滑方法。

对于每个点P, MLS平滑算法将一个平面或一个高阶多项式曲面与其k邻域(k个最近点)相匹配。曲面拟合实质上是对平面或多项式曲面参数分别进行加权最小二乘参数估计的一种标准方法。P的最近邻的贡献比其他点的贡献大,这是由下面带参数σ(sigma) 的加权函数控制的:

Halcon 3D相关案例分享,Halcon玩转机器视觉,3d,点云

然后将点投射到表面上。对所有点重复这个过程,得到一个平滑的点集。(它们可以很容易地从表面参数计算出来)。因此,这些点被相应的法线作为平滑的副作用加以扩大。
通过将GenParamName设置为以下值之一,可以用GenParamValue设置额外的MLS特定参数:

  • “mls_kNN”:
    指定用于将MLS曲面与每个点匹配的最近邻k的数量。
    建议值:40、60(默认值)、80、100、400
  • “mls_order”:
    指定MLS多项式曲面的顺序。对于’mls_order’=1,表面是一个平面。
    建议值:1、2(默认值)、3
  • “mls_abs_sigma”:
    将加权参数指定为以米为单位的固定绝对值。要选择的值取决于点数据的规模。根据经验,可以选择P点与其k/2相邻点之间的典型距离。注意,对于不同密度的点数据设置一个绝对加权参数,可能会导致位于不同密度点数据部分的点的平滑结果不同。
    这个问题可以通过使用’mls_relative_sigma’来避免,它是与比例无关的,这也使它成为指定邻域加权的一种更方便的方法。注意,如果传递了’mls_abs_sigma’,则忽略’mls_relative_sigma’中的任何值。
    建议值:0.0001,0.001,0.01,0.1,1.0
  • “mls_relative_sigma”:
    指定一个乘法因子,用于计算点P的公式:
    注意,与所有点的全局参数不同,它是为每个点P计算的,因此使权重函数适应于它的邻域。这避免了在试图将全局参数(‘mls_abs_sigma’)设置为具有高度变化的点密度的点数据时可能出现的问题。但是请注意,如果设置了’mls_abs_sigma’,则忽略’mls_relative_sigma’。
    建议值:0.1、0.5、1.0(默认值)、1.5、2.0
  • “mls_force_inwards”:
    如果这个参数设置为“真”,所有的表面法线都指向“原点的方向”。用数学方法表示,可以保证法向量和从各自的曲面点到原点的向量的标量积是正的。如果生成的SmoothObjectModel3D用于基于表面的匹配,可能需要这样做,无论是作为create_surface_model中的模型,还是作为find_surface_model中的3D场景,因为在这里,法线的一致方向对于匹配过程非常重要。如果’mls_force_inwards’设置为’false’,则法向量的方向是任意的。
    可能的值:‘true’, ‘false’(默认值)
平滑效果图

Halcon 3D相关案例分享,Halcon玩转机器视觉,3d,点云

二、检测

1、外观缺陷检测

基于3d算法开发的检测压伤、划伤等有深度信息的缺陷,主要算子:convex_hull_object_model_3d

算子说明

计算 ObjectModel3D 中给出的 3D 对象模型的凸包。 该运算符将凸包作为 3D 对象模型返回,其句柄为 ObjectModel3DConvexHull

如果输入点的某一维度完全没有偏差,则结果将由直线而不是三角形组成。

请注意,如果不再需要或应替换3D 对象模型,则必须首先通过调用运算符clear_object_model_3d 释放内存。

缺陷检测效果图

Halcon 3D相关案例分享,Halcon玩转机器视觉,3d,点云

2、点云边界框

边界框用到的主要算子是:smallest_bounding_box_object_model_3d

算子说明

smallest_bounding_box_object_model_3d 计算 3D 对象模型点周围的最小边界框。 生成的边界框使用其坐标系 (Pose) 进行描述,该坐标系的方向使得框的最长边与 x 轴对齐,第二长边与 y 轴对齐,最小边与 z 轴对齐 。 边的长度以 Length1Length2Length3 的形式返回,按降序排列。 盒子可以是轴对齐的,也可以是定向的,可以通过类型来选择。 “定向”算法的计算成本明显高于“axis_aligned”算法,并且仅返回定向边界框的近似值。 请注意,定向边界框的算法是随机的,并且可以为每次调用返回不同的框。

为了检索“axis_aligned”框的角点,可以将运算符 get_object_model_3d_params 与参数“bounding_box1”一起使用。

边界框效果图

Halcon 3D相关案例分享,Halcon玩转机器视觉,3d,点云

3、平面度检测

平面度检测用到的主要算子是:distance_object_model_3d

算子说明

操作符distance_object_model_3d计算三维对象模型ObjectModel3DFrom中的点到三维对象模型ObjectModel3DTo中的点、三角形、多边形或原语的距离。在3D对象模型ObjectModel3DFrom中,距离被存储为一个名为“&distance”的扩展属性。随后可以使用get_object_model_3d_params``查询该属性,或者使用select_points_object_model_3d或其他使用扩展属性的操作符处理该属性。

目标数据(点、三角形、多边形或原语)是根据ObjectModel3DTo中包含的属性选择的。它是根据以下优先级中数据的存在而选择的:原语、三角形、多边形和点。作为这种自动目标数据选择的替代方法,还可以使用通用参数’distance_to’设置目标数据类型(参见下面)。在计算到最终三角形的距离之前,操作符在内部对一般的非三角形多边形进行三角化。因此,用三角形对象调用操作符比用具有不同多边形面的对象调用它要快。

可以选择使用参数MaxDistance设置阈值。超过此阈值的距离设置为MaxDistance的值,即,值被剪切。设置MaxDistance可以显著加快该操作符的执行速度。如果MaxDistance设置为0,则不使用阈值。

如果Pose是非空元组,那么在计算距离之前,它必须包含一个应用于ObjectModel3DFrom中的点的Pose。可以使用通用参数‘invert_pose’(见下面)来反转这个位姿。

根据目标数据类型(点、三角形或原语),有几种计算距离的方法。其中一些方法在ObjectModel3DTo的元素上计算数据结构,以加速距离计算。可以使用操作符prepare_object_model_3d预先计算这些数据结构。这允许对distance_object_model_3d的多个调用来重用数据结构,从而节省了为每个调用重新计算数据结构的时间。对于具有非三角形多边形面的对象,操作符prepare_object_model_3d可以额外执行三角剖分并将其保存到对象中,以进一步加速distance_object_model_3d操作符。只有在将通用参数’distance_to’设置为’triangle '时才会执行这种三角测量。注意,与操作符triangulate_object_model_3d相反,这种三角划分并不清除polygons属性。

当计算到点或三角形的距离时,操作符可以选择返回ObjectModel3DFrom中每个点的最近点或三角形的索引,方法是将通用参数‘store_closest_index’设置为‘true’(参见下面)。索引在3D对象模型ObjectModel3DFrom中存储为扩展属性’&closest_index’。注意,在使用“体素”方法时,不能计算最近的索引。如果点到最近元素的距离超过MaxDistance中设置的最大距离,则最近的索引设置为-1。

可以选择计算到点、三角形或原语的带符号距离。因此,必须将通用参数’signed_distance ‘设置为’true’。注意,当使用“体素”方法结合点到点距离时,不能计算符号距离。

下面将介绍不同的目标类型和方法,并描述它们的优缺点。注意,操作符根据目标数据类型自动选择默认方法。可以使用通用参数’method’覆盖此方法。

计算点到点的距离有以下几种方法:

  • Linear search 线性搜索:

对于ObjectModel3DFrom中的每个点,计算到ObjectModel3DTo中的所有点的距离,并使用最小的距离。这种方法不需要预先计算数据结构,并且对于ObjectModel3DTo中的少量点来说是最快的。

  • KD-Tree:

ObjectModel3DTo中的点被组织在一个kd树中,这加快了对最近点的搜索。树的构造非常高效。搜索时间与ObjectModel3DTo中的点数近似为对数。但是,搜索时间不是恒定的,并且根据查询点在ObjectModel3DFrom中的位置可能会发生显著变化。

  • Voxel 体素:

ObjectModel3DTo中的点组织在一个体素结构中。这种体素结构允许在几乎恒定的时间内进行搜索。,独立于查询点在ObjectModel3DFrom中的位置和在ObjectModel3DTo中的点的数量。但是,准备这个数据结构需要几秒钟或几分钟。它特别适合使用prepare_object_model_3d进行预计算。

平面度效果图

Halcon 3D相关案例分享,Halcon玩转机器视觉,3d,点云

三、量测

1、高度测量

高度测量用到的主要算子是:get_object_model_3d_params

算子说明

get_object_model_3d_params 允许访问给定 3D 对象模型的属性和元数据。 请求的属性或元数据的名称在通用参数GenParamName中传递,相应的值在 GenParamValue 中返回。 如果请求的属性或元数据不可用,则会引发异常。

get_object_model_3d_params 支持同时访问多个 3D 对象模型和多个属性。 请注意,属性或元数据可以具有不同的长度。 一些标准属性具有定义的长度,如下面的属性描述中所述。 其他属性的长度取决于实际的3D对象模型,可以通过将参数GenParamName设置为“num_points”、“num_triangles”、“num_polygons”或“num_lines”来查询。 因此,要获取标准属性“point_coord_x”的长度,请将 GenParamName 设置为“num_points”。

测量效果图

Halcon 3D相关案例分享,Halcon玩转机器视觉,3d,点云

2、体积测量

体积测量用到的主要算子是:volume_object_model_3d_relative_to_plane

算子说明

Volume_object_model_3d_relative_to_plane 计算 3D 对象模型面下相对于平面的体积。 该平面由 Plane 中给出的姿势的 x-y 平面定义。

对于 ObjectModel3D,三角剖分或多边形列表必须可用。 使用默认设置,如果网格是有序的,则将计算 3D 对象模型的实际体积。 为了还涵盖网格未闭合或面排序不一致的情况,可以使用参数 ModeUseFaceOrientation 影响体积的计算。

体积的计算方法:

1)首先,计算通过将每个面投影到平面上而构造的棱柱的体积。

棱柱的各个体积可以是正值或负值,具体取决于面的方向(远离或朝向平面)或面的位置(在平面上方或下方)。 这可以通过参数 UseFaceOrientation 进行控制。

2)然后,根据参数模式将棱镜的体积相加。

Volume 中返回的体积是计算总和的绝对值。

测量效果图

Halcon 3D相关案例分享,Halcon玩转机器视觉,3d,点云

四、配准

1、根据模型配准

模型配准用到的主要算子有:create_surface_modelfind_surface_modeldistance_object_model_3d

算子说明

1)create_surface_model

运算符 create_surface_model为 3D 对象模型 ObjectModel3D 创建基于表面的匹配模型。 例如,3D 对象模型可以先前使用 read_object_model_3d 从文件中读取,或者使用 xyz_to_object_model_3d 创建。 创建的表面模型在SurfaceModelID中返回。

创建模型后,可以使用 set_surface_model_param 设置表面模型的其他参数。

表面模型的创建要求3D对象模型包含点和法线。 可能有以下组合:

  • 点和点法线;
  • 点和三角形或多边形网格,例如来自 CAD 文件;
  • 点和 2D 映射,例如使用 xyz_to_object_model_3d 转换的 XYZ 图像三元组。

请注意,模型法线的方向和方位(向内或向外)对于匹配非常重要。 对于边缘支持的基于表面的匹配,法线需要指向内,并且模型必须包含三角形或多边形网格(见下文)。

表面模型是通过以一定距离对3D物体模型进行采样来创建的。 采样距离必须在参数 RelSamplingDistance 中指定,并相对于 3D 对象模型的轴平行边界框的直径进行参数化。 例如,如果 RelSamplingDistance 设置为 0.05 并且 ObjectModel3D 的直径为“10 厘米”,则从对象表面采样的点将相距大约“5 毫米”。 采样点用于算子 find_surface_model 中的近似匹配(见下文)。 采样点可以通过运算符 get_surface_model_param 使用值“sampled_model”获得。 请注意,应避免对象模型中的异常点,因为它们会破坏直径。 减少 RelSamplingDistance 会导致更多的点,进而导致更稳定但更慢的匹配。 增加 RelSamplingDistance 会导致点数减少,进而导致匹配稳定性降低但速度更快。

Halcon 3D相关案例分享,Halcon玩转机器视觉,3d,点云

2)find_surface_model

算子 find_surface_model 在 3D 场景 ObjectModel3D 中找到表面模型 SurfaceModelID 的最佳匹配,并在 Pose 中返回它们的姿态。

匹配分为三步:

  • 近似匹配
  • 稀疏姿态细化
  • 稠密姿态细化

3)distance_object_model_3d

运算符 distance_object_model_3d 计算 3D 对象模型 ObjectModel3DFrom 中的点到 3D 对象模型 ObjectModel3DTo 中的点、三角形、多边形或图元的距离。 距离作为名为“&distance”的扩展属性存储在 3D 对象模型 ObjectModel3DFrom 中。 随后可以使用 get_object_model_3d_params查询该属性,或者使用 select_points_object_model_3d 或其他使用扩展属性的运算符进行处理。

目标数据(点、三角形、多边形或图元)是根据 ObjectModel3DTo 中包含的属性选择的。 它是根据数据的存在情况来选择的,按以下优先顺序:基本体、三角形、多边形和点。 作为自动目标数据选择的替代方案,还可以使用通用参数“distance_to”设置目标数据类型(见下文)。 在计算到结果三角形的距离之前,操作员对通用非三角形多边形进行内部三角剖分。 因此,使用三角化对象调用运算符比使用具有不同多边形面的对象调用运算符要快。

MaxDistance 可用于限制要计算的距离值的范围。 如果 MaxDistance 设置为 0,则计算所有距离。 如果将 MaxDistance 设置为其他值,则不会处理距离超过 MaxDistance 的点并将其设置为 MaxDistance。 因此,将 MaxDistance 设置为非 0 的值可以显着加快该运算符的执行速度。

如果 Pose 是非空元组,则它必须包含在计算距离之前应用于 ObjectModel3DFrom 中的点的姿势。 可以使用通用参数“invert_pose”反转姿态(见下文)。

根据目标数据类型(点、三角形或图元),可以使用多种计算距离的方法。 其中一些方法计算 ObjectModel3DTo 元素的数据结构,以加速距离计算。 这些数据结构可以使用操作符prepare_object_model_3d来预先计算。 这允许对 distance_object_model_3d 进行多次调用以重用数据结构,从而节省每次调用重新计算的时间。 对于具有非三角形多边形面的对象,算子prepare_object_model_3d还可以执行三角测量并将其保存到对象中,以进一步加速distance_object_model_3d算子。 仅当通用参数“distance_to”设置为“triangles”时,才会执行此三角测量。 请注意,此三角剖分与运算符 triangulate_object_model_3d 的三角剖分相反,不会清除多边形属性。

计算到点或三角形的距离时,可以选择通过将通用参数“store_closest_index”设置为“true”(见下文),返回 ObjectModel3DFrom 中每个点的最近点或三角形的索引。 该索引作为名为“&closest_index”的扩展属性存储在 3D 对象模型 ObjectModel3DFrom 中。 请注意,使用“体素”方法时无法计算最接近的索引。 如果点到其最近元素的距离超过 MaxDistance 中设置的最大距离,则最近索引将设置为 -1。

可选地,可以计算到点、三角形或基元的有符号距离。 因此,通用参数“signed_distances”必须设置为“true”。 请注意,将“体素”方法与点到点距离结合使用时,无法计算有符号距离。

下表列出了不同的目标数据类型、方法及其属性。 搜索时间是 ObjectModel3DFrom 中每个点的近似时间。 N 是 ObjectModel3DTo中目标元素的数量。

Halcon 3D相关案例分享,Halcon玩转机器视觉,3d,点云

配准效果图

Halcon 3D相关案例分享,Halcon玩转机器视觉,3d,点云

【备注】对源码有需求的,订阅专栏后在后台私信我~文章来源地址https://www.toymoban.com/news/detail-725743.html

到了这里,关于Halcon 3D相关案例分享的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • [3D&Halcon] 三维点云匹配&无序抓取

    📢博客主页:https://loewen.blog.csdn.net 📢欢迎点赞 👍 收藏 ⭐留言 📝 如有错误敬请指正! 📢本文由 丶布布 原创,首发于 CSDN, 转载注明出处 🙉 📢现在的付出,都会是一种沉淀,只为让你成为更好的人✨ 一. 3D无序抓取原理 通过 3D 成像系统(激光三角、结构光+单/双目等

    2024年02月08日
    浏览(41)
  • [3D&Halcon] 3D重要算子及简单处理点云模型求高度示例讲解

    📢博客主页:https://loewen.blog.csdn.net 📢欢迎点赞 👍 收藏 ⭐留言 📝 如有错误敬请指正! 📢本文由 丶布布 原创,首发于 CSDN, 转载注明出处 🙉 📢现在的付出,都会是一种沉淀,只为让你成为更好的人✨ 一. 重要算子解析 read_object_model_3d ( : : FileName, Scale, GenParamName, Gen

    2024年02月03日
    浏览(42)
  • Halcon3d 点云计算平面度

    2024年02月11日
    浏览(40)
  • 史上超全的Halcon常用3D算子:点云处理

    在计算机视觉和机器人领域,点云处理是一项重要的任务。Halcon作为一款强大的图像处理软件,提供了丰富的3D算子来进行点云数据的处理和分析。本文将介绍一些常见的Halcon 3D算子,并提供相应的源代码示例。 读取点云数据 点云数据通常以文件的形式存在,可以通过Halco

    2024年02月02日
    浏览(47)
  • [Halcon&3D] 主流的3D光学视觉方案及原理

    📢博客主页:https://loewen.blog.csdn.net 📢欢迎点赞 👍 收藏 ⭐留言 📝 如有错误敬请指正! 📢本文由 丶布布 原创,首发于 CSDN, 转载注明出处 🙉 📢现在的付出,都会是一种沉淀,只为让你成为更好的人✨ 一. 前言 传统工业机器视觉中, 3D 视觉与 2D 视觉技术的最大区别在

    2024年02月06日
    浏览(49)
  • Halcon 3D相关算子(二)

    (1) moments_object_model_3d( : : ObjectModel3D, MomentsToCalculate : Moments) 功能:计算3D对象模型的平均值或中心二阶矩。要计算3D物体模型点的平均值,在MomentsToCalculate中选择\\\'mean_points\\\';如果要计算二阶中心矩,则选择\\\'central_moment_2_points\\\',结果是x、y、z、x-y、x-z和y-z轴的方差;要计算3D物

    2024年01月20日
    浏览(53)
  • 应用案例|探索高精度3D机器视觉在车间滑橇检测与测量中的应用

    Part.1   应用行业 随着科技的不断进步,3D机器视觉技术逐渐成为了现实世界与数字世界之间的桥梁。3D机器视觉技术能使计算机感知和理解三维空间重的物体和场景,被广泛应用于机器人引导、工业检测等行业,例如:物流、电商、教育、医疗、化工、食品、家电、陶瓷、卫

    2024年02月16日
    浏览(43)
  • Halcon 3D-Transformation 相关算子(一)

    (1) hom_mat3d_identity( : : : HomMat3DIdentity) 功能:生成三维齐次变换矩阵。 控制输出参数:HomMat3DIdentity:变换矩阵。 (2) create_pose( : : TransX, TransY, TransZ, RotX, RotY, RotZ, OrderOfTransform, OrderOfRotation, ViewOfTransform : Pose) 功能:创建一个3D位姿。 控制输入参数1:(TransX, TransY, TransZ):分别表示

    2024年01月20日
    浏览(38)
  • 计算机视觉 3D点云极简概述

            点云是表示 3D 坐标系中的数字 3D 物理对象或空间的点数据库。它由数百万或者更多个单独的测量点组成,具有 x、y 和 z 坐标。3D点云是物体的高精度数字记录。点云用于生成用于 3D 建模的 3D 网格和其他模型。包括医学成像、3D 打印、制造、建筑、3D 游戏和虚拟

    2024年02月13日
    浏览(46)
  • 3D点云之语义分割(相关官方示例介绍)

    之前在博客中提到,会考虑用深度学习来对3D点云进行处理,接下来迈出脚步,先整几个例子来熟悉它。例子原型来源于官网,博主在其基础上做了一些代码修改。 1. Keras中的资源 Code examples 2.openvinotoolkit open_model_zoo/demos at master · openvinotoolkit/open_model_zoo · GitHub 主要参考官网

    2024年02月06日
    浏览(42)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包