水果姿态估计论文、数据集汇总

2019

Fruit detection for strawberry harvesting robot in non-structural environment based on Mask-RCNN

摘要： 深度学习具有良好的图像特征学习能力，并被广泛应用于图像目标检测中。为了提高机器视觉在草莓采集机器人水果检测中的性能，引入了掩模区域卷积神经网络（Mask-RCNN）。采用Resnet50作为骨干网络，结合特征金字塔网络（FPN）架构进行特征提取。区域提案网络（RPN）接受了端到端训练，以便为每个特征地图创建区域提案。利用Mask R-CNN生成成熟果实的掩模图像后，对草莓采摘点进行视觉定位方法。100张测试图像的水果检测结果显示，平均检测精度为95.78%，召回率为95.41%，实例分割的平均联合交集（MIoU）率为89.85%。对573个成熟果实采摘点的预测结果显示，平均误差为± 1.2 mm。与四种传统方法相比，该方法在非结构环境下，特别是对重叠和隐藏的果实，以及在不同光照下的普遍性和鲁棒性。

Guava Detection and Pose Estimation Using a Low-Cost RGB-D Sensor in the Field

paper: https://www.mdpi.com/1424-8220/19/2/428/htm
摘要： 在真实的室外条件下，果实检测是番石榴自动采集所需的必要条件，而果实的分支依赖姿势对于引导机器人接近目标果实而不碰撞目标果实也对其分离至关重要。为了进行自动、无碰撞的采摘，本研究研究了一种使用低成本的红绿蓝深度（RGB-D）传感器的水果检测和姿态估计方法。首先部署了一个最先进的全卷积网络来分割RGB图像，以输出一个水果和分支二进制映射。基于水果二值图和RGB-D深度图像，然后应用欧氏聚类方法将点云分组为一组单独的水果。接下来，提出了一种多三维（三维）线段检测方法来重建分段后的分支。最后，利用果实的中心位置和最近的分支信息，估计了果实的三维姿态。在一个室外果园中获得了一个数据集，以评价该方法的性能。定量实验表明，番石榴果实检测的精度和召回率分别为0.983和0.948，三维位姿误差为23.43◦±14.18◦，每个果实的执行时间为0.565 s。研究结果表明，该方法可应用于一种番石榴采集机器人。

Visual Perception and Modelling in Unstructured Orchard for Apple Harvesting Robots

摘要： 视觉感知和建模是机器人在非结构化果园中收获的基本任务。本文开发了一个视觉感知和建模的框架，用于在果园环境中收获水果的机器人。所开发的框架包括视觉感知、场景映射和水果建模。视觉感知模块利用深度学习模型在工作场景中执行多用途视觉感知任务；场景映射模块应用OctoMap来表示环境中的多个类对象或元素；水果模型模块估计对象的几何属性，并估计每个水果的适当访问姿态。所开发的框架在苹果园中得到了实施和评价。实验结果表明，视觉感知和建模算法能够准确地检测和定位果实，并对真实果园环境中的工作场景进行建模。视觉感知模块在水果检测和分割上的F1得分和平均交集分别为0.833和0.852。水果模型在中心定位和姿态估计方面的精度分别为0.955和0.923。总之，本文提出了一种精确的视觉感知和建模算法。

Deep Learning-Based Pose Estimation of Apples for Inspection in Logistic Centers Using Single-Perspective Imaging

摘要：水果包装由于其自动化水平较低，是一项耗时的任务。某些水果的种类所需要的温和处理及其自然变化复杂的实施自动化质量控制和托盘定位的最终包装。在本文中，我们提出了一种利用卷积神经网络对红-绿-蓝（RGB）相机捕获的苹果进行自动定位和姿态估计的方法。我们的姿态估计算法使用了一个由两个独立的卷积神经网络组成的级联结构：一个用于图像中苹果的定位，另一个用于估计包含苹果的局部和裁剪图像区域的三维旋转。我们使用了一个单镜头多盒探测器来寻找图像中苹果的边界盒。李代数用于旋转的回归，这代表了这类应用中的一种创新。我们比较了四种不同的网络体系结构的性能，并表明这种表示方式比使用最先进的四元数更合适。通过使用该方法，我们获得了98.36%的旋转回归精度，考虑到误差范围小于15度，为水果包装系统的自动化奠定了基础。

Fruit detection and 3D location using instance segmentation neural networks and structure-from-motion photogrammetry

摘要： 能够识别和三维定位水果的远程水果检测系统的发展为提高农业管理的效率提供了机会。目前大多数的水果检测系统都是基于二维图像分析的。虽然3D传感器的使用正在出现，但精确的3D水果定位仍然是一个悬而未决的问题。本工作提出了一种新的水果检测和三维定位方法，结合使用实例分割神经网络和运动结构（SfM）摄影测量。

2020

Visual Perception and Modeling for Autonomous Apple Harvesting

摘要： 视觉感知和建模是许多依赖于视觉的机器人任务中的基本任务。这项工作提出了一个机器人视觉系统，以执行水果识别，建模，和环境建模的自动苹果收获。水果识别采用深度学习模型Dasnet对水果进行检测和分割，对分支进行分割。水果模型定位中心，并基于霍夫变换计算每个水果的抓握姿势。环境建模采用八叉树来表示机器人在工作环境中被占用的空间。机器人控制根据计算出的作物三维模型计算路径并引导操纵器采摘果实。该方法在实验室和果园环境中都进行了测试。测试结果表明，水果识别和建模算法能够准确地定位水果，并计算出各种情况下的抓取姿态。Dasnet在水果检测的F1分数上达到0.871。水果模型对水果中心估计和抓握方向的准确性分别达到了0.955和0.923。为了说明视觉系统在自主采集中的效率，我们在受控环境中使用工业机械臂进行了机器人采集实验。实验结果表明，与不计算水果抓握姿势的方法相比，所提出的视觉感知和建模能够有效地指导机械臂进行分离，提高了收获成功率。

论文的贡献：

• 开发了一种多用途的深度卷积神经网络Dasnet，该网络可以通过一期检测网络架构对果实进行检测/实例分割，对分支进行语义分割。
• 提出了一种有效的水果建模算法和一种环境建模算法。水果建模算法估计水果的几何性质，并计算适当的抓住姿态的分离。环境建模算法采用八叉树来表示工作环境中的障碍物，并用于机械臂的运动规划。
• 本文还提出了一种指导机器人进行自主采集的高效控制框架。
  

Real-Time Fruit Recognition and Grasping Estimation for Robotic Apple Harvesting

摘要： 机器人收获在未来的农业发展中具有广阔的前景。然而，在开发一个功能齐全的机器人采集系统时，仍存在许多挑战。愿景是这些挑战中最重要的关键之一。在真实的实现环境中，传统的视觉方法总是在准确性、鲁棒性和效率方面存在缺陷。在这项工作中，我们开发并评估了一种基于完全深度学习的自主苹果收获视觉方法。该方法包括一个轻量级的水果识别检测和分割网络和一个点网，并在获取前估计每个水果的正确方法姿态。水果识别网络从RGB-D摄像机中获取原始输入，对RGB图像进行水果检测和实例分割。点网抓取网络将深度信息和水果识别结果作为输入，输出每个水果的接近姿态，用于机械臂执行。所开发的视觉方法是根据从实验室和果园环境中收集的RGB-D图像数据进行了评估的。机器人在室内和室外条件下的收获实验也包括，以验证开发的收获系统的性能。实验结果表明，所开发的视觉方法能够高效、准确地指导机器人的采集。总的来说，所开发的机器人收获系统的收获成功率达到0.8秒，循环时间为6.5秒。

论文的贡献：

• 提出了一种计算效率高的轻量级一期实例分割网络Mobile-DasNet，用于对感官数据进行水果检测和实例分割。
• 提出了一种改进的基于点网的网络，利用RGB-D相机的点云进行水果建模和抓取估计。
• 将上述两个特性应用并结合起来，用于设计和构建精确的机器人系统的自主水果收获。

2021

Fruit Detection and Pose Estimation for Grape Cluster–Harvesting Robot Using Binocular Imagery Based on Deep Neural Networks

paper: https://www.frontiersin.org/articles/10.3389/frobt.2021.626989/full

摘要： 在非结构环境中，可靠和鲁棒的水果检测算法对于有效利用收获机器人至关重要。水果的姿态是指导机器人接近目标水果进行无碰撞采摘的重要因素。为了实现准确的采摘，本研究研究了一种检测水果和估计其姿态的方法。首先，利用最先进的掩模区域卷积神经网络（Mask R-CNN）对双目图像进行分割，输出目标水果的掩模图像。然后，对从图像中提取的葡萄点云进行滤波和去噪，得到准确的葡萄点云。最后，利用精确的葡萄点云与RANSAC算法进行葡萄柱模型拟合，并利用葡萄柱模型的轴来估计葡萄的姿态。在一个葡萄园中获得了一个数据集，以评估所提出的方法在非结构性环境中的性能。210张测试图像的果实检测结果显示，平均精度、召回率和联合交集（IOU）分别为89.53、95.33和82.00%。每颗葡萄的检测和点云分割约需要1.7秒。该方法的性能证明表明，该方法可应用于葡萄收获机器人。

Efficient and Robust Orientation Estimation of Strawberries for Fruit Picking Applications

paper: https://eprints.lincoln.ac.uk/id/eprint/44426/7/paper_icra_2021_final_cright.pdf

摘要： 农业领域的最新发展突出了使用机器人技术的潜力和必要性。在该领域的各种过程可以受益于适当的使用最先进的技术[1]，在效率和质量方面。其中一个领域是收获成熟的果实。
为了能够自动化这一过程，机器人收割机需要了解要收集的作物/水果的全部姿势，以便执行适当的路径和碰撞规划。目前的技术水平主要考虑水果的检测和分割问题，定位仅限于三维位置。对各自方向的可靠和实时的估计仍然是一个大多未解决的问题。
在本文中，我们提出了一种紧凑而高效的网络架构，用于从颜色和深度图像来估计草莓等软水果的方向。该系统可以在一个真实的仿真环境中进行自动训练。我们评估了该系统在模拟数据集上的性能，并验证了其在公开的草莓图像上的操作，以证明其实际应用。根据所使用的训练数据量、状态空间的覆盖范围以及仅对RGB-D或RGB数据的可用性，可以获得低至11个◦的平均误差。

论文的贡献：

• 一个紧凑和高效的网络架构，能够估计旋转对称物体的旋转配置，在我们的案例中，从颜色和额外的深度图像线索；
• 一个能够自动生成RGB和深度（RGB-D）数据的系统，我们用于训练过程，涵盖光照、外观和水果种类的巨大变化；
• 在公开的真实草莓数据集上验证提出的框架。

A mango picking vision algorithm on instance segmentation and key point detection from RGB images in an open orchard

paper: https://www.sciencedirect.com/science/article/abs/pii/S1537511021000738

摘要： 水果采摘机器人的视觉系统必须执行两个困难的任务，即水果的精确像素分割和采摘点的正确检测。由于视觉系统在这些任务上的不令人满意的性能，机器人的拾取性能不足，并且其应用不普遍。在本研究中，通过水果实例分割和采摘点定位，在深度学习框架中为潜在的芒果采摘机器人视觉系统设计了一种使用 RGB 图像的视觉算法。该算法不仅成功地完成了这两项任务，而且将它们集成到一个端到端的网络中，网络中的并行分支同时完成这两项任务。实例切分的平均精度(IoU 为 0.75)和平均召回率分别达到 0.947 和 0.929，拾取点检测的最佳精度和召回率分别达到 0.984 和 0.908。此外，这些任务面临户外果园中的各种照明和背景干扰，以及遮挡、重叠和对象比例方面的复杂问题。在本研究中，对视觉系统在各种复杂条件下的几个数据集和子集的性能进行了详细分析，并讨论了影响性能的主要因素。结果表明，该系统对各种光照和复杂背景具有很强的鲁棒性，对于轻微和中等遮挡或重叠，以及对
于中等和大芒果，都产生了令人满意的分割和拾取点检测性能。模型可视化和模型训练的影响分析展示了深度学习网络的训练过程和建模效果。

Geometry-Aware Fruit Grasping Estimation for Robotic Harvesting in Orchards

paper: https://paperswithcode.com/paper/geometry-aware-fruit-grasping-estimation-for

摘要： 野外机器人收获是近年来农业工业发展中的一种很有前途的技术。在天然果园收获之前，机器人识别和定位水果是至关重要的。然而，在果园中收割机器人的工作空间是复杂的：许多水果被树枝和树叶遮挡住了。在进行操作之前，估计每个水果的一个适当的抓握姿势是很重要的。在本研究中，提出了一种几何感知网络A3N，利用RGB-D相机的颜色和几何感知数据进行端到端实例分割和抓取估计。此外，工作空间几何建模也被用于辅助机器人的操作。此外，我们实现了一种全球到局部的扫描策略，使机器人能够通过两个消费者级的RGB-D相机在现场环境中准确地识别和检索水果。我们还在实验中全面地评价了所提出的网络的准确性和鲁棒性。实验结果表明，A3N在实例分割精度上达到了0.873，平均计算时间为35 ms。抓取估计的平均精度和中心精度分别为0.61 cm和4.8◦。总的来说，利用全球到局部扫描和A3N的机器人系统，在野外采集实验中获得了70% - 85%的收获成功率。

论文的贡献：

• 提出了一种新的端到端几何感知网络A3N，包括区域建议网络和抓取估计网络，分别进行水果分割和抓取姿态估计。
• 提出了一种包括水果检测、抓取姿态估计和工作空间建模在内的框架，可直接用于果园中精确和鲁棒的机器人收获。
• 实施了一种全球到局部的策略，当深度传感器的精度有限时，允许在果园中进行精确的视觉感知。广泛的定量评价也包括来验证所提出的方法。

Viewpoint Planning for Fruit Size and Position Estimation（有代码）

code: https://cs.paperswithcode.com/paper/viewpoint-planning-for-fruit-size-and

摘要： 现代农业应用需要了解水果在植物上的位置和大小。然而，来自叶子的遮挡通常会使获取这些信息变得困难。我们提出了一种新的视点规划方法，建立了一个具有标记感兴趣区域（roi）的植物八叉树，即果实。我们的方法使用这种八叉树来对候选视点进行采样，从而增加水果区域周围的信息，并使用考虑到预期信息增益的启发式效用函数对其进行评估。我们的系统自动在ROI目标采样和探索采样之间切换，这考虑了一般的前沿体素，取决于估计的效用。当植物被RGB-D传感器充分覆盖时，我们的系统将ROI体素聚类，并估计被检测到的果实的位置和大小。我们在模拟场景中评估了我们的方法，并将结果的水果估计与地面事实进行了比较。结果表明，我们的组合方法优于一种没有明确考虑ROI来生成视点的已发现的ROI单元数量的采样方法。此外，我们通过在一个装有RGB-D摄像机的机械臂上测试我们的框架，展示了现实世界的适用性。

论文的贡献：

• 一个新颖的下一个最佳视图视点规划方法，检测和使用感兴趣的区域，
• 提出一种方法来估计水果的位置和大小，
• 评估规划在模拟场景，比较我们的组合视图姿态采样方法方法在前沿未知空间不考虑roi，并使用两种不同的实用函数，
• 实现方法在现实机器人平台和演示其在商业温室环境中的使用。
  

Combining Local and Global Viewpoint Planning for Fruit Coverage（有代码）

code: https://cs.paperswithcode.com/paper/combining-local-and-global-viewpoint-planning

摘要： 由于完整的植物或植物部件（如作物或水果）的结构复杂和高度的遮挡，很难获得它们的三维传感器数据。但是，特别是在估计果实的位置和大小时，有必要尽可能地避免遮挡，并获取相关部位的传感器信息。全球观点规划者提出的观点在一定程度上覆盖感兴趣的区域，但它们通常优先考虑全局覆盖，而不强调避免局部遮挡。另一方面，有一些方法旨在避免局部闭塞，但它们不能在更大的环境中使用，因为它们只达到局部最大的覆盖范围。因此，在本文中，我们提出将一种基于局部的、基于梯度的方法与全局视点规划相结合，以实现局部遮挡避免，同时仍然能够覆盖大面积。我们用装有相机阵列和RGB-D相机的机械臂进行的模拟实验表明，与仅应用全球覆盖规划相比，这种组合导致显著增加了感兴趣区域的覆盖范围。

论文的贡献：

• 3DMTS [1]与全局视点规划器的集成。
• 在复杂度增加的模拟场景中进行实验评估，将新的组合方法与之前没有3DMTS的全局视点规划方法在检测到的ROI数量和覆盖的ROI体积方面进行比较。
  

2022

Occluded Apple Fruit Detection and Localization with a Frustum-Based Point-Cloud-Processing Approach for Robotic Harvesting

摘要： 在果园的精确定位是机器人收获的至关重要和具有挑战性的。来自树叶、树枝和其他果实的遮挡使得从红绿蓝深度（RGBD）相机获得的点云不完整。此外，RGBD摄像机的深度图像的填充率不足和噪声往往发生在不被遮挡的阴影下，导致点云的失真和碎片化。这些挑战给机器人收获水果的位置定位和大小估计带来了困难。本文提出了一种基于深度学习分割网络和一种基于水果的点云处理方法的三维水果定位方法。提出了一种单阶段深度学习分割网络，在RGB图像上定位苹果果实。利用掩模和二维边界盒的输出，构建了一个三维观察果体来估算果实中心的深度。通过质心坐标的估计，提出了一种部分遮挡果实的位置和大小估计方法，以确定机器人夹持的接近姿态。在果园中进行了实验，结果证明了该方法的有效性。根据300个测试样本，采用该方法，与传统方法相比，水果位置的中值误差和平均误差分别降低了59%和43%。此外，还可以正确地估计出接近的方向向量。

论文的贡献：

• 利用实例分割网络提供了叶遮挡、鳃遮挡、果实遮挡和非遮挡四种遮挡情况下果实的位置和几何信息；
• 提出了一个点云处理管道来细化部分遮挡果实的三维位置和姿态信息的估计，并为机器人夹具提供三维接近姿态向量。
  
  

Fruit Mapping with Shape Completion for Autonomous Crop Monitoring（有代码）

code: https://cs.paperswithcode.com/paper/fruit-mapping-with-shape-completion-for

摘要： 由于植物结构复杂，作物自主监测是一项艰巨的任务。来自叶子的遮挡会使它不可能获得关于所有果实的完整的观点，例如，辣椒植物。因此，从部分信息中准确估计水果的形状和体积，对于进一步实现先进的自动化任务，如产量估算和自动水果采摘至关重要。本文提出了一种绘制植物上的果实和通过匹配超脂类球来估计其形状的方法。我们的系统将水果进行图像分割，并使用它们的掩模来生成水果的点云。为了结合所获得的点云序列，我们利用实时三维映射框架，建立了一个基于截断的有符号距离场的水果映射。我们从这张图中聚类果实，并使用优化的超脂球进行匹配，以获得准确的形状估计。在我们的实验中，我们在各种模拟场景中配备RGB-D摄像机，我们的方法可以准确地估计水果体积。此外，我们还提供了从一个商业温室环境中记录的数据中估计的水果形状的定性结果。

论文的贡献：

• 一个完整的框架，准确地映射和估计水果形状使用多个视图
• 实现现实，提供容易集成与我们先前开发的ROI观点规划
• 评估估计水果体积的准确性在各种模拟场景与多种作物
• 定性结果数据记录在商业温室环境。

Accurate Fruit Localisation for Robotic Harvesting using High Resolution LiDAR-Camera Fusion

摘要：精确的深度传感对于确保机器人在自然果园环境中收获的高成功率起着至关重要的作用。固态激光雷达（SSL）是最近引入的一种激光雷达技术，它可以感知场景的高分辨率几何信息，从而可以用来接收准确的深度信息。同时，激光雷达与摄像机的感知信息的融合可以显著提高采集机器人的感知能力。这项工作介绍了一种基于激光雷达-相机融合的视觉感知和感知策略，以为苹果园中的收获机器人进行精确的水果定位。采用两种基于目标和无目标的两种SOTA外部校准方法进行了评价，获得了激光雷达和相机之间精确的外部矩阵。通过外部校准，将点云和彩色图像融合，使用单阶段实例分割网络进行水果定位。实验表明，激光雷达相机在自然环境下取得了较好的视觉感知质量。同时，引入激光雷达-相机融合技术，大大提高了水果定位的准确性和鲁棒性。具体来说，0.5 m、1.2 m和1.8 m的激光雷达相机定位的标准偏差分别为0.245、0.227和0.275 cm。这些测量误差仅为实际意义D455的五分之一。最后，我们附加了我们的可视化点云3来演示高精度的传感方法。

论文的贡献：

• 一种视觉感知和感知方法，可以执行高分辨率的水果检测和定位的激光雷达相机融合方法。
• 对激光雷达和照相机的外部校准策略的综合研究与评价。
• 演示了自然果园环境中机器人收获机器人的视觉感知和感知方法。

Fruit recognition method for a harvesting robot with RGB-D cameras

摘要： 在本研究中，我们提出了一种识别方法的水果收获机器人，以自动收获在关节v形格子上的梨和苹果。水果收获机器人需要识别收获目标的三维位置，以插入其末端载体。然而，采集机器人上的RGB-D（红色、绿色、蓝色和深度）相机存在一个问题，即在室外环境中获得的点云可能不准确。因此，在本研究中，我们提出了一种有效的方法，使收获机器人识别水果，不仅利用RGB-D相机获得的三维信息，而且利用相机获得的二维图像和信息。此外，我们还报道了一种利用果实检测信息来测定梨的成熟度的方法。通过实验，我们认为该方法满足了收获机器人连续收获果实所需的精度。

In-field pose estimation of grape clusters with combined point cloud segmentation and geometric analysis

摘要：现场目标检测和姿态估计是工业采集场景中具有挑战性的任务。本研究研究了一种使用深度摄像机的物体检测和6D姿态估计方法，以防止收获机器人在收获葡萄簇时发生碰撞。首先，利用掩模(Mask区域卷积神经网络（Mask R-CNN）对葡萄簇的二维图像进行分割，输出葡萄簇的二值掩模图像。其次，基于二值掩模图像和图像与点云之间的映射关系，对葡萄聚类点云进行分割，通过预处理得到高质量的点云。第三，通过构建葡萄梗感兴趣区域（RoI）来确定最佳切割点。最后，利用局部加权散点图平滑（LOWESS）算法对花梗面进行了拟合，并用几何方法估计了花梗的位姿。238张测试图像的检测结果显示，平均精度（mP）为86.0%，平均召回率（mR）为79.9%，f1分数为0.828，例如分割的平均交集（mIOU）为87.9%。对172个葡萄梗的姿态估计结果，得到的姿态估计误差角为22.22度± 17.96度。每个葡萄簇的检测和姿态估计大约需要1.786 s。结果表明，该方法可以应用于非结构化环境下的无碰撞葡萄收获。

文章来源地址https://www.toymoban.com/news/detail-528315.html

到了这里，关于水果姿态估计论文、数据集汇总的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！