3D检测:从pointnet,voxelnet,pointpillar到centerpoint

这篇具有很好参考价值的文章主要介绍了3D检测:从pointnet,voxelnet,pointpillar到centerpoint。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

记录centerpoint学习笔记。目前被引用1275次,非常高。

地址:Center-Based 3D Object Detection and Tracking (thecvf.com)

GitHub - tianweiy/CenterPointpointpillars和centerpoint的区别,学习,深度学习,python,人工智能,计算机视觉,自动驾驶,目标检测

CenterPoint:三维点云目标检测算法梳理及最新进展(CVPR2021)_哔哩哔哩_bilibili 作者解释。

CenterPoint 是一种用于激光点云的3D目标检测与跟踪算法框架,由2021年CVPR论文《Center-based 3D Object Detection and Tracking》提出。与以往算法不同,CenterPoint使用关键点而不是边界框来表示、检测和跟踪3D目标。

具体来说,CenterPoint算法分为两个阶段:

  1. 第一阶段:使用关键点检测器检测目标的中心点,然后基于中心点特征回归出目标的3D尺寸、朝向和速度等属性。

  2. 第二阶段:基于目标额外的点特征,对第一阶段得到的属性进行优化

CenterPoint算法的优点包括简单高效,在nuScenes和Waymo数据集上都取得了state-of-the-art的性能表现。此外,目标跟踪被简化为一个简单的最近点匹配过程。

pointpillars和centerpoint的区别,学习,深度学习,python,人工智能,计算机视觉,自动驾驶,目标检测

2D目标检测:

2D目标检测需要输出每个对象的类别(如人、车、猫等)以及一个包围框(bounding box),该包围框在图像中精确地定位了对象的位置。常见算法有基于区域提议(region proposal)的两阶段检测算法(如Faster R-CNN)和基于单阶段检测(one-stage detection)的算法(如YOLO、RetinaNet)

anchor

pointpillars和centerpoint的区别,学习,深度学习,python,人工智能,计算机视觉,自动驾驶,目标检测anchor(锚点)通常是指在目标检测任务中使用的一系列预定义的边界框(bounding boxes)。这些锚点具有不同的尺寸和宽高比,以覆盖图像中可能出现的各种形状和大小的目标。

锚点机制的工作流程如下:

  1. 在训练阶段,网络首先生成一系列锚点,这些锚点覆盖了图像中可能出现的各种形状和大小的目标。
  2. 然后,网络预测每个锚点内部是否包含一个目标,如果是,则进一步预测目标的类别和锚点需要调整的偏移量,以更好地匹配目标的真实边界框。
  3. 在推理阶段,网络使用这些锚点作为初始猜测,快速检测图像中的目标

缺点:不是end2end,需要nms后处理。

NMS

NMS(Non-Maximum Suppression,非极大值抑制)是一种在目标检测任务中常用的后处理步骤,用于去除冗余的检测边界框,确保每个目标只被检测一次。

NMS的主要步骤如下:

  1. 排序:首先,根据检测边界框的置信度(通常由检测算法给出)对所有边界框进行降序排序。

  2. 选择最高置信度的边界框:选择置信度最高的边界框作为当前考虑的边界框。

  3. 抑制与当前边界框高度重叠的边界框:计算当前边界框与其他所有边界框的交并比(IoU,Intersection over Union),如果IoU超过某个预定义的阈值(例如0.5),则将这些边界框抑制(即移除或忽略)。

  4. 重复步骤2和3:从剩余的边界框中选择置信度最高的边界框,重复步骤3,直到所有的边界框都被处理过。

  5. 输出最终检测结果:最后,剩下的边界框就是NMS处理后的检测结果,每个目标只被检测一次。

NMS在目标检测算法中起着关键作用,可以显著减少冗余的检测结果,提高检测的准确性和效率。然而,NMS也有一些局限性,例如可能会抑制一些具有高置信度但与当前边界框重叠的边界框,这可能导致一些真正的目标被遗漏。为了解决这个问题,研究者们提出了改进的NMS算法,如Soft-NMS、Softer-NMS等,它们通过更柔和的抑制策略来减少误抑制。

3D目标检测:

3D目标检测是计算机视觉领域的一项重要任务,其目标是在三维空间中检测和定位图像中的各种对象。与2D目标检测相比,3D目标检测不仅需要输出每个对象的类别和位置,还需要输出其在三维空间中的尺寸、方向和姿态等信息。

为了实现3D目标检测,研究者们提出了多种算法,包括基于深度学习的端到端检测算法和基于几何学的算法。近年来,基于深度学习的3D目标检测算法取得了显著的进展,特别是基于点云(如PointNet、PointNet++)和基于体素(如VoxelNet)的方法。

2D的预测:xy,wh(宽高),cls类别

3D的预测:xyz,lwh(长宽高),θ朝向角度,cls类别

pointpillars和centerpoint的区别,学习,深度学习,python,人工智能,计算机视觉,自动驾驶,目标检测

pointnet

PointNet是一种用于点云处理的深度学习模型,由2017年CVPR论文《PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation》提出。该模型的主要思想是将点云数据作为输入,通过神经网络对其进行处理,以实现对点云数据的深度学习分析。pointpillars和centerpoint的区别,学习,深度学习,python,人工智能,计算机视觉,自动驾驶,目标检测

PointNet的关键创新点包括:

  1. 对称函数(Set Abstraction):为了处理点云的无序性,PointNet引入了对称函数,也称为集合函数。该操作将无序的点集表示为固定长度的向量。在PointNet中,集合函数的实现形式是基于最大池化(max)

  2. T-Net:为了获得点云的几何变换不变性,PointNet通过学习几何变换的参数,对点云数据进行对齐和变换。T-Net通过生成变换矩阵对原始点云数据进行变换,以更好地进行特征学习和提取。

  3. 多层感知器(MLP):PointNet使用多层感知器(MLP)对点云进行特征提取和分类/分割。

PointNet的主要应用包括:

  • 3D物体分类:给定N个3D的点云,通过PointNet进行分类。
  • 3D物体分割:对点云进行语义分割或实例分割。

PointNet的优势在于其简单高效的设计,能够直接处理点云数据,而无需将其转换为其他表示形式(如体素或网格)。这使得PointNet在基于点云的3D物体检测和分割任务中取得了当时最先进的性能。

voxelnet

VoxelNet是一种用于基于点云的3D物体检测的端到端学习框架,由2018年CVPR论文《VoxelNet: End-to-End Learning for Point Cloud Based 3D Object Detection》提出。该框架的主要思想是将稀疏的点云数据转换成密集的体素表示,然后使用3D卷积网络进行特征提取和物体检测。

VoxelNet框架主要包括以下步骤:

  1. 点云预处理:将稀疏的点云数据转换成规则的体素网格表示。这一步通过将点云划分成规则的体素,并对每个体素内的点进行统计(如最大值、最小值、平均值等)来实现。

  2. 体素特征提取:使用3D卷积网络从体素网格中提取特征。这些特征能够描述体素内的点云分布和结构信息。

  3. 区域提议网络(RPN):基于提取的体素特征,使用RPN生成候选物体的3D边界框提议。RPN是一个全卷积网络,能够输出一系列3D边界框提议以及每个提议的置信度。

  4. 边界框回归和分类:对RPN生成的边界框提议进行回归和分类,以获得最终的物体检测结果。这一步通常使用3D卷积网络实现。

pointpillar

PointPillar是一种用于基于激光雷达(LiDAR)点云的3D物体检测的算法,由2019年CVPR论文《PointPillars: Fast Encoders for Object Detection from Point Clouds》提出。该算法的主要思想是将稀疏的点云数据转换成伪图像表示(每一个pixel不仅有原始的2D信息还包括了高度信息),然后使用2D卷积网络进行特征提取和物体检测。voxelnet很慢也很占内存。pointpillars和centerpoint的区别,学习,深度学习,python,人工智能,计算机视觉,自动驾驶,目标检测

PointPillar框架主要包括以下步骤:

  1. 点云预处理:将稀疏的点云数据转换成规则的伪图像表示。这一步通过将点云划分成规则的柱体(pillars),并对每个柱体内的点进行统计(如最大值、最小值、平均值等)来实现。

  2. 伪图像特征提取:使用2D卷积网络从伪图像中提取特征。这些特征能够描述每个柱体内的点云分布和结构信息。

  3. 区域提议网络(RPN):基于提取的伪图像特征,使用RPN生成候选物体的3D边界框提议。RPN是一个全卷积网络,能够输出一系列3D边界框提议以及每个提议的置信度。

  4. 边界框回归和分类:对RPN生成的边界框提议进行回归和分类,以获得最终的物体检测结果。这一步通常使用3D卷积网络实现。

PointPillar的创新之处在于其高效的计算方式,能够将稀疏的点云数据转换为密集的伪图像表示,从而利用成熟的2D卷积网络进行特征提取。这使得PointPillar在基于激光雷达的3D物体检测任务中取得了当时最先进的性能。

centerpoint

pointpillars和centerpoint的区别,学习,深度学习,python,人工智能,计算机视觉,自动驾驶,目标检测

pointpillars和centerpoint的区别,学习,深度学习,python,人工智能,计算机视觉,自动驾驶,目标检测

pointpillars和centerpoint的区别,学习,深度学习,python,人工智能,计算机视觉,自动驾驶,目标检测

当anchor感应到附件有目标物体的时候,就会有一个很大的激活值,就是上面红色部分。pointpillars和centerpoint的区别,学习,深度学习,python,人工智能,计算机视觉,自动驾驶,目标检测

当物体是旋转的时候,anchor会误匹配,主要是因为anchor是正的,不能斜着

pointpillars和centerpoint的区别,学习,深度学习,python,人工智能,计算机视觉,自动驾驶,目标检测

pointpillars和centerpoint的区别,学习,深度学习,python,人工智能,计算机视觉,自动驾驶,目标检测

中心点的表征是热力图(关键点检测的loss):CLS*H*W,热力图的局部最大值认为是有目标objpointpillars和centerpoint的区别,学习,深度学习,python,人工智能,计算机视觉,自动驾驶,目标检测文章来源地址https://www.toymoban.com/news/detail-855611.html

到了这里,关于3D检测:从pointnet,voxelnet,pointpillar到centerpoint的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Center-based 3D Object Detection and Tracking(基于中心的3D目标检测和跟踪 / CenterPoint)论文笔记

    原文链接:https://arxiv.org/pdf/2006.11275.pdf         CenterPoint先使用基于激光雷达的主干网络如VoxelNet或PointPillars,压缩为BEV后,使用基于图像的关键点检测器寻找物体中心。然后对每个物体中心回归尺寸、朝向和速度。然后,第二阶段细化物体位置,提取估计的3D边界框每个

    2024年02月09日
    浏览(40)
  • 基于pointnet的3D物体分类和分割检测(复现不出来你直接敲我家门)

    录 前言 一.资料下载 1.代码下载 2.数据集下载 二.环境配置 1.本文采用设备配置说明 2.虚拟环境配置 三.训练部分 1.分类训练部分 2.分割的训练部分 四.预测部分 1.分类结果展示 2.分割结果可视化 目前,2D的物体检测算法已经非常成熟,算法准确率的上升空间已经遇到瓶颈,而

    2024年02月01日
    浏览(54)
  • 3D目标检测(一)—— 基于Point-Based方法的PointNet点云处理系列

    目录 3D目标检测(一)—— PointNet,PointNet++,PointNeXt, PointMLP 前言 零、网络使用算法 FPS最远点采样法 Ball-query球查询 一、PointNet 二、PointNet++ MSG-PointNet++ 三、PointNeXt 四、PointMLP 总结 在3D目标检测中,可以大致分为基于图像、基于点云和基于多模态融合的三种方法。而基于点

    2023年04月09日
    浏览(57)
  • VoxelNet点云检测详解

            精确的点云检测在很多三维场景的应用中都是十分重要的一环,比如家用机机器人、无人驾驶汽车等场景。然而高效且准确的点云检测在pointnet网络提出之前,一直没能取得很好的进展,因为传统的手工点云特征提取会造成信息不能被高效提取并且人为设计的特征无

    2023年04月08日
    浏览(32)
  • 【三维目标检测】CenterPoint(一)

    本文为博主原创文章,未经博主允许不得转载。 本文为专栏《python三维点云从基础到深度学习》系列文章,地址为“https://blog.csdn.net/suiyingy/article/details/124017716”。         CenterPoint是一种anchor free的三维目标检测算法模型,发表在CVPR 2021,论文名称为《Center-based 3D Objec

    2024年02月08日
    浏览(40)
  • 3D点云(3D point cloud)及PointNet、PointNet++

    https://www.youtube.com/watch?v=Ew24Rac8eYE 传统图像数据是2维的 3D点云是3维的,可以表达更多信息 比如对化工厂进行违章识别、安全隐患的识别 城市管理 点云分割 点云补全 点云生成 点云物体检测(3D物体检测) 点云配准(后续任务的基础) 一般点云数据都是基于激光雷达扫描生

    2024年02月02日
    浏览(43)
  • Pointpillars三维点云实时检测

    目录 一、项目方案 二、项目准备工作 1.安装并配置好Openpcdet的环境 2.安装好ROS melodic 三、项目工作空间创建及代码配置 四、具体代码修改与讲解 launch/pointpillars.launch的修改 launch/pointpillars.rviz的修改 五、实时检测效果展示 六、项目思考以及未解决的问题 七、Reference ROS的通

    2024年02月02日
    浏览(50)
  • 点云检测算法之PointPillar深度解读

    论文地址: https://arxiv.org/abs/1812.05784 代码地址: https://github.com/open-mmlab/OpenPCDet Git链接: 计算机视觉知识汇总 课程来源 : 深蓝学院-环境感知 这是一篇来自19年工业界的文章,在此之前对于不规则的稀疏的点云的做法普遍分为两派: 将点云数据量化到一个个Voxel里,常见的有Voxel

    2024年02月08日
    浏览(40)
  • Apollo官方课程算法解读笔记——激光雷达感知模块、基于PointPillars的激光雷达点云检测算法、PointPillars模型的部署和优化模型的部署和优化

    感知模块检测效果: 左边为摄像头拍摄图像,激光雷达感知不依赖左边CAMERA,而是点云数据对应的效果图(黄色上方数字为Tracking ID) 主车红灯时的激光点云检测效果图 车道线给CAMERA提供一个标定参考,使得camera检测出来的障碍物从2维转化为3维的信息,因为此标定的参考,

    2024年02月14日
    浏览(44)
  • 使用 PointNet 进行3D点集(即点云)的分类

    无序3D点集(即点云)的分类、检测和分割是计算机视觉中的核心问题。此示例实现了开创性的点云深度学习论文PointNet(Qi 等人,2017)。 如果使用 colab 首先安装 trimesh  !pip install trimesh 。

    2024年02月07日
    浏览(40)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包