论文阅读:Offboard 3D Object Detection from Point Cloud Sequences

这篇具有很好参考价值的文章主要介绍了论文阅读:Offboard 3D Object Detection from Point Cloud Sequences。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

目录

概要

Motivation

整体架构流程

技术细节

3D Auto Labeling Pipeline

The static object auto labeling model

The dynamic object auto labeling model

小结


论文地址:[2103.05073] Offboard 3D Object Detection from Point Cloud Sequences (arxiv.org)

概要

    该论文提出了一种利用点云序列数据进行离线三维物体检测的方法,称为3D Auto Labeling。相比现有的三维物体检测方法,该方法能够更好地满足离线场景下高质量的要求。该方法利用点云序列中不同帧所捕获的物体的互补视角信息,通过多帧物体检测和新颖的物体中心优化模型来利用时间点云。在Waymo公开数据集上的评估结果表明,该方法相比于现有的三维物体检测方法和离线基准有显著提升,甚至可以与人工标签的效果媲美。该方法还具有半监督学习和应用自动标签的能力。

论文阅读:Offboard 3D Object Detection from Point Cloud Sequences,论文学习,论文阅读,计算机视觉,目标跟踪,3d

    关键是使用点云序列数据来进行物体检测,并设计了一个新的离线物体检测管道,利用多帧物体检测和新的物体中心检测模型来提高检测准确性。同时,还利用了物体轨迹数据来对物体的运动状态进行分类,并引入了一个动态物体自动标注模型和一个静态物体自动标注模型来生成高质量的自动标注数据。这些自动标注数据可以用于半监督学习,以提高检测性能。

Motivation

  • 由于有限的输入和速度限制,现有的3D目标检测器无法满足机外使用的高质量要求。大多数3D预测研究都集中在实时车载用例上,只考虑来自当前帧或少数历史帧的传感器输入。
  • 4D标注数据内含物体动态行为信息,为高等级自动驾驶的必要输入;
  • 4D人工标注极为耗时,据统计,人工标注25秒10Hz的点云序列中物体4D框,平均需要10小时,成本高,可扩展性差。

整体架构流程

该方法主要运用coarse-to-fine的思想使得检测结果更为准确:

  • 第一阶段通过现有的检测、跟踪方法,生成粗标注;
  • 第二阶段通过汇总跟踪框内的点云,生成精细标注。   

技术细节

    为了充分利用时态点云,摒弃了基于帧的通用输入结构,其中点云的整个帧被合并。转向以目标为中心的设计。首先利用性能最佳的多帧检测器来提供初始目标定位。然后,通过多目标跟踪链接在不同帧中检测到的目标。基于检测box和原始点云序列,可以提取物体的整个跟踪数据,包括其所有传感器数据(点云)和检测box,即4D:3D空间+1D时间。然后,提出了新的深度网络模型来处理这样的4D目标跟踪数据,并输出时间已知且高质量的目标box。

3D Auto Labeling Pipeline

    3D Auto Labeling管道。给定一个点云序列作为输入,管道首先利用3D对象检测器来定位每一帧中的对象。然后跨帧的对象框通过多目标跟踪器链接。为每个对象提取对象跟踪数据(其每帧的点云及其 3D 边界框),然后通过以对象为中心的自动标记(静态和动态轨迹的分而治之)生成最终的“自动标签”,即细化的 3D 边界框。

论文阅读:Offboard 3D Object Detection from Point Cloud Sequences,论文学习,论文阅读,计算机视觉,目标跟踪,3d

The static object auto labeling model

    静态对象自动标记模型。将世界坐标中合并的对象点作为输入,模型输出静态对象的单个框。

    先做前景分割,分割出前景背景点.然后用提取前景点,回归物体的目标框.
1)前景分割的网络:PointNet分割网络,MLPx5 -> 1024->maxpool -> concat to 1088(1024 + 64)->预测出2维
2)目标框回归网络:PointNet的变体,输出(3 dim,heading,size,cls)
3)进行级联微调,再让transform过的前景点经过一次目标框回归网络.
两个回归网络共享参数的效果更好。

论文阅读:Offboard 3D Object Detection from Point Cloud Sequences,论文学习,论文阅读,计算机视觉,目标跟踪,3d

The dynamic object auto labeling model

    动态对象自动标记模型。以一系列对象点和一系列对象框,模型以滑动窗口方式运行,并为中心帧输出细化的 3D 框。输入点和框颜色表示帧。

论文阅读:Offboard 3D Object Detection from Point Cloud Sequences,论文学习,论文阅读,计算机视觉,目标跟踪,3d

    对于点云分支,模型采用目标点云的子序列。向每个点添加时间编码通道后,子序列点通过并集合并,并在中心帧处为检测器box的box坐标。接着有一个基于PointNet的分割网络来对前景点进行分类,然后通过另一个点编码网络将目标点编码为一个embedding。对于长方体序列分支,长方体序列帧将转换为长方体框架处探测器box的坐标。长方体子序列可以比点子序列长,以捕获长的轨迹嵌入,其中每个box是一个具有7维几何和1维时间编码的点。然后,将计算出的目标嵌入和轨迹嵌入连接起来,形成联合嵌入,然后通过一个box回归网络预测帧处的目标box。(参考:Offboard 3D Object Detection From Point Cloud Sequences-CSDN博客)文章来源地址https://www.toymoban.com/news/detail-739017.html

小结

  1. 制定车载 3D 目标检测问题和特定管道 (3D Auto Labeling) 的提议,该管道利用了我们的多帧检测器和新颖的以对象为中心的自动标记模型;
  2. 在具有挑战性的Waymo开放数据集上实现最先进的3D目标检测性能;
  3. 3D目标检测的人体标签研究,以及人体标签和自动标签之间的比较;
  4. 证明了自动标签对半监督学习的有效性。

到了这里,关于论文阅读:Offboard 3D Object Detection from Point Cloud Sequences的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 论文阅读:CenterFormer: Center-based Transformer for 3D Object Detection

    目录 概要 Motivation 整体架构流程 技术细节 Multi-scale Center Proposal Network Multi-scale Center Transformer Decoder Multi-frame CenterFormer 小结 论文地址: [2209.05588] CenterFormer: Center-based Transformer for 3D Object Detection (arxiv.org) 代码地址: GitHub - TuSimple/centerformer: Implementation for CenterFormer: Center-base

    2024年02月07日
    浏览(43)
  • 论文阅读RangeDet: In Defense of Range View for LiDAR-based 3D Object Detection

    论文:https://arxiv.org/pdf/2103.10039.pdf 代码:https://github.com/tusen-ai/RangeDet 提出了一个名为RangeDet的新型3D物体检测技术,利用激光雷达数据。 RangeDet的核心在于使用了一种紧凑的表示方法,称为范围视图,与其他常用方法相比,它避免了计算误差。 根据论文中的讨论,使用范围视

    2024年04月13日
    浏览(53)
  • 论文阅读 TripoSR: Fast 3D Object Reconstruction from a Single Image 单张图片快速完成3D重建

    本文为记录自己在NeRF学习道路的一些笔记,包括对论文以及其代码的思考内容。公众号: AI知识物语 B站讲解:出门吃三碗饭 论文地址: https://arxiv.org/abs/2403.02151 代码: https://github.com/VAST-AI-Research/Tr ipoSR 先来看下演示效果 TripoSR可以在0.5秒内从单张图片重建高质量3D模型,并

    2024年04月14日
    浏览(44)
  • 【论文阅读】多目标跟踪—ByteTrackV2: 2D and 3D Multi-Object Tracking by Associating Every Detection Box

    写在前面: ByteTrack作者今年3月的新作品,升级了的V2版本并不是仅仅将ByteTrack扩展到三维场景,而是在二阶段匹配的框架下,结合了JDT和TBD常用的两种基于运动模型进行匹配的方法,提出了一种新的运动匹配模式,思路新颖,在三维MOT数据集nuScence上也达到了state-of-the-art。注

    2024年02月04日
    浏览(52)
  • 【3D目标检测】PDV(Point Density-Aware Voxels for LiDAR 3D Object Detection)

    首先,本文是 基于点云,并且将点云处理成体素 的3D目标检测网络。 本文的核心概念就是点密度,主要贡献如下: Voxel Point Centroid Localization(体素点质心定位)就是使用非空体素中点计算体素的质心,然后结合质心点的特征得到包含细粒度位置信息的点密度分布,并使用它

    2024年02月10日
    浏览(40)
  • 论文阅读:PointCLIP: Point Cloud Understanding by CLIP

     CVPR2022 链接:https://arxiv.org/pdf/2112.02413.pdf         最近,通过对比视觉语言预训练(CLIP)的零镜头学习和少镜头学习在2D视觉识别方面表现出了鼓舞人心的表现,即学习在开放词汇设置下将图像与相应的文本匹配。然而,在二维大规模图像文本对的预训练下,CLIP识别能否推

    2024年02月04日
    浏览(74)
  • 【3D目标检测】3D Object Detection from Images for Autonomous Driving: A Survey

    这是一篇22年的综述,介绍了3D目标检测中基于图像的检测算法。 背景: 基于图像的3D目标检测是一个病态的问题,因为我们要做的是从2D的输入中得到一个3D的结果。 相关性: 基于图像的3D目标检测通常会与很多任务,如2D目标检测、深度估计、立体匹配和基于点云的3D目标

    2024年02月08日
    浏览(50)
  • Rethinking Point Cloud Registration as Masking and Reconstruction论文阅读

    2023 ICCV * Guangyan Chen, Meiling Wang, Li Yuan, Yi Yang, Yufeng Yue* ; Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), 2023, pp. 17717-17727 paper: Rethinking Point Cloud Registration as Masking and Reconstruction (thecvf.com) code: CGuangyan-BIT/MRA (github.com) 这论文标题就很吸引人,但是研读下来作者只是想

    2024年02月08日
    浏览(45)
  • 3D Object Detection经典论文整理【分类/下载/代码/笔记】

    3D Object Detection经典论文整理 【分类/下载/代码/笔记】 W.P. Xiao, Visual group, SHUSV 版本 更新时间 更新内容 作者 1 V 1.0 2021.12 论文分类整理 W.P. Xiao 2 V 1.0.1 2022.1.7 更新code链接 Y.Q. Wu 目录   笔者分类整理了与三维目标检测有关的经典论文和部分最新论文的PDF下载链接、开源代码

    2023年04月27日
    浏览(41)
  • 论文阅读 The Power of Tiling for Small Object Detection

    Abstract 基于深度神经网络的技术在目标检测和分类方面表现出色。但这些网络在适应移动平台时可能会降低准确性,因为图像分辨率的增加使问题变得更加困难。在低功耗移动设备上实现实时小物体检测一直是监控应用的基本问题之一。在本研究中,我们解决了在高分辨率微

    2024年02月11日
    浏览(46)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包