【3D目标检测】Monocular 3D Object Detection with Pseudo-LiDAR Point Cloud

这篇具有很好参考价值的文章主要介绍了【3D目标检测】Monocular 3D Object Detection with Pseudo-LiDAR Point Cloud。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

概述

本文的输入数据仅仅是单目图像,在方法上是融合了伪点云(Pseudo-LiDAR)的深度信息表示方法与Frustum PointNets的检测方法。
乍一看文章和伪点云原论文Pseudo-LiDAR from Visual Depth Estimation: Bridging the Gap in 3D Object Detection for AD一模一样,但是会更具体一点,也就是本文只关注单目图像,同时解决了一些伪点云存在的问题。

ps:作者提到了其他设备的一些弊端:深度相机能捕捉的范围很有限;双目相机工作的流程很麻烦,需要校准与同步;激光雷达就不用说了,很贵 哈哈哈哈哈。相比之下,单目相机既便宜又方便安装,能捕捉的范围也大,核心问题就是没有深度信息。

整体流程

【3D目标检测】Monocular 3D Object Detection with Pseudo-LiDAR Point Cloud

伪点云vs点云

伪点云和点云的差别:

  • 伪点云在整体上看是和原始点云对齐的很好的,但是局部上是对齐的很不好。
  • 伪点云中的目标存在长尾
  • 伪点云的点密度会比原始点云高一个量级

【3D目标检测】Monocular 3D Object Detection with Pseudo-LiDAR Point Cloud

主要原因:单目深度估计效果不好。
造成影响:

  • 在不对齐的伪点云上提取到的视锥的局部也可能是不对齐的,从而导致目标中心的预测效果不好(尤其是对远处的物体),进而导致最终的边界框预测不好;
  • 预测物体的尺寸会变得困难
  • 存在很多冗余点

作者给出的解决:

  • 对于局部不对齐问题,想当然的两种思路,一种是使得伪点云对齐,另一种是就是基于不对齐的伪点云得到一个尽可能对齐的预测结果,如果效果还不好的话就使用一些方法做后处理增强。第一种思路不太行,因为伪点云的不对齐是由于单目深度估计效果不佳导致的,难以解决。因此作者采用了第二种思路。
  • 使用一个2D-3D边界框的一致性约束,使得预测出来的3D边界框在图像上的投影与2D候选框有很高的重叠,具体来说就是训练的时候添加了一项损失bounding box consistency loss (BBCL) 。作者还做了一个后处理增强,就是测试的时候使用了一个优化模块bounding box consistency optimization (BBCO)
  • 将Frustum PointNets中2D候选框的产生方法由 目标检测转换成了实例分割,使得视锥点云不带有长尾,并且减少了视锥中的冗余点云的数量。

【3D目标检测】Monocular 3D Object Detection with Pseudo-LiDAR Point Cloud

2D-3D边界框的一致性约束

基本的假设是:不准确的3D边界框对应的2D投影与2D候选框的IOU是不够大的,而我们要是能够使得这个指标足够大,就能够提升3D边界框与3D gt box的3D IOU。
具体做法:我们将预测的边界框的7个参数转换成对应3D空间中的8个角点,使用相机的投影矩阵转换成2D当中的8个点(类似于相机成像的原理),接着得到这8个点的最小包围矩形框(用4个参数x,y,w,h表示)。同理,2D实例分割的结果也能被转换为最小的包围矩形框(用4个参数x,y,w,h表示),我们的目标是这两个矩形框尽可能的接近。训练的过程中就是使用smooth L1损失处理这四个参数,测试的时候做了一步后处理优化,但是作者没细讲,或者我没看懂害。文章来源地址https://www.toymoban.com/news/detail-448414.html

到了这里,关于【3D目标检测】Monocular 3D Object Detection with Pseudo-LiDAR Point Cloud的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 基于深度学习的目标检测的介绍(Introduction to object detection with deep learning)

    物体检测的应用已经深入到我们的日常生活中,包括安全、自动车辆系统等。对象检测模型输入视觉效果(图像或视频),并在每个相应对象周围输出带有标记的版本。这说起来容易做起来难,因为目标检测模型需要考虑复杂的算法和数据集,这些算法和数据集在我们说话的时

    2024年02月11日
    浏览(35)
  • 【3D目标检测】3D Object Detection from Images for Autonomous Driving: A Survey

    这是一篇22年的综述,介绍了3D目标检测中基于图像的检测算法。 背景: 基于图像的3D目标检测是一个病态的问题,因为我们要做的是从2D的输入中得到一个3D的结果。 相关性: 基于图像的3D目标检测通常会与很多任务,如2D目标检测、深度估计、立体匹配和基于点云的3D目标

    2024年02月08日
    浏览(47)
  • 【3D目标检测】PDV(Point Density-Aware Voxels for LiDAR 3D Object Detection)

    首先,本文是 基于点云,并且将点云处理成体素 的3D目标检测网络。 本文的核心概念就是点密度,主要贡献如下: Voxel Point Centroid Localization(体素点质心定位)就是使用非空体素中点计算体素的质心,然后结合质心点的特征得到包含细粒度位置信息的点密度分布,并使用它

    2024年02月10日
    浏览(34)
  • DSGN: Deep Stereo Geometry Network for 3D Object Detection---基于双目视觉的3D目标检测(1)

    为了弥合2D图像和3D空间之间的差距,在平面扫描体中建立立体对应关系,然后将其转换为3DGV(3D geometric volume),以便能够对3D几何体和语义线索进行编码,并能在世界坐标系中进行目标检测。 设计了一条端到端的pipeline,用于提取像素级特征以进行立体匹配,并提取高级特

    2024年02月12日
    浏览(38)
  • 论文笔记 - :DIGGING INTO OUTPUT REPRESENTATION FOR MONOCULAR 3D OBJECT DETECTION

    Title: 深入研究单目 3D 物体检测的 输出表示 单目 3D 对象检测旨在从单个图像中识别和定位 3D 空间中的对象。最近的研究取得了显着的进展,而所有这些研究都遵循基于 LiDAR 的 3D 检测中的典型输出表示。 然而,在本文中,我们认为现有的离散输出表示不适合单目 3D 检测。具

    2024年04月09日
    浏览(41)
  • Center-based 3D Object Detection and Tracking(基于中心的3D目标检测和跟踪 / CenterPoint)论文笔记

    原文链接:https://arxiv.org/pdf/2006.11275.pdf         CenterPoint先使用基于激光雷达的主干网络如VoxelNet或PointPillars,压缩为BEV后,使用基于图像的关键点检测器寻找物体中心。然后对每个物体中心回归尺寸、朝向和速度。然后,第二阶段细化物体位置,提取估计的3D边界框每个

    2024年02月09日
    浏览(35)
  • LATR:3D Lane Detection from Monocular Images with Transformer

    参考代码:LATR 动机与主要工作: 之前的3D车道线检测算法使用诸如IPM投影、3D anchor加NMS后处理等操作处理车道线检测,但这些操作或多或少会存在一些负面效应。IPM投影对深度估计和相机内外参数精度有要求,anchor的方式需要一些如NMS的后处理辅助。这篇文章主要的贡献有

    2024年02月04日
    浏览(40)
  • FCOS3D: Fully Convolutional One-Stage Monocular 3D Object Detection

    Paper name FCOS3D: Fully Convolutional One-Stage Monocular 3D Object Detection Paper Reading Note URL: https://arxiv.org/pdf/2104.10956.pdf 基于 Fcos 改进的 3d 检测方案,在 NeurIPS 2020 的 nuScenes 3d 检测比赛上取得了第一名成绩 Fcos3d 方案 将 7-DoF 3D 目标解耦为 2D 和 3D 的属性 考虑对象的二维比例,将对象分布到

    2023年04月08日
    浏览(62)
  • MonoDETR: Depth-guided Transformer for Monocular 3D Object Detection 论文解读

    单目目标检测在自动驾驶领域,一直是一个具有挑战的任务。现在大部分的方式都是沿用基于卷积的2D 检测器,首先检测物体中心,后通过中心附近的特征去预测3D属性。 但是仅仅通过局部的特征去预测3D特征是不高效的,且并没有考虑一些长距离的物体之间的深度关系,丢

    2024年02月09日
    浏览(41)
  • 论文精读 《CaDNN: Categorical Depth Distribution Network for Monocular 3D Object Detection》

    研究动机:单目3D目标检测难以预测物体的深度 单目 3D 目标检测是自动驾驶领域的一个关键问题,因为它与典型的多传感器系统相比配置比较简单。 单目 3D 检测的主要挑战在于准确预测物体深度 ,由于缺乏直接的距离测量,因此必须从物体和场景线索推断出物体深度。许多

    2023年04月22日
    浏览(80)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包