【BEV感知】BEV-LaneDet:3D 车道线检测算法

这篇具有很好参考价值的文章主要介绍了【BEV感知】BEV-LaneDet:3D 车道线检测算法。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

bev 3d车道线,BEV感知,自动驾驶,深度学习
论文:https://arxiv.org/abs/2210.06006
GitHub:GitHub-gigo-team/bev_lane_det

1. 概述

介绍:这篇文章是毫末智行在单目场景下在bev视图下实现车道线检测的方法,其车道线检测的基础方法是源自于bev视图下车道线分割,再通过预测几个附加预测头用于辅助后处理。具体来讲创新点主要有三点:
(1)使用MLP进行2D特征到3D BEV特征的空间转换(为了方便部署,没有使用Transformer和Ray的方法)
(2)使用虚拟相机(因为步骤一的缘故)
(3)3D车道线文检测头:车道线语义分割(confidence)+ 预测车道线偏移量(offset)+ 车道线实例辅助信息(embedding)+ 车道线高度信息(height)

2. 方法设计

2.1 整体pipeline

这篇文章的算法整体流程见下图所示:
bev 3d车道线,BEV感知,自动驾驶,深度学习

2.2 2D feature -> 3D BEV feature

为什么选择MLP作为空间转化(VPN,VRM)
这有两点原因,一是部署方便,二是效果比较好。
实际上我么在开始的时候优先选择 基于transformer的方法(BEVFormer,PersFormer等) 和 基于ray的方法(LSS,Fast-BEV等) 等思路,然而发现这两个方法对于车道线检测这种静态的任务效果并没有那么理想。而且更加重要的是,这两个算法相当吃芯片,具体来说有的芯片支持,有的不支持(或者支持的不友好)。此外这两种算法一般转化到BEV后的feature 分辨率一般比较大,通常需要下采样再上采样,计算量也挺大的。

2D特征到BEV实际是坐标的转换,在这篇文章中使用全连接的形式实现坐标转换,同时还使用了多个尺度的特征作为信息来源。其过程见下图所示:

bev 3d车道线,BEV感知,自动驾驶,深度学习

在上图中画了3个VRM(View Relation Module),而实际上使用了两个(分别是stride为32和64的特征),使用这么小的分辨率是因为对网络来讲更好学习。那么通过全连接形式得到的bev特征描述为:
bev 3d车道线,BEV感知,自动驾驶,深度学习

2.3 虚拟相机 virtual camera

为什么使用Virtual Camera 呢? 和特斯拉在它的AI Day上发布的Virtual Camera 不一样,我们是被逼出来的。正如前面所说的,作者决定用VPN这样的空间转化模块,但是VPN不能够和好的融入相机内外参数,因此作者决定效仿STN在模型的预处理部分进行空间统一化。这样一来模型就不再关心相机内外参数。

bev 3d车道线,BEV感知,自动驾驶,深度学习

2.4 BEV下车道线检测(Key-Points Representation)

在3D车道线预测部分采用的是类似YOLO的检测方案,其包含了预测是否为车道线 (confidence)、距离具体车道线的偏移(offset)、车道线实例信息(embedding)和车道线高度信息(height of lane)。对于其中的前三个其预测流程见下图所示:bev 3d车道线,BEV感知,自动驾驶,深度学习

confidence

这里使用二值分割描述对应bev grid是否为车道线上的点(bev上的某个grid),使用交叉上损失进行监督
bev 3d车道线,BEV感知,自动驾驶,深度学习

offset

这一项代表的是车道线上的点(bev上的某个grid)中心距离车道线的偏移量,这样可以更加准确预测车道线的未知,避免量化误差。
bev 3d车道线,BEV感知,自动驾驶,深度学习

embedding

在得到车道线基础上还需要得到车道线的实例信息,对此这里参考LaneDet中的方法使用embedding的方式学习线的聚类信息。首先需要拉近同一根车道线的特征表达:
bev 3d车道线,BEV感知,自动驾驶,深度学习
再拉远不同车道线的特征表达:
bev 3d车道线,BEV感知,自动驾驶,深度学习

之后将两者损失组合起来:
bev 3d车道线,BEV感知,自动驾驶,深度学习

车道线的高度(height of lane)

以上过程得到的车道线都是在切平面Proad​ 上的,对此还需要计算其高度偏差
bev 3d车道线,BEV感知,自动驾驶,深度学习
最后总的信息是上述bev下车道线和 2d下车道线检测的组合形式。过这里有一点是没有对车道线的类别进行分类。上述一些变量对性能的影响见下表:
bev 3d车道线,BEV感知,自动驾驶,深度学习

3. 实验结果

OpenLane数据集上的性能表现:
bev 3d车道线,BEV感知,自动驾驶,深度学习

可视化:
bev 3d车道线,BEV感知,自动驾驶,深度学习文章来源地址https://www.toymoban.com/news/detail-849284.html

到了这里,关于【BEV感知】BEV-LaneDet:3D 车道线检测算法的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 【多模态融合】MetaBEV 解决传感器故障 3D检测、BEV分割任务

    本文介绍多模态融合中,如何解决传感器故障问题;基于激光雷达和相机,融合为BEV特征,实现3D检测和BEV分割,提高系统容错性和稳定性。 会讲解论文整体思路、模型框架、论文核心点、损失函数、实验与测试效果等。 论文地址:MetaBEV: Solving Sensor Failures for BEV Detection an

    2024年04月28日
    浏览(38)
  • CVPR'23论文一览 | 多模态/3D检测/BEV/跟踪/点云等多个方向!

    点击下方 卡片 ,关注“ 自动驾驶之心 ”公众号 ADAS巨卷干货,即可获取 点击进入→ 自动驾驶之心【全栈算法】技术交流群 Referring Multi-Object Tracking 研究背景:多目标跟踪(MOT)是指在视频中检测并跟踪多个感兴趣的对象,并为它们分配唯一的ID。现有的MOT方法通常依赖于视

    2024年02月05日
    浏览(51)
  • 消除 BEV 空间中的跨模态冲突,实现 LiDAR 相机 3D 目标检测

    Eliminating Cross-modal Conflicts in BEV Space for LiDAR-Camera 3D Object Detection 近期,3D目标检测器通常利用多传感器数据和在共享的鸟瞰图(BEV)表示空间中统一多模态特征。然而,我们的实证研究发现,以前的方法在生成无跨模态冲突的融合BEV特征方面存在局限性。这些冲突包括由BEV特

    2024年04月15日
    浏览(53)
  • 3D目标检测数据集 KITTI(标签格式解析、点云转图像、点云转BEV)

    本文介绍在3D目标检测中,理解和使用KITTI 数据集,包括KITTI 的基本情况、下载数据集、标签格式解析、3D框可视化、点云转图像、画BEV鸟瞰图等,并配有实现代码。 目录  1、KITTI数据集3D框可视化 2、KITTI 3D数据集 3、下载数据集 4、标签格式 5、标定参数解析 6、点云数据--投

    2024年02月09日
    浏览(43)
  • 【CV论文精读】【BEV感知】BEVDet: High-Performance Multi-Camera 3D Object Detection in Bird-Eye-View

    【CV论文精读】【BEV感知】BEVDet: High-Performance Multi-Camera 3D Object Detection in Bird-Eye-View BEVDet:鸟瞰下的高性能多摄像机三维目标检测 自动驾驶感知周围环境进行决策,这是视觉感知中最复杂的场景之一。范式创新在解决2D目标检测任务中的成功激励我们寻求一种优雅、可行和可

    2024年02月22日
    浏览(46)
  • 3D目标检测数据集 KITTI(标签格式解析、3D框可视化、点云转图像、BEV鸟瞰图)

    本文介绍在3D目标检测中,理解和使用KITTI 数据集,包括KITTI 的基本情况、下载数据集、标签格式解析、3D框可视化、点云转图像、画BEV鸟瞰图等,并配有实现代码。 目录  1、KITTI数据集3D框可视化 2、KITTI 3D数据集 3、下载数据集 4、标签格式 5、标定参数解析 6、点云数据--投

    2024年02月08日
    浏览(41)
  • 详解视觉BEV3D检测模型: Fast-BEV: A Fast and Strong Bird‘s-Eye View Perception Baseline

    本文介绍一篇视觉BEV3D检测模型: Fast-BEV ,论文收录于 NeurIPS2022 。 目前大多数现有的BEV感知方案要么需要相当多的资源来执行车端推理,要么性能不高。本文提出了一种简单而有效的框架,称为 Fast-BEV ,它能够在车载芯片上执行更快的BEV感知。为了实现这一目标,本文通过试

    2024年02月02日
    浏览(44)
  • 代客泊车的环视图鱼眼BEV感知的数据集、基线方法和克服畸变的多任务框架

    点云PCL免费知识星球,点云论文速读。 文章:Surround-view Fisheye BEV-Perception for Valet Parking: Dataset, Baseline and Distortion insensitive Multi-task Framework 作者:Zizhang Wu1 Yuanzhu Gan1 Xianzhi Li2∗ Yunzhe Wu1 Xiaoquan Wang1 Tianhao Xu3 Fan Wang1 编辑:点云PCL 欢迎各位加入免费知识星球,获取PDF论文,欢迎

    2024年02月12日
    浏览(40)
  • CFT:Multi-Camera Calibration Free BEV Representation for 3D Object Detection——论文笔记

    参考代码:暂无 介绍:在相机数据作为输入的BEV感知算法中很多是需要显式或是隐式使用相机内外参数的,但是相机的参数自标定之后并不是一直保持不变的,这就对依赖相机标定参数的算法带来了麻烦。如何提升模型对相机参数鲁棒性,甚至是如何去掉相机参数成为一种趋

    2024年02月01日
    浏览(52)
  • 【MLP-BEV(2)】LSS,2D->3D,Lift-Splat-Shoot:通过隐式反投影到3D空间实现对任意相机图像编码

    Lift-Splat-Shoot 很巧妙的利用 attention 的方式端到端地学了一个深度,但是因为没有显式的深度作为监督. 当前在BEV下进行感知方法大致分为两类,一类是以Transformer 为主体的隐式深度(Depth)信息进行转换的架构,另一类则是基于显示的深度估计投影到BEV下的方法,也就是本文

    2024年02月10日
    浏览(43)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包