自动驾驶感知——物体检测与跟踪算法|4D毫米波雷达

这篇具有很好参考价值的文章主要介绍了自动驾驶感知——物体检测与跟踪算法|4D毫米波雷达。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

1. 物体检测与跟踪算法

毫米波雷达目标跟踪,自动驾驶感知,算法,自动驾驶,聚类

1.1 DBSCAN

DBSCAN: Density Based Spatial Clustering of Applications with Noise;
DBSCAN是基于密度的聚类方法,对样本分布的适应能力比K-Means更好。
毫米波雷达目标跟踪,自动驾驶感知,算法,自动驾驶,聚类

红色的点是核心对象
黑色的点是非核心对象

注意:距离的度量不限于点的空间距离,还可以是其它点特征,比如速度、反射强度等
基本思路
假定类别可以通过样本分布的紧密程度决定,通过将紧密相连的样本分为一类,得到不同的聚类类别。

基本概念

  • ( ε , M i n P t s ) (\varepsilon ,MinPts) (ε,MinPts):用来描述邻域的密度;
  • ε \varepsilon ε:描述了某一样本的邻域距离阈值;
  • M i n P t s MinPts MinPts:描述了邻域中的最小样本数。
  • 核心对象:对于任一样本,其邻域至少包含MinPts个样本。

算法流程

  1. 找到所有的核心对象
  2. 对于每一个未处理的核心对象,生成新的聚类;
  3. 搜索其 ε \varepsilon ε邻域,将 ε \varepsilon ε邻域中的点加入该聚类;
  4. 不断重复以上步骤

DBSCAN的详细讲解可以参考这篇博文DBSCAN详解
K-Means毫米波雷达目标跟踪,自动驾驶感知,算法,自动驾驶,聚类
K-Means与DBSCAN 的对比

K-Means

  • 需要手工指定cluster的数量
  • 所有点都进行聚类,不会去除outlier
  • 各个方向同等重要,只适合于球形的cluster
  • 具有随机性,每次运行结果不一致

DBSCAN

  • 不需要指定cluster个数
  • 可以排除outlier
  • 对样本分布的适应性更好
  • 每次运行结果是一致的

1.2 卡尔曼滤波

本节只是对卡尔曼滤波的应用进行介绍,具体原理可见这篇博客——详解卡尔曼滤波原理以及https://www.kalmanfilter.net/
毫米波雷达目标跟踪,自动驾驶感知,算法,自动驾驶,聚类
基本概念

以一维雷达测距为例,假设速度恒定,
系统状态 x t x_t xt: t t t时刻飞机的航程;
测量值 z t z_t zt:雷达测距结果;
系统状态的估计值 x ⃗ t , t {\vec x_{t,t}} x t,t: t t t时 刻 x x x的估计值(根据 z z z估计) ;
系统状态的预测值 x ⃗ t + 1 , t {\vec x_{t + 1,t}} x t+1,t: t + 1 t+1 t+1时刻 x x x的预测值(根据速度预测)
毫米波雷达目标跟踪,自动驾驶感知,算法,自动驾驶,聚类
毫米波雷达目标跟踪,自动驾驶感知,算法,自动驾驶,聚类毫米波雷达目标跟踪,自动驾驶感知,算法,自动驾驶,聚类

雷达目标跟踪:多目标.
Tracking-by-Detection

  1. 由聚类算法在单帧点云得到目标输出;
  2. 提取目标的特征,包括统计特征(比如点位置的均值,方差等)和运动特征(比如速度和加速度等) ;
  3. 根据特征计算当前帧的检测目标(detections)与已跟踪的多个目标(tracks)的相似度;
  4. 按照相似度将de tections分配给tracks;
  5. 卡尔曼滤波更新tracks的状态参数(位置、速度等)。

2. 毫米波雷达公开数据库的未来发展方向

  • 单模态数据库
    • 只包含雷达数据,相对来说应用范围较窄
    • 很难进行准确有效的标注
  • 多模态数据库
    • 除了雷达数据,还包括同步的图像和激光雷达数据
    • 雷达数据:数据块或者点云

NuScenes,CARRADA,SCORP,CRUW,SeeingThroughFog
未来发展方向

  • 多模态数据
    ➢包括同步的图像,激光雷达等数据,用来进行多传感器融合的研究。

  • 多数据类型
    ➢包括ADC数据,RAD数据,点云数据等,为不同层次的算法研究和实际应用提供支持。

  • 360度视场
    ➢需要多个雷达配合完成,以满足多种自动驾驶应用的需求。8.01。

  • 大规模数据
    ➢一般来说,至少要有超过10万帧的不同场景,不同天气条件下采集的数据。

  • 丰富的标注信息
    ➢物体级:类别,位置,大小,方向,分割的mask
    ➢场景级:语义信息,比如free space, occupied space等。

3. 4D毫米波雷达特点及发展趋势

3.1 4D毫米波雷达特点

4D指的是距离(Range) ,水平角度(Azimuth) ,俯仰角度( Elevation)和速度(Doppler) 。一般来说, 4D 毫米波雷达的角度分辨率相对较高,因此也经常被称为4D成像雷达。

4D毫米波雷达的两个主要特点是:
1)可以测量高度的信息;
2)角度分辨率较高

为了更好的理解这两点,首先要了解FMCW雷达角度分辨率的依赖因素,以及为了增加角度分辨率所采用的MIMO机制。

3.1.1 FMCW雷达角度分辨率

想要测量目标的方位角,至少需要两个接收天线(RX).可以通过相位差来求得方位角 θ = sin ⁡ − 1 ( ω λ 2 π d ) \theta = {\sin ^{ - 1}}(\frac{{\omega \lambda }}{{2\pi d}}) θ=sin1(2πdωλ)
毫米波雷达目标跟踪,自动驾驶感知,算法,自动驾驶,聚类
在有多个接收天线时,每个接收信号与前一个接收信号之间的相位差都是 ω \omega ω。以下图为例,假设有4个接收天线,以第一个接收天线为基准,4个接收信号的相位差分别为0, ω \omega ω,2 ω \omega ω,3 ω \omega ω。这个序列信号的变化频率就是 ω \omega ω,因此我们通过FFT来提取这个分量(也就是角度FFT)。
毫米波雷达目标跟踪,自动驾驶感知,算法,自动驾驶,聚类
如果场景中存在多个目标,而且其距离和速度都相同,那么雷达能够区分这些目标的最小角度差称之为角度分辨率。假设有以下场景,场景中有两个目标,其方位角分别为 θ \theta θ θ + Δ θ \theta+\Delta\theta θ+Δθ,对应的相位差分别为 ω 1 \omega_1 ω1 ω 2 \omega_2 ω2 ω 1 = 2 π λ d sin ⁡ ( θ ) {\omega _1} = \frac{{2\pi }}{\lambda }d\sin (\theta ) ω1=λ2πdsin(θ) ω 2 = 2 π λ d sin ⁡ ( θ + Δ θ ) {\omega _2} = \frac{{2\pi }}{\lambda }d\sin (\theta + \Delta \theta ) ω2=λ2πdsin(θ+Δθ) Δ ω = ω 2 − ω 1 = 2 π d λ ( sin ⁡ ( θ + Δ θ ) − sin ⁡ ( θ ) ) \Delta \omega = {\omega _2} - {\omega _1} = \frac{{2\pi d}}{\lambda }(\sin (\theta + \Delta \theta ) - \sin (\theta )) Δω=ω2ω1=λ2πd(sin(θ+Δθ)sin(θ))因为 sin ⁡ ( θ ) \sin(\theta) sin(θ)的导数为 cos ⁡ ( θ ) \cos(\theta) cos(θ),所以可得 Δ ω = 2 π d λ ( cos ⁡ ( θ ) Δ θ ) \Delta \omega = \frac{{2\pi d}}{\lambda }(\cos (\theta )\Delta \theta ) Δω=λ2πd(cos(θ)Δθ)根据傅里叶变换理论,N点的FFT可以区分的频率分量最小为2π/N,这里的N就是接收天线的个数。这样我们就可以得到可以分辨的最小角度差,也就是角度分辨率。 Δ ω > 2 π N \Delta \omega > \frac{{2\pi }}{N} Δω>N2π ⇒ 2 π d λ ( cos ⁡ ( θ ) Δ θ ) > 2 π N \Rightarrow \frac{{2\pi d}}{\lambda }(\cos (\theta )\Delta \theta ) > \frac{{2\pi }}{N} λ2πd(cos(θ)Δθ)>N2π ⇒ Δ θ > λ N d cos ⁡ ( θ ) \Rightarrow \Delta \theta > \frac{\lambda }{{Nd\cos (\theta )}} Δθ>Ndcos(θ)λ通常来说,我们取 d = λ / 2 , θ = 0 d = λ/2, θ = 0 d=λ/2,θ=0 (boresight 方向,也就是雷达的中心朝向)。这时,角度分辨率公式为: θ R E S = 2 N {\theta _{RES}} = \frac{2}{N} θRES=N2

从上面的推导可以看出,角度分辨率主要依赖于两个因素: 1) 目标的方位角。在boresight方向分辨率最高。越靠近雷达FOV的边缘,角度分辨率越低。2)天线的个数。角度分辨率与天线个数城正比关系。第一个因素我们无法控制,而提高FMCW雷达角度分辨率的主要手段就是增加天线个数。

3.1.2 MIMO ( Multiple Input Multiple Output)技术

从角度分辨率的计算公式中可以看到,想要提高雷达的角度分辨率,必须增加接收天线的个数。但是,增加天线的个数,会使天线体积变得很大,此外每一个接收天线上都要附加一个单独的链路来处理信号,比如混频器、IF滤波器和ADC。不仅硬件设计变得复杂,而且成本也会增加。毫米波雷达目标跟踪,自动驾驶感知,算法,自动驾驶,聚类毫米波雷达目标跟踪,自动驾驶感知,算法,自动驾驶,聚类
采用MIMO (多发多收)的天线设计来降低接收天线的个数。比如,如果想要得到8个接收天线,采用2个发射天线和4个接收天线,这样就可以得到等效的8个虛拟接收天线阵列。一般来说,不同的发射天线会间隔发射,或者发射不同波形的信号,这样接收天线就可以区分来自不同发射天线的信号。

当发射天线有垂直方向的分布时,就可以测量目标的俯仰角度。下图就是一个典
型的3发4收的天线排列结构。等效的接收天线有12个,垂直方向上有两个天线
可以用来测量俯仰角度。
毫米波雷达目标跟踪,自动驾驶感知,算法,自动驾驶,聚类

3.2 4D毫米波雷达发展趋势

3.2.1 芯片级联

4D成像雷达的核心在于较高的水平和垂直角度分辨率,这就需要增加发射和接收天线的个数。目前绝大多数毫米波雷达都是采用单片收发器,通常只有3发4收,也就是只有12个虛拟天线。一个增加虚拟天线的方案是基于现有的量产雷达,将多个雷达芯片进行级联,比如德国大陆的ARS540和华为的4D成像雷达。

ARS540采用4片级联的形式,将4片NXP的77GHz毫米波雷达收发器(MMIC)MR3003进行级联。每个MR3003是3发4收,4片联在一起就是12发16收,这样就可以产生192个虚拟天线。ARS540是第一个具备能够真正测量目标高度的毫米波雷达,其垂直角度分辨率可以达到2.3°,水平角度分辨率可以达到1.2°毫米波雷达目标跟踪,自动驾驶感知,算法,自动驾驶,聚类

3.2.2 专用芯片

除了采用现有的量产雷达进行级联,还有的公司直接将多发多收的天线嵌入到一个雷达芯片里,比如Arbe, Vayyar 以及Mobileye。Arbe 提供的4D成像毫米波雷达Phoenix,采用48发48收,虚拟通道达到个2304个。Mobileye 同样也是48发48收的天线配置,水平和垂直角分辨率可以做到0.5°和2°。毫米波雷达目标跟踪,自动驾驶感知,算法,自动驾驶,聚类

3.2.3 标准芯片+软件提升

这种方案基于标准的雷达芯片,但是采用软件和AI的方法来提高雷达的分辨率。这里比较有代表性的是傲酷的虚拟孔径成像技术。传统FMCW雷达重复单一的发射波形,相位差来自于多根实体接收天线,而傲酷虚拟孔径成像雷达波形可以对发射波进行调频,调相、调幅,也就是说每根接收天线在不同时间产生不同的相位,形成“虚拟天线孔径”。而且这种调整是可以根据当前环境进行自适应的,也就是说根据上一帧的检测结果来调整当前帧的波形。毫米波雷达目标跟踪,自动驾驶感知,算法,自动驾驶,聚类

声明

本人所有文章仅作为自己的学习记录,若有侵权,联系立删。本系列文章主要参考了清华大学、北京理工大学、哈尔滨工业大学、深蓝学院、百度Apollo等相关课程。文章来源地址https://www.toymoban.com/news/detail-679749.html

到了这里,关于自动驾驶感知——物体检测与跟踪算法|4D毫米波雷达的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 自动(智能)驾驶 | 傲酷4D毫米波雷达报告记录分享

    因为和傲酷(Oculii)接触比较久了,今天和大家分享关于傲酷4D雷达 第一篇为:傲酷4D高清成像雷达的创新与应用 报告的时间为2021年4月15日。 报告入口: https://apposcmf8kb5033.pc.xiaoe-tech.com/live_pc/l_606f1355e4b0d4eb038fabc9= 另外一个为今年苏州的毫米波大会中来自傲酷的分享。 特别

    2023年04月09日
    浏览(53)
  • 【Apollo】自动驾驶感知——毫米波雷达

    作者简介: 辭七七,目前大一,正在学习C/C++,Java,Python等 作者主页: 七七的个人主页 文章收录专栏: 七七的闲谈 欢迎大家点赞 👍 收藏 ⭐ 加关注哦!💖💖 本文用于投稿于星火培训:报名链接 毫米波雷达分类毫米波雷达的信号频段毫米波雷达工作原理车载毫米波雷达

    2024年02月12日
    浏览(50)
  • 自动驾驶与辅助驾驶系统中相机与毫米波雷达的感知:概念,数据集和指标

    文章:Camera-Radar Perception for Autonomous Vehicles and ADAS: Concepts, Datasets and Metrics 作者:Felipe Manfio Barbosa, Fernando Santos Oso´rio 编辑:点云PCL 来源:arXiv 2023 欢迎各位加入知识星球,获取PDF论文,欢迎转发朋友圈。文章仅做学术分享,如有侵权联系删文。未经博主同意请勿擅自转载。

    2024年02月09日
    浏览(43)
  • Mediapipe实时3D目标检测和跟踪(自动驾驶实现)

    3D目标检测是根据物体的形状、位置和方向来识别和定位物体的任务。在2D目标检测中,被检测到的物体仅表示为矩形边界框。3D目标检测任务通过预测物体周围的包围框,可以获取物体的三维位置信息。 3D目标检测在各行各业都有广泛的应用。一些常见的用途包括: 🎯 机器

    2024年02月09日
    浏览(40)
  • 无人驾驶实战-第五课(动态环境感知与3D检测算法)

    在七月算法上报了《无人驾驶实战》课程,老师讲的真好。好记性不如烂笔头,记录一下学习内容。 课程入口,感兴趣的也可以跟着学一下。 ————————————————————————————————————————— 激光雷达的分类:     机械式Lidar:

    2024年02月14日
    浏览(41)
  • 【自动驾驶】感知融合中的匹配算法

            匹配算法,就是说当前帧的感知上游输入过来的量测值如何与前一帧的track匹配起来。首先我们需要计算track与量测值之间的距离,然后通过一定的分配算法来找到每个track的最佳匹配。         距离度量是衡量两个目标相近的一种方式,有可能是2D的图像特征度量

    2023年04月08日
    浏览(41)
  • 【单目3D】在自动驾驶中将 2D 物体检测提升到 3D

    单目 3D 目标检测使用 RGB 图像来预测目标 3D 边界框。由于 RGB 图像中缺少关键的深度信息,因此该任务从根本上说是不适定的。然而在自动驾驶中,汽车是具有(大部分)已知形状和大小的刚体。那么一个关键的问题是如何有效地利用汽车的强大先验,在传统 2D 对象检测之上

    2024年02月19日
    浏览(37)
  • 基于ROS的自动驾驶 激光雷达点云物体检测 项目实战

    前言: 基于Apollo的preception与Autoware的lidar_apollo_cnn_seg_detect模块,并详细记录ROS系统上进行实时检测全部流程和踩坑,文章最后附上rosbag和rosbag的制作方法。参考文章:https://adamshan.blog.csdn.net/article/details/106157761?spm=1001.2014.3001.5502感谢大佬的杰作。 检测效果视频 环境 RTX 2060(

    2024年02月08日
    浏览(43)
  • 纯视觉都有哪些量产方案?单目3D感知在自动驾驶中的应用一览(3D检测/BEV/占用网络)

    尽管基于点云的3D目标检测算法性能不断提升,在KITTI和Nuscenes等榜单上碾压视觉方案。但是激光雷达相对高昂的造价和对各种复杂天气情况的敏感性限制激光雷达的应用范围,使得研究人员更多的探索基于视觉的3D检测。 纯视觉的3D检测输入一般是单目图像或多目图像,只需

    2024年03月19日
    浏览(59)
  • 自动(智能)驾驶 | 4D雷达的数据集

    上篇文章分享了关于Oculii 4D雷达的两篇报告。数据集是一个非常重要的研究工具,对于4D雷达领域来说,处于一个研究前沿的位置,鲜有公开的数据集,目前能找到的数据集有:    这些文章中的数据集有不少博主也写过,但往往都是对于作者原文的翻译,实际的获取和使用

    2023年04月26日
    浏览(53)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包