自动驾驶地面车辆的雷达里程计:方法与数据集综述

这篇具有很好参考价值的文章主要介绍了自动驾驶地面车辆的雷达里程计:方法与数据集综述。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

自动驾驶地面车辆的雷达里程计:方法与数据集综述

Nader J. Abu-Alrub, Nathir A. Rawashdeh, Senior Member, IEEE

        摘要:雷达里程计在过去十年中受到越来越多的关注。它是在不利条件下进行机器人状态估计的最佳解决方案之一,其他内部感知和外部感知传感器可能在这些条件下无法胜任。雷达被广泛采用,对天气和光照条件具有强大的适应性,并提供多普勒信息,使其非常适用于此类任务。本文对自主机器人的地面雷达里程计的最新研究工作进行了广泛的调查。除了对解决这个问题所采用的各种方法和技术进行深入分析和分类外,本文还涵盖了过去十年中开发的技术、数据集、评估指标和方法。本文最后总结了雷达里程计领域面临的挑战和未来建议,使其成为新手的绝佳起点,也是经验丰富的研究人员的有价值的参考资料。

关键词:雷达、里程计、机器人技术、自动驾驶车辆、地面无人车(UGV)。

1. 引言

        雷达在许多自主平台的感知系统中扮演着重要的角色。作为经过验证的技术,它们已广泛应用于许多相关的机器人应用中。测距、稳健性和多普勒信息是使它们在这些应用中发挥重要作用的特点。里程计通常被定义为使用诸如车轮编码器、惯性测量单元(IMU)、摄像头、激光雷达或雷达等传感器,来估计移动平台相对于固定参考点的自我运动过程。这种自我运动通常用姿态信息(即位置和方向)和/或速度来描述。在全球导航卫星系统(GNSS)信号被阻塞或不足以估计移动车辆位置的环境中,里程计是至关重要的。在常见的机器人任务中,如避障、目标跟踪、路径规划和导航,移动机器人需要追踪其相对于固定参考框架的位置和方向,以便追踪和定位其周围的其他物体。通常情况下,这是通过GNSS来实现的。对于GNSS不适用的应用,里程计成为最佳替代方案。这样的场景包括城市和越野驾驶、采矿和地下机器人、水下和海底应用以及空间探索。里程计与定位不同,定位使用先验知识以地图的形式描述机器人的姿态。它也不同于同时定位与地图构建(SLAM),SLAM中机器人在离线或在线构建地图的同时进行定位,而里程计算法并不用于构建地图,且始终在实时运行。

       雷达里程计指的是将雷达传感器作为主要测量源,用于估计移动平台的自我运动。在过去十年中,雷达用于里程计的应用逐渐增多(见图1),原因有很多;与摄像头和激光雷达相比,雷达在恶劣天气条件下的韧性是最显著的优势之一。由于其较长的工作波长,雷达对于雨、尘、雾和雪的影响较小[1]–[3]。雷达也不受光照和照明源的影响,这使得它在夜晚、多云的日子、水下和矿井等场景中具有优势。雷达的其他优势包括适用于室内和室外应用(不像基于GNSS的定位),它不像车轮编码器那样容易出现打滑或打滑问题,也不像惯性测量单元那样容易发生漂移。此外,雷达具有长距离测量能力,可以提供速度测量,相对便宜、紧凑,并已在自动驾驶车辆市场得到广泛应用。

      

自动驾驶地面车辆的雷达里程计:方法与数据集综述,文献学习,自动驾驶,人工智能,机器学习

        近年来,关于雷达里程计的相关工作已经有一些尝试进行整理。已发布的综述论文[4]–[7]中每一篇都包含了关于雷达里程计的部分内容,包括其分类、传感器类型和最新方法;然而,它们并非专门致力于雷达里程计,因此错过了许多相关的出版物。在[8]中的工作中,有一个关于雷达里程计的部分,但它只涉及无人机(UAV)的案例。此外,[9]着重考虑了定位和SLAM,并忽略了里程计步骤。唯一的最近一篇关于雷达里程计的综述是Lubanco等人的工作[10],它对这个主题进行了非常简要的概述,对于涵盖和分析所有最近的雷达里程计文献方面还有所欠缺。在这篇综述中,我们试图填补这一空白,将所有与地面雷达里程计相关的最新工作汇编到一篇详尽的文章中,以便于研究人员和新手能够迅速而轻松地了解学习和贡献该领域所需的最基本知识。我们分析了过去十年左右关于雷达里程计的已发表研究,对于先前的重要工作,我们也做了一些例外。通常情况下,我们寻找的是纯粹的里程计算法,但我们还包括了一些定位(带有先验知识的姿态估计)和SLAM的工作,其中里程计算法在我们的判断下可以与流程中的其他阶段区分开来。我们将研究范围缩小到无人地面车辆(UGV)并排除了无人机(UAV)。我们认为,无人机的里程计要求更为严格,负载要求更高,而空间精度要求相对较低,使其成为一个完全不同的问题,需要独特的一套策略和解决方案,值得进行专门的综述。最后,我们在第七节中讨论了基于融合的方法,这些方法依赖于雷达和其他传感器的组合,尽管这些方法可能不被认为是纯粹的雷达里程计实现。

        本文的其余部分安排如下:第二节提供雷达传感器在机器人应用中的原理概述。我们在第三节中介绍了里程计问题的一般形式,然后在第四节中介绍了评估雷达里程计常用的评估指标。第五节专门介绍了可用于雷达里程计研究的具备雷达数据的数据集。第六节对雷达里程计及其不同类别的文献进行了广泛调查。第七节和第八节分别讨论了雷达里程计中不同融合和机器学习技术的应用。最后,我们在第九节中强调了与雷达里程计相关的一些挑战和未来建议,并在第十节总结了本文。

2. 毫米波雷达的原理

        毫米波雷达的特点在于利用30-300 GHz范围内的信号频率,对应的波长范围为1-10毫米。然而,常用于汽车雷达的频率范围是更窄的70-100 GHz范围。使用这个波长范围的优势在于硬件成本和尺寸的降低,以及改善了测量的准确性[11]。雷达已经在自动驾驶车辆和机器人应用中得到广泛应用,包括盲点检测、后方碰撞警告、自适应巡航控制、目标检测、跟踪和分类,以及里程计、定位和地图构建等。本节简要介绍了通常用于汽车和机器人系统的毫米波调频连续波(FMCW)的基本原理。对于对毫米波雷达在汽车/机器人应用中更详细分析感兴趣的读者,可以参考[12]和[13]了解更多内容。

        在雷达里程计的文献中,通常区分了两种广义类型的雷达,即所谓的“汽车雷达”和“扫描雷达”。其中,汽车雷达生成稀疏点云的检测数据,通常返回每个目标检测的距离、径向速度、方位角和俯仰角的列表。而“扫描雷达”则返回稠密的360度鸟瞰图扫描数据。图2a显示了基于每种雷达类型的已发表工作的百分比。在文献中,有许多基于自定义扫描雷达的雷达里程计方法(例如[14],[15]);然而,绝大多数利用扫描雷达的研究都基于Navtech公司开发的雷达[16],因此,我们将对这些研究进行特别关注。图3显示了这两种类型雷达的示例。

自动驾驶地面车辆的雷达里程计:方法与数据集综述,文献学习,自动驾驶,人工智能,机器学习

        在汽车和机器人应用中常用的是FMCW(频率调制连续波)雷达。与脉冲雷达不同,FMCW雷达连续地传输和接收一定范围的频率,而脉冲雷达则通过传输/接收高能量脉冲来工作。脉冲雷达通过测量脉冲完成往返所需的时间(即飞行时间,ToF),然后用来计算反射脉冲的物体距离。在脉冲雷达中,计算径向速度的一种方法是通过记录两个连续定时的距离测量,并计算距离的变化率。而在FMCW雷达中获得这些测量并不那么直接;FMCW雷达通过传输两个连续正交的正弦信号来工作,这两个信号相位差为90度,称为正交信号或I/Q信号,如方程式(1)和(2)所示:

自动驾驶地面车辆的雷达里程计:方法与数据集综述,文献学习,自动驾驶,人工智能,机器学习

(1)

自动驾驶地面车辆的雷达里程计:方法与数据集综述,文献学习,自动驾驶,人工智能,机器学习

(2)

        其中,自动驾驶地面车辆的雷达里程计:方法与数据集综述,文献学习,自动驾驶,人工智能,机器学习是传输频率。自动驾驶地面车辆的雷达里程计:方法与数据集综述,文献学习,自动驾驶,人工智能,机器学习自动驾驶地面车辆的雷达里程计:方法与数据集综述,文献学习,自动驾驶,人工智能,机器学习分别是正交信号或I/Q信号。当信号从目标反射回来时,根据目标相对于雷达的运动情况,信号的频率会因多普勒效应而发生偏移。当雷达接收到信号时,它将传输/接收的正交信号与传输/接收的I相位信号和Q相位信号进行混频处理。例如,对于I相位信号:

自动驾驶地面车辆的雷达里程计:方法与数据集综述,文献学习,自动驾驶,人工智能,机器学习

(3)

        简化方程(3)得到拍频(beat frequency)(自动驾驶地面车辆的雷达里程计:方法与数据集综述,文献学习,自动驾驶,人工智能,机器学习),如方程(4)所示,其中自动驾驶地面车辆的雷达里程计:方法与数据集综述,文献学习,自动驾驶,人工智能,机器学习是接收到的频率。

自动驾驶地面车辆的雷达里程计:方法与数据集综述,文献学习,自动驾驶,人工智能,机器学习

(4)

        这个拍频(自动驾驶地面车辆的雷达里程计:方法与数据集综述,文献学习,自动驾驶,人工智能,机器学习)可以用来计算物体的径向速度。通过检查哪个IQ信号领先或滞后,可以确定速度的方向。

        对于距离测量,需要对频率进行调制。最基本的方法是线性调频连续波(LFMCW),它将传输的信号进行频率斜坡变化,产生一个“chirp”(扫频信号)。一旦接收到具有延迟的“chirp”信号返回,就会产生一个拍频,可用于估计距离。然而,当需要同时获得速度和距离估计时,就会出现问题,特别是在场景中存在多个物体时,使用其他频率调制(例如锯齿波调频)也存在限制。这个问题通常可以通过更复杂的技术来解决,比如多频移键控(Multiple Frequency Shift Keying,MFSK)。

        此外,对于自动驾驶而言,另一个重要的测量参数是被检测物体的角度,称为到达角(Angle of Arrival,AoA)。通过使用多个间隔已知距离的接收天线,我们可以利用接收信号之间的相位差来估计物体的角度。当然,角度分辨率决定了物体之间可以多近而仍然被视为分开的程度。通过增加更多的接收天线和更多的发射天线,可以获得多输入多输出(MIMO)雷达,从而提高角度分辨率和雷达系统的精度,而无需增加阵列的尺寸到不合理的程度。

        典型的扫描雷达是围绕垂直轴旋转,同时持续传输和接收信号的。反射信号的强度取决于物体的反射率、大小和距离。在每个方位角N处,会接收到一个1D信号,其中的功率读数对应M个距离区间。这些读数形成一个极坐标下的图像,其中点可以表示为p(a, r),其中a和r分别表示点p的方位角和距离。通常希望将这些雷达图像映射和处理成笛卡尔坐标,使车辆(或雷达)出现在图像的中间。这可以通过使用类似于(5)的映射函数,将所有点从极坐标转换到笛卡尔坐标来实现:

自动驾驶地面车辆的雷达里程计:方法与数据集综述,文献学习,自动驾驶,人工智能,机器学习

(5)

        其中自动驾驶地面车辆的雷达里程计:方法与数据集综述,文献学习,自动驾驶,人工智能,机器学习自动驾驶地面车辆的雷达里程计:方法与数据集综述,文献学习,自动驾驶,人工智能,机器学习是一个比例因子(m/pixel)。通常使用插值方法来填充笛卡尔图像中的空白部分。图4展示了一个在极坐标和笛卡尔坐标下的雷达扫描示例。

        在扫描雷达和其他“边移动边记录”的传感器中,常见的问题是结果扫描中的运动失真。虽然这个问题也存在于其他传感器中,比如卷帘快门相机[18]和扫描激光雷达[19]中,但在扫描雷达传感器中更为普遍,因为其扫描速率相对较慢。像Navtech公司的扫描雷达这样的型号,其采样频率为4Hz,完成一次完整扫描需要0.25秒的时间。假设传感器安装在以中等速度30英里/小时(或48.3公里/小时)行驶的汽车上,当完成一次完整扫描时,前方的一个物体已经向前移动了11英尺(或3.35米),这在距离估计中造成了一个相当大的误差,可能非常危险。Burnett等人[20]提供了有关运动失真对扫描雷达里程计和定位的影响的详细细节,并强调了补偿这些伪影的重要性。图5显示了一个扭曲的雷达扫描示例。解决这个问题的最常见方法是进行运动失真补偿(或扫描去倾斜),其依赖于估计点的位置偏移并根据假设在一次单次扫描中速度是恒定的来进行校正。

        尽管与脉冲雷达相比,FMCW雷达增加了一些复杂性,但在自动驾驶车辆和大多数机器人应用中,FMCW雷达仍然受到青睐,因为它们具有较小的尺寸、较低的功耗和较低的成本,此外,它们不受较远探测最小范围的限制。

自动驾驶地面车辆的雷达里程计:方法与数据集综述,文献学习,自动驾驶,人工智能,机器学习

3.总体问题描述

        本节介绍了里程计问题的一般性基本形式。这个问题的形式不仅适用于雷达里程计,还可以应用于基于其他传感器(例如视觉和激光)的算法。为了保持一般性,本文将在SE(3)空间中描述问题,而不是SE(2)空间,尽管在自动驾驶车辆和许多地面机器人的应用中,通常忽略了z维度、横滚角和俯仰角,2D版本通常已经足够。

        假设移动机器人在其环境中运动,并在离散时间点自动驾驶地面车辆的雷达里程计:方法与数据集综述,文献学习,自动驾驶,人工智能,机器学习(其中自动驾驶地面车辆的雷达里程计:方法与数据集综述,文献学习,自动驾驶,人工智能,机器学习是轨迹末尾的扫描总数)收集雷达数据。机器人有一个初始姿态自动驾驶地面车辆的雷达里程计:方法与数据集综述,文献学习,自动驾驶,人工智能,机器学习,它可以由用户任意设置或与外部源对齐。在每个时间点自动驾驶地面车辆的雷达里程计:方法与数据集综述,文献学习,自动驾驶,人工智能,机器学习,记录一个传感器扫描,用自动驾驶地面车辆的雷达里程计:方法与数据集综述,文献学习,自动驾驶,人工智能,机器学习表示,整个行程中的所有传感器扫描的集合是自动驾驶地面车辆的雷达里程计:方法与数据集综述,文献学习,自动驾驶,人工智能,机器学习。机器人的姿态可以相对于初始姿态来表示,即自动驾驶地面车辆的雷达里程计:方法与数据集综述,文献学习,自动驾驶,人工智能,机器学习。整个行程中所有机器人姿态的集合自动驾驶地面车辆的雷达里程计:方法与数据集综述,文献学习,自动驾驶,人工智能,机器学习。用齐次坐标表示这些姿态的一种方法如下(在3D空间中):将方向(表示为旋转矩阵自动驾驶地面车辆的雷达里程计:方法与数据集综述,文献学习,自动驾驶,人工智能,机器学习)和位置(表示为平移向量自动驾驶地面车辆的雷达里程计:方法与数据集综述,文献学习,自动驾驶,人工智能,机器学习)组合在一起,形成姿态矩阵自动驾驶地面车辆的雷达里程计:方法与数据集综述,文献学习,自动驾驶,人工智能,机器学习:

自动驾驶地面车辆的雷达里程计:方法与数据集综述,文献学习,自动驾驶,人工智能,机器学习

(6)

        两个连续的姿态自动驾驶地面车辆的雷达里程计:方法与数据集综述,文献学习,自动驾驶,人工智能,机器学习自动驾驶地面车辆的雷达里程计:方法与数据集综述,文献学习,自动驾驶,人工智能,机器学习,通过刚体变换(rigid body transformation)相互关联:

 自动驾驶地面车辆的雷达里程计:方法与数据集综述,文献学习,自动驾驶,人工智能,机器学习

(7)

        其中,自动驾驶地面车辆的雷达里程计:方法与数据集综述,文献学习,自动驾驶,人工智能,机器学习自动驾驶地面车辆的雷达里程计:方法与数据集综述,文献学习,自动驾驶,人工智能,机器学习是一个3x1的平移向量。里程计的主要目标是计算相邻姿态对之间的相对变换自动驾驶地面车辆的雷达里程计:方法与数据集综述,文献学习,自动驾驶,人工智能,机器学习,,以获得描述整个行程中运动的所有变换的集合:

自动驾驶地面车辆的雷达里程计:方法与数据集综述,文献学习,自动驾驶,人工智能,机器学习

(8)

        机器人相对于起始点自动驾驶地面车辆的雷达里程计:方法与数据集综述,文献学习,自动驾驶,人工智能,机器学习的当前姿态可以通过连续地增量地连接相对变换来进行更新,使用公式(9):

自动驾驶地面车辆的雷达里程计:方法与数据集综述,文献学习,自动驾驶,人工智能,机器学习

(9)

        最终,描述整个运动轨迹的所有绝对姿态的集合为:

自动驾驶地面车辆的雷达里程计:方法与数据集综述,文献学习,自动驾驶,人工智能,机器学习

(10)

        在文献中,值得一提的是,“里程计”(odometry)和“自我运动估计”(ego-motion estimation)这两个术语有时被互换使用。它们之间最常见的区别在于,“自我运动估计”通常是指解决公式(7)中描述的两个姿态之间的相对变换,而术语“里程计”通常是指在公式(10)中描述的从初始时刻到当前时刻的完整轨迹恢复。

4. 里程计评估指标

        在对里程计算法进行基准测试时,理解其评估指标至关重要。本节简要介绍文献中最常见的里程计评估指标。这些指标是通用的,不局限于基于雷达的方法,也可以用于评估基于视觉、激光或任何其他传感器的里程计算法。

A. 绝对轨迹误差(ATE)

        绝对轨迹误差(ATE)是沿轨迹的均方根误差之和,表示为公式(11)。在每个姿态处的误差是通过使用公式(12)计算的,其中使用估计位置tk,est自动驾驶地面车辆的雷达里程计:方法与数据集综述,文献学习,自动驾驶,人工智能,机器学习与真实位置tk,gt自动驾驶地面车辆的雷达里程计:方法与数据集综述,文献学习,自动驾驶,人工智能,机器学习之间的欧氏距离。

自动驾驶地面车辆的雷达里程计:方法与数据集综述,文献学习,自动驾驶,人工智能,机器学习

(11)

自动驾驶地面车辆的雷达里程计:方法与数据集综述,文献学习,自动驾驶,人工智能,机器学习

(12)

      绝对轨迹误差(ATE)指标简单直观,能够快速便捷地评估所考察的算法性能。然而,ATE的局限性在于它无法提示出错的姿态估计发生在轨迹的哪个位置和时间,也无法指示是平移还是旋转部分出现了误差。最后,随着行程的进行,ATE会将姿态方向估计中的微小误差逐渐累积,导致最终的ATE值变得很大。

B. 相对姿态误差(RPE)

        相对姿态误差(RPE)包含两个独立的组成部分,分别描述了平移和旋转的相对误差。其思想是,不是在某个离散的时间点自动驾驶地面车辆的雷达里程计:方法与数据集综述,文献学习,自动驾驶,人工智能,机器学习计算两个对应姿态自动驾驶地面车辆的雷达里程计:方法与数据集综述,文献学习,自动驾驶,人工智能,机器学习自动驾驶地面车辆的雷达里程计:方法与数据集综述,文献学习,自动驾驶,人工智能,机器学习之间的误差,而是计算将自动驾驶地面车辆的雷达里程计:方法与数据集综述,文献学习,自动驾驶,人工智能,机器学习自动驾驶地面车辆的雷达里程计:方法与数据集综述,文献学习,自动驾驶,人工智能,机器学习以及自动驾驶地面车辆的雷达里程计:方法与数据集综述,文献学习,自动驾驶,人工智能,机器学习自动驾驶地面车辆的雷达里程计:方法与数据集综述,文献学习,自动驾驶,人工智能,机器学习,对齐的变换之间的误差。这些中间的相对变换通过以下公式计算:

自动驾驶地面车辆的雷达里程计:方法与数据集综述,文献学习,自动驾驶,人工智能,机器学习

(13)

自动驾驶地面车辆的雷达里程计:方法与数据集综述,文献学习,自动驾驶,人工智能,机器学习

(14)

        其中,自动驾驶地面车辆的雷达里程计:方法与数据集综述,文献学习,自动驾驶,人工智能,机器学习是逆运动组合运算符。例如,自动驾驶地面车辆的雷达里程计:方法与数据集综述,文献学习,自动驾驶,人工智能,机器学习表示将自动驾驶地面车辆的雷达里程计:方法与数据集综述,文献学习,自动驾驶,人工智能,机器学习对齐到 自动驾驶地面车辆的雷达里程计:方法与数据集综述,文献学习,自动驾驶,人工智能,机器学习. 的相对变换。运算符自动驾驶地面车辆的雷达里程计:方法与数据集综述,文献学习,自动驾驶,人工智能,机器学习是标准运动组合运算符自动驾驶地面车辆的雷达里程计:方法与数据集综述,文献学习,自动驾驶,人工智能,机器学习 [22]的逆运算。

        平移相对姿态误差(RPE)测量自动驾驶地面车辆的雷达里程计:方法与数据集综述,文献学习,自动驾驶,人工智能,机器学习 和自动驾驶地面车辆的雷达里程计:方法与数据集综述,文献学习,自动驾驶,人工智能,机器学习.的平移分量之间的差异(即错位)。类似地,旋转RPE测量自动驾驶地面车辆的雷达里程计:方法与数据集综述,文献学习,自动驾驶,人工智能,机器学习自动驾驶地面车辆的雷达里程计:方法与数据集综述,文献学习,自动驾驶,人工智能,机器学习的旋转分量之间的偏差。使用(15)和(16)计算沿着轨迹的所有这些相对误差的平均值:

自动驾驶地面车辆的雷达里程计:方法与数据集综述,文献学习,自动驾驶,人工智能,机器学习

(15)

自动驾驶地面车辆的雷达里程计:方法与数据集综述,文献学习,自动驾驶,人工智能,机器学习

(16)

        函数自动驾驶地面车辆的雷达里程计:方法与数据集综述,文献学习,自动驾驶,人工智能,机器学习.自动驾驶地面车辆的雷达里程计:方法与数据集综述,文献学习,自动驾驶,人工智能,机器学习自动驾驶地面车辆的雷达里程计:方法与数据集综述,文献学习,自动驾驶,人工智能,机器学习.自动驾驶地面车辆的雷达里程计:方法与数据集综述,文献学习,自动驾驶,人工智能,机器学习被用来提取相对变换矩阵的平移和旋转分量。例如,对于一个任意的相对变换矩阵 自动驾驶地面车辆的雷达里程计:方法与数据集综述,文献学习,自动驾驶,人工智能,机器学习(类似于自动驾驶地面车辆的雷达里程计:方法与数据集综述,文献学习,自动驾驶,人工智能,机器学习),平移误差可以通过计算平移向量自动驾驶地面车辆的雷达里程计:方法与数据集综述,文献学习,自动驾驶,人工智能,机器学习 的自动驾驶地面车辆的雷达里程计:方法与数据集综述,文献学习,自动驾驶,人工智能,机器学习 norm来得到:

自动驾驶地面车辆的雷达里程计:方法与数据集综述,文献学习,自动驾驶,人工智能,机器学习

(17)

        旋转误差可以使用余弦测试公式来计算:

自动驾驶地面车辆的雷达里程计:方法与数据集综述,文献学习,自动驾驶,人工智能,机器学习

(18)

        尽管与ATE指标相比,RPE指标的复杂性增加了,但它更受欢迎,因为它有效地解决了ATE指标的不足之处,特别是误差的累积问题。

C. 平均平移误差和平均旋转误差(漂移率)

        平均平移误差和平均旋转误差是相对姿态误差(RPE)指标的扩展,被广泛应用于知名的KITTI数据集和基准测试[23]中。这些指标的思想是提供一个衡量算法在距离上漂移程度的度量。它们是通过在每个可能的子轨迹长度(100、200、300、400、500、600、700和800米)上对相对平移误差和相对旋转误差(如在第IV-B小节中计算的)进行平均计算得到的。然后将所有长度的平移和旋转分量进行平均,并以(translational error [%]/ rotational error [deg/100 m]) (“平移误差[%] / 旋转误差[度/100米]”)的格式表示,如表I所示。平均平移误差和平均旋转误差是最常用的用于评估里程计算法性能的指标。   

D. 其他指标

        评估里程计算法的一个重要因素是它们的时间要求,通常称为算法的“运行时间”。里程计算法应能够实时运行,以确保及时更新当前姿态估计。这与SLAM中的情况相反,SLAM算法的某些部分(例如全局束调整)可以在完全离线或在单独的进程中执行,没有时间约束。比较不同里程计算法的时间要求并不是一件容易的任务;它严重依赖于测试过程中使用的硬件。另一个值得注意的指标是所谓的空间交叉验证指标(SCV),它试图评估基于学习的方法的泛化能力。SCV指标简单地是平均平移误差和平均旋转误差在算法在训练阶段未见过的序列上的均值。最后,对于估计速度而不是姿态的算法,通常通过比较参考线性速度和角速度与估计的线性速度和角速度来进行评估。

        对于对里程计和SLAM评估指标有更深入分析和公开可用的评估工具感兴趣的读者,可以参考[22]-[26]的相关文献。

5. 雷达数据集

        数据集是许多计算机视觉和机器人研究的基础。记录、整理和标注数据集是一项耗时的任务,需要大量的资源。幸运的是,研究人员之间的通常做法是收集和共享数据集,并向研究社区开放访问。这种趋势极大地帮助利用收集到的数据集,增加研究工作的可见性,并加快了该领域的研究进展。在本节中,我们总结了包含雷达数据的数据集,包括扫描雷达和汽车雷达。这些数据集可用于里程计研究的背景下,即包含雷达数据但在静态设置下收集的数据集(例如CARRADA数据集[27]),或者不包含地面真实姿态信息来源(如GPS/IMU、SLAM或视觉里程计)的数据集(例如SCORP数据集[28])不适用于里程计研究,因此在此不予讨论。表I总结了本节讨论的数据集。

        牛津雷达机器人车数据集[29](2019年,英国牛津)是原始牛津机器人车数据集[30]的扩展版。它是雷达里程计研究中最具影响力和最常用于算法基准测试的数据集。该数据集提供了丰富的传感器,包括四个摄像头、四个激光雷达、一个Navtech CTS350-X扫描雷达和GPS/INS模块。地面真实值是通过离线优化视觉里程计、视觉闭环检测和GPS/INS约束生成的。尽管牛津雷达机器人车数据集在很多方面都非常优秀,但在季节多样性方面还有待提升,而且缺乏足够多的雪天和雾天场景。

        Boreas数据集[31](2022年,加拿大多伦多)是最近新增的数据集。它是一个多模态、多季节的自动驾驶数据集,包括单目摄像头、扫描雷达(Navtech CIR304-H)和3D激光雷达(Velodyne Alpha-Prime,128束)。Boreas数据集提供迄今为止最丰富的季节多样性,覆盖了从晴天到大雪风暴的同一路线行驶情况。它的官方网站还有一个里程计算法在SE(2)和SE(3)中进行基准测试的排行榜,这使其成为里程计研究中一个非常有价值的工具。

        RADIATE数据集[21](2019-2020年,英国爱丁堡)是另一个以雷达为中心的自动驾驶数据集,记录了冬季天气条件下的多样性场景(雪天、雨天、雾天、晴天、阴天),并且在不同的时间(夜晚和白天)进行了记录。其传感器套件包括立体摄像头(ZED立体摄像头)、激光雷达(Velodyne HDL-32e)、扫描雷达(Navtech CTS350-X)和GPS/IMU。RADIATE数据集的一个限制因素是地面真实值数据中偶尔会有GPS信号丢失的情况。

        MulRan数据集[32](2020年,韩国大田和世宗)专注于使用雷达和激光雷达进行地点识别,并包含对某些位置的多次访问。该数据集配备了扫描雷达(Navtech CIR204-H)、3D激光雷达(Ouster OS164)和GPS数据,但没有摄像头记录。地面真实值是使用基于SLAM的过程[33]生成的,借助光纤陀螺仪和虚拟参考站GPS。MulRan数据集的局限性在于季节多样性和缺乏视觉数据。

        nuScenes数据集[34](2019年)是另一个多模态的自动驾驶数据集,包括六个视觉摄像头(Basler acA1600-60gc)、五个FMCW汽车雷达(Continental ARS 408-21)、一个激光雷达(Velodyne HDL32E)和IMU/GPS传感器。nuScenes数据集在美国波士顿和新加坡两个不同城市进行记录,具有很强的空间多样性;然而,它缺乏其他数据集提供的季节多样性。

        PixSet数据集[35](2020年,加拿大魁北克和蒙特利尔)包含97个序列和2.9万个带有边界框注释的帧,使其更适用于目标检测和跟踪研究。然而,由于它还具有带有RTK GPS传感器数据的IMU,因此也可以用于里程计和定位研究。PixSet数据集主要围绕激光雷达传感器技术,但也包含了汽车级别的毫米波雷达(TI AWR1843)。该数据集是在城市环境中收集的,大多数是在白天和多雨或多云的天气条件下,数据集包含四个摄像头,两个激光雷达(一个是扫描式激光雷达,一个是闪光激光雷达),以及GPS/IMU模块。

        Marulan数据集[36](2010年)由澳大利亚野外机器人中心(AFCR)构建的FMCW雷达。它提供了来自四个2D激光雷达、一个视觉摄像头、一个热像仪、一个RTK GPS接收器和一个IMU传感器的数据。Marulan数据集的限制在于它只记录在越野场景中,车辆行驶速度较慢,并且所使用的雷达的扫描速率相对较慢。

        RadarScenes数据集[37](2016-2018年,德国乌尔姆)使用四个重叠的汽车雷达进行了收集。它的主要重点是使用汽车雷达进行目标检测、跟踪、分类、语义和实例分割以及网格映射。该数据集有这些感知任务的注释,同时也包含了GNSS信息,因此可能可以用于里程计研究;然而,它可能不是非常准确。拥有多个选项的雷达数据集对于推进研究非常有帮助;然而,雷达里程计领域缺乏类似于KITTI[23]用于视觉研究的基准数据集;即一个共同的和被广泛接受的参考标准,供所有研究人员用来评估他们的工作。

6. 雷达里程计

        我们遵循雷达里程计文献的常见趋势,并将方法分为三大类:稀疏雷达里程计,它依赖于可量化的检测(或地标)并将它们用于运动估计;密集雷达里程计,它处理整个扫描以执行上述估计;以及混合雷达里程计,它结合了两者的优势。图2b显示了基于稀疏、密集和混合方法的出版物的百分比。可以看到,稀疏方法比密集方法更受欢迎,这可能归因于密集方法的较高计算要求,稍后将进行讨论。我们进一步将稀疏方法分为基于特征、扫描匹配、滤波和其他方法。类似地,我们将密集方法分为基于Fourier-Mellin变换(FMT)、基于深度学习和基于相关性的方法。图6说明了雷达里程计方法的这种分类。接下来对每种方法进行详细讨论。

A. 稀疏雷达里程计

a 基于特征的方法

        在深入介绍基于特征的方法之前,值得强调的是在雷达里程计文献中,关键点、特征和地标这些词语经常被互换使用,它们都指的是离散一维或二维信号中局部段落的显著特性。我们区分了视觉(或基于视觉)特征,它们是从视觉摄像机领域借鉴的特征,通常与图像处理技术相关联,和特殊特征,这些特征是专门为实现雷达里程计的目标而开发的。

自动驾驶地面车辆的雷达里程计:方法与数据集综述,文献学习,自动驾驶,人工智能,机器学习

        在开始讨论基于稀疏雷达的方法之前,值得指出的是在雷达里程计文献中,“关键点”、“特征”和“地标”这些词经常被交替使用,它们都指的是离散的一维或二维信号中的局部特征点。我们对视觉(或基于视觉的)特征和专用特征进行区分。视觉特征是从视觉相机领域借鉴的特征,通常与图像处理技术相关联,而专用特征是专门为实现雷达里程计目标而开发的特征。对于视觉特征,Callmer等人[38]提出了一种用于海上应用的SLAM方法,使用旋转雷达,其里程计步骤依赖于检测和匹配相邻扫描之间的尺度不变特征变换(SIFT)特征。通过两组匹配地标,他们使用最小二乘法解决了x、y和偏航角的变化。他们通过将每个扫描分割为段并在段之间逐步估计姿态变化来解决由雷达相对较慢的扫描速率引起的运动畸变问题。Hong等人[39]为自动驾驶引入了基于雷达的大规模SLAM算法,专注于恶劣天气条件下的应用。他们使用Navtech的扫描雷达,将扫描从极坐标转换为笛卡尔坐标,然后使用加速稳健特征(SURF)在当前帧和关键帧之间检测和匹配特征。通过采用成对距离一致性约束进行异常值剔除和改进匹配。最后,他们使用奇异值分解(SVD)和[40]中提出的著名算法来解决对齐两组匹配特征的刚体变换问题。随后,Hong等人在[41]中改进了他们的方法,用blob检测器和Kanade-Lucas-Tomasi(KLT)跟踪器代替了SURF特征,该跟踪器将检测到的特征跟踪到后续扫描中,而不是将它们进行匹配。他们仍然使用SVD进行对齐变换,并通过因子图优化来补偿旋转雷达引入的运动畸变。Barnes和Posner[42]使用U-net风格的卷积神经网络(CNN)来学习稳健的特征或关键点。他们使用可微分的姿态估计器和可微分的关键点匹配器,使CNN能够检测用于姿态估计的稳健特征。他们的CNN架构有两个头部,一个预测关键点的位置,另一个对它们进行评分,余弦相似性函数用于给予高分和良好匹配得分的点权重。最后,姿态是通过SVD估计的。他们使用结合了平移和旋转误差的损失函数,并加权一个因子(α)来对其进行处理。Burnett等人[20]提出了基于RANSAC的运动补偿(MC-RANSAC),用于特征提取和匹配之间的Oriented FAST和Rotated BRIEF(ORB)描述符。他们的目标是展示在使用慢转速雷达(例如Navtech扫描雷达)时,运动补偿对雷达里程计的影响。运动补偿导致里程计略有改善(约10.0%),但在定位方面获得了更显著的改善。HERO[45]是由Burnett等人提出的混合估计雷达里程计方法,它结合了无监督深度学习和概率估计。他们使用Exactly Sparse Gaussian Variational Inference(ESGVI)参数学习框架进行概率状态估计,并使用U-net风格的CNN来检测通过投影到笛卡尔坐标的扫描雷达数据中的特征。他们在Oxford和Boreas数据集上测试了该方法,并将结果报告在表II中作为参考。Lim等人[47]开发了基于扫描雷达的解耦雷达里程计方法ORORA(Outlier-Robust Radar Odometry)。他们建立在[20]的特征提取和匹配方法上,并增加了基于图的异常值剔除步骤(即图的最大团)。最后,他们分别在两个步骤中估计旋转和平移。他们使用MulRan数据集测试了该方法,并报告其在与前面提到的MC-RANSAC[20]的比较中表现出更好的性能。

        与非视觉特征相关的重要论文包括Cen和Newman的开创性工作[48]。他们基于Navtech旋转雷达处理每个一维径向信号(即与每个方位角相关的信号),并基于功率回波信号的统计特性返回有用的地标。最后,他们使用SVD估计两组匹配地标之间的相对运动。同样的作者后来在[49]中改进了他们的方法,扩展了他们的地标提取和关联算法。Aldera等人[50]在这些方法的基础上,利用深度学习来改进特征提取。他们使用U-Net风格的CNN [43],并通过视觉里程计的地面真值信号进行弱监督训练,将雷达返回信号过滤为“保留”或“拒绝”,然后使用扫描进行运动估计,类似于[48]的方法。同样,Aldera等人[51]在[48]的基础上进一步提出了一种自检算法。首先,他们注意到关联地标的成对兼容性矩阵的特征向量对于匹配良好的地标具有相似的大小,然后他们使用由GPS信息作为地面真值的弱监督的支持向量机(SVM)来根据这些特征向量区分良好和差的里程计估计。在另一项工作中,Aldera等人[52]从视觉里程计的先前工作中获得灵感,利用移动机器人的运动约束来滤除异常值,并使用单个地标关联来基于恒定曲率运动假设解决自我运动估计问题。最后,Zhu等人[54]利用深度学习,并提出了一个名为DeepEgo的模型,基于汽车雷达实现瞬时估计,因此消除了扫描到扫描处理的需要。他们的模型在RadarScenes数据集上进行了训练和测试,接收雷达点云并输出点级权重和点级偏移量,使用加权最小二乘法来估计车辆的自我运动。他们的模型针对每个雷达是特定的,即在使用多个雷达进行里程计时,必须训练和部署多个模型实例。此外,他们的方法在其他数据集或传感器类型上的泛化性能并未在他们的工作中得到明确阐述。

b Scan-Matching

        扫描匹配方法的主要思想是找到最佳的刚体变换,将两个预处理的雷达扫描进行对齐。与基于特征的方法相比,扫描匹配方法的主要区别在于扫描匹配中缺乏关联或对应(即源扫描中的点与目标扫描中的点没有匹配)。扫描匹配方法通常是迭代的,试图在每次迭代中优化变换,以最小化对齐扫描之间的误差度量。我们将扫描匹配方法区分为三种常用的技术:迭代最近点(ICP)、点对法线匹配(P2N)和正态分布变换(NDT)。这三个子类别有时被文献称为点对点匹配、点对线匹配和点对分布匹配。

        迭代最近点(ICP)最初是为3D点云配准而开发的[55],在激光雷达里程计方面取得了非常成功的应用,并在近几十年来得到了大量的改进。这种成功在激光雷达领域被推广到了雷达领域。Marck等人[15]提出了一种使用TNO公司的旋转雷达的SLAM算法。他们的里程计估计步骤使用了标准ICP算法来估计两个雷达扫描之间的旋转和平移变换。他们的方法在室内环境下进行了演示。Fritsche和Wagner [14]提出了另一种基于激光雷达/雷达融合的SLAM算法,所使用的雷达是由Fraunhofer高频物理和雷达技术研究所(FHR)开发的旋转雷达(称为MPR)。在他们的方法中,他们使用手工制作的启发式方法将激光雷达和雷达扫描进行组合,并将这些扫描输入ICP以获得变换。他们的融合方案在一个视觉上具有挑战性的室内环境中进行了定性评估。

        本文中的“点对法线匹配”一词是用来概括Adolfsson等人在[56]、[57]中的工作和Alhashimi等人在[58]中的工作,这些工作都基于点对线匹配策略。CFEAR方法(Conservative Filtering for Efficient and Accurate Radar odometry)[56]、[57]首先通过仅保留k个最强回波(其中k是可调参数)来过滤旋转雷达(来自Navtech)的雷达扫描。然后,根据它们的统计属性(即均值和协方差),将保留的点进行聚类,并将其视为表面,计算表面的法线使用协方差矩阵的特征向量。然后执行扫描到关键帧(或多个关键帧)的匹配,通过找到最小化点对线成本函数的变换来将当前扫描与最新的关键帧或多个关键帧对齐。他们在几个公开可用的数据集上测试了他们的方法,包括Oxford和MulRan数据集,并在Table II中报告了非常好的准确性。他们的方法在[58]中进一步改进,将滤波技术(即CFEAR)替换为BFAR滤波,其中BFAR(Bounded False Alarm Rate)是经典CFAR检测器的推广,并使用具有两个可学习参数的仿射变换来改善检测效果。

        The Normal Distribution Transform (NDT)最初是由Biber等人[59]提出的用于点云配准的方法。与ICP算法类似,它在激光雷达应用中获得了广泛应用,并很快被移植到雷达应用中。标准的NDT将第一个点云划分为单元格,并通过高斯正态分布表示每个单元格中的点。然后,它旨在找到一个变换,将第二个点云中的点映射到第一个点云中,通过最大化在给定空间坐标处的点来自相应分布的似然度来实现。Rapp等人[60]提出了一种使用来自一个或多个汽车雷达的空间和多普勒信息的自我运动估计方法。该方法首先通过使用k-means聚类将雷达扫描表示为正态分布,然后找到最大化先前检测和新检测之间几何重叠的变换,他们还使用多普勒信息来加权分布并抑制场景中的动态物体。Rapp等人在[61]中改进了这项工作,测试了9种更复杂的聚类方法:密度基空间聚类与噪声(DBSCAN)、Ordering Points To Identify the Clustering Structure (OPTICS),以及他们之前工作中的k-means。他们得出结论,DBSCAN是这个应用中最好的聚类方法。Kung等人[62]提出的方法是针对汽车雷达和扫描雷达传感器的唯一方法。他们简单而高效的流程包括对雷达扫描进行固定阈值处理,生成稀疏高斯混合模型的概率雷达子图,并应用NDT来找到最佳对齐两个连续扫描的变换。他们在Oxford数据集(扫描雷达)和nuScenes数据集(汽车雷达)上测试了他们的方法,并取得了与最先进方法相当的结果(见Table II),尽管它的简单性。Almalioglu等人[63]也采用了NDT来实现室内环境中使用汽车雷达的自我运动估计。他们通过在扫描匹配步骤后融合来自IMU的数据,并利用循环神经网络(RNN)模型作为运动模型,并从先前的姿态估计中受益,从而改善了NDT的性能。Zhang等人[64]进一步扩展了NDT在雷达里程计中的应用,包括扫描雷达在内的雷达定位,他们提出了适用于Navtech雷达的专用降噪技术,并基于可调节的异常值比率而不是加权分布的改进的NDT扫描匹配。他们在Oxford、MulRan和RADIATE数据集上测试了他们的方法,并显示出他们的方法超越了雷达里程计的最先进方法(见Table II)。最后,Haggag等人[65]也使用NDT来处理汽车雷达的雷达里程计。他们的工作更加关注以不确定性感知的方式解决点云配准问题,目标是使用协方差信息扩展方法并融合来自其他传感器的数据。

        NDT(Normal Distribution Transform)方法被认为是快速且有效的,它们能够高效地将大型点云分解为易于处理的分段正态分布。它们在从雷达数据中估计自我运动方面表现出色。然而,与ICP(Iterative Closest Point)方法类似,NDT方法也是迭代的,这意味着它们依赖于初始配置的猜测,这可能对最终的估计精度产生重要影响。对初始配置的敏感性有时可能导致收敛到局部最小值,从而得到次优的解。

c 基于滤波的方法

        我们将依赖于卡尔曼滤波(KF)或其变种作为主要估计器的方法归类为基于滤波的方法。Holder等人[66]提出了一种基于汽车雷达的图形SLAM方法,该方法具有稀疏返回。尽管他们在定位和建图步骤中使用ICP扫描匹配,但他们的自我运动估计依赖于带有运动模型和测量模型的UKF。首先,他们使用[67]提出的方法估计自我速度,然后将场景中的静态和动态对象分离。最后,他们融合了来自车辆的控制区域网络(CAN)总线的数据,包括陀螺仪、轮式编码器和方向盘,以估计车辆的状态。在类似的工作中,梁等人[68]提出了一种基于误差状态扩展卡尔曼滤波(ESEKF)的方法,他们融合了来自汽车雷达、IMU、GNSS、激光雷达和相机的数据,从而实现了整体性能的提高,增强了系统的鲁棒性和冗余性。最后,Araujo等人[69]也使用了卡尔曼滤波的变种,即不变扩展卡尔曼滤波(IEKF),来融合IMU和雷达数据。他们还使用了深度神经网络模型来对雷达数据进行预处理,然后将其输入到IEKF中进行速度估计。

        总体而言,基于滤波的方法非常适合融合来自多个传感器的数据,它们利用多个传感器的互补性来获得更准确和更稳健的性能。然而,它们并不适用于跨平台泛化,因为它们被认为是依赖模型的(即运动模型和测量模型),它们需要参数调整,并且如果不仔细实现,可能会对计算要求较高。

d 其他方法

        这是稀疏方法中的最后一个子类,用于将其他特殊方法分组,这些方法不完全适合前面讨论的任何组。这些方法基于独特的运动学、几何或统计公式。Ng等人[70]开发了一种使用多个汽车雷达和IMU传感器的连续时间轨迹估计方法。他们将轨迹建模为三次B样条曲线,并使用滑动窗口优化框架获得轨迹参数。他们认为轨迹的连续表示和强制平滑性有助于在任何时间点找到姿态及其导数,即使在没有来自任何传感器的信息的时刻。他们将他们的方法与离散时间实现进行了比较,并显示其方法提供了改进的平移误差,但旋转误差略有增加。Ghabcheloo和Siddiqui[71]提出了一种纯运动学方法,其中将静止物体和车辆的位置与参考框架相关联,然后推导出线性和角速度的表达式,他们得出结论称这些表达式不能仅通过单个雷达解决,并使用陀螺仪的信息来克服这个问题。该算法使用一对点估计速度,并使用RANSAC来拒绝异常值。尽管公式的合理性,他们的方法对场景中静态与动态目标的比例非常敏感。Scannapieco[72]提出了一种基于汽车雷达的异常值拒绝方案。他们的统计方法依赖于根据它们的方位角和径向速度将返回值分类为静态和动态。主要假设是静态目标将聚集在所有测量的中值周围,并且远离中值的检测被视为异常值并被拒绝。他们在实际和模拟环境中测试了这种技术,并展示了成功的异常值拒绝结果。

        Kellner等人[67]提出了一种使用单个或多个汽车雷达的径向速度测量来估计车辆速度的方法。他们的方法的关键步骤是使用RANSAC对场景中的目标进行分类,将它们分为静态和动态,假设大部分目标是静态的,然后通过分析静态目标的速度特征,利用Ackerman条件来推断车辆本身的速度。Kellner等人[73]后来对该方法进行了扩展,计算了速度估计的不确定性。该方法的优点包括可以扩展到多个雷达,并且速度是在单个测量周期内估计的。然而,他们的方法在相对较低的行驶速度下进行了测试,而且在场景中存在许多动态目标时具有有限的能力。Barjenbruch等人[74]结合了空间信息和多普勒信息来解决雷达测距问题。基于汽车雷达,他们提出的方法将雷达扫描重新投影到笛卡尔坐标系,并将测量表示为高斯混合模型,然后增加多普勒速度估计来联合优化自我运动。他们声称他们的方法可以扩展到多个雷达传感器,并且他们的测试结果显示相较于[67],其估计精度有所提高。Zeng等人[75]研究了多普勒雷达测量中的速度模糊问题,并认为解决这个问题将显著提高基于雷达的测距精度。他们提出了一种联合估计速度模糊和自我运动的方法,利用一种新颖的聚类技术。他们将其方法与其他瞬时自我运动估计方法进行了比较,包括Kellner等人[67]的工作,并报告了整体性能的改进。

        Vivet等人[76],[77]采用了完全不同的方法来解决问题;大多数基于旋转雷达的工作都对运动失真进行补偿(见第二节),而Vivet等人试图利用这些信息来估计移动平台的状态。他们的方法依赖于使用CFAR提取地标,并在两个连续扫描之间找到这些地标的关联,然后与运动失真的公式一起用于估计自我速度。速度估计还被送入扩展卡尔曼滤波器(EKF)和RANSAC用于平滑和拒绝异常值。尽管该方法具有新颖性,但在非常低速或高速场景下以及激烈转弯的情况下,其准确性尚不清楚。该方法还受到大部分周围物体是静态的假设的限制,并且对地标检测和关联步骤的质量非常敏感。最后,Retan等人提出了一种使用基于常速度[78]和常加速度[79]运动模型的汽车雷达的测距方法,他们提出了一个滑动窗口优化框架和数据关联技术,并将其结果与基于扫描雷达的方法进行了对比。

        对这些方法进行对比并不是一项简单的任务;一些方法是为扫描雷达设计的,而其他方法是为汽车雷达设计的。许多研究人员使用未发布的数据集来测试他们的方法,这些数据集由他们独特的传感器设置、行驶环境和移动平台收集。这些因素限制了这些方法之间的有用定量比较。然而,也有一些研究人员使用了Oxford数据集来对他们基于扫描雷达的方法进行基准测试,并将发布的结果和评估源汇总在表II中。

B. 密集雷达测距

        密集方法从视觉测距的直接方法中汲取灵感,其中使用光流来估计姿态变化。在雷达测距的背景下,密集方法的特点是将完整的雷达扫描作为输入,几乎没有或很少的预处理。密集方法可以分为基于Fourier-Mellin变换(FMT)、基于深度学习和基于相关性的方法。

a 基于Fourier-Mellin变换(FMT)

        最早的密集雷达测距方法之一是Checchin等人[80]的工作,他们使用了一种名为K2Pi的FMCW全景K波段扫描雷达来生成周围环境的密集2D图像。他们使用了计算机视觉中众所周知的图像配准技术FMT来计算两个连续的密集雷达扫描之间的旋转和平移。简而言之,他们的算法首先进行阈值化和将图像转换为极坐标。接下来,他们使用快速傅里叶变换(FFT)将图像转换为频域,使用归一化交叉相关来找到两个图像之间的旋转。一旦原始图像校正为旋转,就会重复FFT和归一化交叉相关步骤,以计算x和y维度上的平移。 Park等人[81]也提出了一种非常类似的方法,他们使用了Navtech的FMCW扫描雷达,并在两个步骤中应用FMT,第一步在降采样的扫描上检索旋转和平移的初始估计。第二步通过全分辨率图像来优化平移估计。此外,他们通过添加关键帧选择和局部图优化步骤来进一步改进其测距结果。

b  基于深度学习

        Barnes等人[82]使用了Navtech的FMCW扫描雷达,并利用了U-net风格的CNN生成掩膜,以抑制雷达扫描中的噪声和伪影。CNN是以自监督的方式进行训练,即使用来自视觉测距的地面真实姿态信息来训练掩膜网络。计算两个连续过滤扫描之间的交叉相关值,并使用最大交叉相关来估计姿态。该方法后来由Weston等人[83]改进,他们将平移和旋转问题解耦为两个步骤,并利用Fourier变换在极坐标上的平移不变性来避免对最大交叉相关进行穷举搜索。Lu等人[84]的工作是唯一一个使用汽车雷达(Texas Instruments TI AWR1843)的例子,该方法基于完整的端到端深度学习雷达测距管道。在他们的工作中,他们通过将雷达投影到类似图像的2D表示中来解决汽车雷达的稀疏性问题。然后将这些图像输入到CNN中,而IMU数据则输入到RNN中。两个网络的输出使用混合注意机制进行融合,然后转发到长短期记忆网络(LSTM)中,以利用以前的姿态来估计当前的姿态。最后,使用全连接网络来回归姿态。

c 基于相关性

        Ort等人[85]提出了一个完全不同的视角,他们使用地质雷达(GPR)进行恶劣天气下的定位。GPR通常用于考古、地理和建筑相关的应用,如地下映射、土壤分类、管道和矿井探测等等。然而,它们在机器人应用中的使用是非常独特的。尽管他们的工作被认为是一种定位方法,但可以将其重新用于测距方法。他们使用MIT Lincoln Laboratory定制的雷达,并通过找到当前扫描与预存扫描数据库的最大相关性来进行定位。通过使用EKF融合来自轮式编码器和IMU的数据,进一步提高了准确性。

        密集方法直观且易于实现,但由于处理的数据量相对较大,可能会导致计算上的昂贵。所有在密集方法中讨论的方法都是在SE(2)中进行建模,遵循扫描传感器的2D性质,这在汽车应用中通常是可接受的;然而,在一些场景中,SE(2)可能不足够,例如在高程、俯仰和横滚可观测且对任务很重要的应用中。此外,尽管运动失真可能对结果产生显著的不良影响,但在密集方法中通常被忽视。我们还强调,密集方法更适用于生成密集扫描的扫描雷达,除非将其他类型雷达的稀疏点转换成类似于[84]中的其他表示形式,这会增加另一个预处理步骤。 GPR雷达具有极大的潜力,因为它是最适应天气和环境变化的传感器之一,但它们仍然庞大,不太适合汽车应用,因此需要在GPR的基础上进行更多的研究。基于深度学习的方法通常面临着泛化到未见数据、新环境或不同传感器规格的挑战,此外,[84]中使用的损失函数对两种误差源(即平移和旋转)是相同的,我们推测使用多任务神经网络单独估计平移和旋转可能会提高两者的准确性,或者可以使用具有两个平行流程的模型架构来分别估计姿态的两个分量。

C. 混合里程计

        混合雷达里程计是指同时使用前面讨论的雷达数据表示(即密集和稀疏表示)的方法,而不考虑所使用的雷达类型。唯一符合这一类别的例子是Monaco等人的工作[86],他们将问题分解为两个子问题:平移估计和旋转估计。对于平移估计,他们使用稀疏点通过最小二乘法解决运动方程以估计速度,然后使用RANSAC来移除场景中的动态对象。对于旋转估计,他们首先根据前一步的结果平移图像,然后在连续图像之间寻找最大相关性以估计旋转速度。他们的工作需要汽车雷达通常不提供的信息,因此他们选择使用扫描雷达(Delphi ESR 2.5)并从其扫描中模拟稀疏点。虽然将问题分解为两个部分听起来像是一个好主意,遵循“分而治之”的策略进行姿态估计,但在他们的工作中,将密集和稀疏表示结合起来的优势并不是很明显。

自动驾驶地面车辆的雷达里程计:方法与数据集综述,文献学习,自动驾驶,人工智能,机器学习

7. 雷达里程计与传感器融合

        在不同复杂环境中,各种传感器的性能会有所不同。它们各自具有优势和劣势,因此融合多模态数据提供了一种解决方案,可以克服各个传感器单独使用时的限制[90]–[92]。此外,许多讨论的传感器已经广泛应用于自动驾驶领域,因此开发利用车载所有硬件和感知模态的算法是有意义的。雷达传感器存在一些问题,例如幽灵物体、低分辨率、多径反射、运动畸变和饱和等。相机也有自己的问题,比如对光照和天气条件敏感。激光雷达在一定程度上也会受到恶劣天气条件和运动畸变的影响。典型的IMU具有噪声且容易漂移,最后,轮速编码器容易受到车轮滑动的影响。除了与这些传感器相关的各种弱点之外,单模态里程计算法通常也存在其固有的问题。例如,单目视觉里程计可以估计运动的尺度,而立体视觉里程计对于校准、校正、视差和三角测量的质量非常敏感,当深度远大于立体对的基线时,立体视觉也会退化成单目视觉。基于扫描雷达的雷达里程计通常具有较低的频率。基于激光雷达的里程计通常在计算上要求很高,其基于扫描匹配的方法需要良好的初始化。尽管使用传感器融合在里程计中具有预期的优点,但我们强调雷达里程计的出版工作中实际应用传感器融合技术的比例略低于预期(图2d),我们猜测这背后的原因可能是传感器融合硬件和方法的标准化缺乏,此外,单模态方法的成熟性和稳健性使得证明多模态方法的必要性越来越困难。接下来,我们对雷达里程计文献中发现的传感器融合方法进行简要概述。在这里,我们限制讨论使用其他传感器(例如相机、IMU)数据应在运行时可用的方法,只有使用其他传感器数据进行训练、测试、校准或作为地面真实数据源的方法不被视为融合方法。

        最常见的雷达里程计传感器配置是雷达和IMU的组合;典型IMU的高采样率与雷达的采样率相辅相成,雷达定期纠正IMU的不良漂移。这种传感器组合在无人机应用中取得了巨大成功,其中卡尔曼滤波器或其变体用于融合两个传感器的数据[93]–[98]。类似地,Almalioglu等人[63]和Araujo等人[69]的工作基于使用卡尔曼滤波器的变体来融合雷达和IMU数据。使用卡尔曼滤波器融合的一个优点是相对容易扩展到包括更多传感器,例如Ort等人[85]将地面探测雷达、轮速编码器和IMU的数据融合在一起。Holder等人[66]融合了经过预处理的雷达数据、陀螺仪、轮速编码器和方向盘角度。最后,Liang等人[68]在一个可扩展的框架中融合了雷达、激光雷达、相机、GNSS和IMU的数据。

        另一方面,Lu等人[84]采用深度学习,并提出了一种自我和交叉注意力的混合机制,用于融合雷达和IMU的数据,他们声称他们的方法在模型内部优于简单的特征级联,并且可以轻松扩展到包括更多传感器。Fritsche和Wagner[14]使用手工制定的启发式方法将雷达和激光雷达的探测结果。

8. 雷达里程计与机器学习

        机器学习技术已广泛应用于各种机器人感知任务,并在自动驾驶汽车和机器人领域取得了许多成功案例[99],[100]。学习技术利用现代硬件的计算能力来处理大量数据,从而实现无需建模的方法。尽管如此,我们发现使用任何学习技术的出版物数量比预期的少(图2c)。这可能与学习方法的泛化困难有关,这是机器学习领域普遍存在的问题,但在里程计和SLAM领域尤为难以解决。以下是在雷达里程计文献中发现的一些学习方法的简要概述。

        Barnes等人[82]和Weston等人[83]的工作是基于训练一个CNN来预测可以用于滤除嘈杂雷达扫描的掩码。他们在训练阶段使用视觉里程计作为地面真实位姿的来源。Aldera等人[50]也使用了U-Net风格的CNN来生成过滤掉雷达噪声和伪影的掩码,并且他们使用视觉里程计作为地面真实数据。Barnes和Posner[42]使用U-Net风格的CNN来预测关键点、得分和描述符。Burnett等人[45]也训练了一个U-Net CNN来预测关键点、得分和描述符,但他们使用无监督学习来训练模型。Aldera等人[51]使用SVM来对关联地标的相容性矩阵的特征向量进行分类,以区分好的和坏的估计。Araujo等人[69]仅将CNN用作预处理步骤,以对雷达数据进行去噪。Zhu等人[54]开发了一个神经网络模型,用于处理雷达点云并生成逐点的权重和偏移量,可用于算法的其他阶段进行运动估计。Almalioglu等人[63]使用RNN作为运动模型,以便从先前姿态的信息中受益,并更好地捕捉运动的动态特性。在Lu等人[84]中,使用了各种学习技术,从处理雷达数据的CNN,到处理IMU数据的RNN,再到混合注意机制,用于将两个流融合在一起,然后使用LSTM在将输出传递给全连接网络进行姿态回归之前从先前姿态中获得益处。最后,Alhashimi等人[58]提出了一种基于可学习参数的雷达滤波器。

        因此,看起来在学习技术中,扫描雷达比汽车雷达更常见。这可能是因为扫描雷达产生更丰富的数据,深度学习模型对此非常吸引。此外,我们注意到CNN是雷达里程计中最流行的学习技术,这是因为扫描雷达的扫描与视觉图像相似,因此在任务如语义分割和物体检测中使用CNN非常常见。

9. 讨论、挑战与未来建议

        实际情况下,雷达传感器不太可能完全取代相机和激光雷达在感知领域的作用。事实上,目前可用的雷达在物体识别、采样率或信噪比方面无法与相机/激光雷达相竞争。我们预期雷达将在自主平台的传感器组合中继续发挥重要的辅助作用。汽车雷达已经在自动驾驶汽车市场得到广泛应用,其成本相对于激光雷达仍然较低,并且在恶劣天气条件下更加可靠。以下是阻碍雷达里程计进展以及未来建议的一些挑战。

  1. 雷达几乎总是被提出作为解决恶劣天气问题以及激光雷达和相机在此类情况下性能下降的解决方案;然而,两种最具挑战性的条件,雾和尘土,却是当前可用数据集中最少的条件。对添加合成雾的研究取得了很大进展(例如[101]),但在雾和尘土条件下进行真实驾驶数据收集仍然更为理想。然而,我们也认识到在这些条件下预先预测和记录数据的难度,尤其是雾的情况。
  2. Navtech的热门扫描雷达被认为采样率较低,只有4Hz。考虑到大多数公开可用数据集是在相对较低的行驶速度下记录的(如图7所示),这意味着我们的雷达算法未经受过中高速行驶的测试。这是一个问题,因为这可能意味着我们对雷达里程计算法的当前评估最多只是乐观的。
  3. 雷达感知研究,特别是雷达里程计方面,缺少类似KITTI数据集和排行榜的公共参考点;一个让研究人员测试和对比他们的工作的共同参考标准。虽然牛津雷达机器人车数据集在一定程度上填补了这一角色,但牛津数据集在季节多样性和行驶速度方面非常有限。此外,它缺少维护的排行榜,而Boreas数据集试图解决这个问题。
  4. 最受欢迎的雷达数据集是使用扫描雷达收集的,目前没有公开的基于汽车雷达的数据集引起足够的关注,被视为“雷达里程计基准”,相反,基于汽车雷达的研究的常见做法是让研究人员收集和测试自己未发表的数据,这使得很难比较和评估针对汽车雷达开发的不同里程计方法。
  5. 最受欢迎的评估指标,平均平移误差和平均旋转误差(见子节IV-C),是为KITTI数据集量身定制的;(100, 200, 300, 400, 500, 600, 700和800)米的距离范围不一定适用于其他数据集。可以将其推广,以适应更长或更短距离的轨迹。

自动驾驶地面车辆的雷达里程计:方法与数据集综述,文献学习,自动驾驶,人工智能,机器学习

10. 结论

        基于雷达的里程计是在恶劣环境中估计机器人位置和方向变化的最佳解决方案之一。雷达在机器人领域已经得到广泛应用,并拥有许多优点,使其成为传感器组合中的重要组成部分;此外,雷达技术日益改进,价格更便宜,体积更小。本文对雷达里程计领域的相关工作进行了调研,重点关注了用于自主地面车辆或机器人的雷达里程计算法。调查了雷达里程计研究的当前趋势,包括方法、传感器类型以及传感器融合和机器学习技术的应用。文章还概述了雷达传感器的工作原理,雷达里程计的标准评估指标以及可用于雷达里程计研究的公开数据集。此外,对文献中发现的雷达里程计方法进行了系统分类。虽然基于雷达的状态估计技术并不新鲜,但是雷达传感器技术的最新进展和对自主性、安全性和全天候功能的增加期望为这一领域留下了广阔的发展空间,还有更多的工作需要在这个领域进行。

REFERENCES

[1] Y. Zhang, A. Carballo, H. Yang, and K. Takeda, “Perception and sensing for autonomous vehicles under adverse weather conditions: A survey,” ISPRS Journal of Photogrammetry and Remote Sensing, vol. 196, pp. 146–177, 2023.

[2] A. S. Mohammed, A. Amamou, F. K. Ayevide, S. Kelouwani, K. Agbossou, and N. Zioui, “The perception system of intelligent ground vehicles in all weather conditions: A systematic literature review,” Sensors, vol. 20, no. 22, p. 6532, 2020.

[3] M. Bijelic, T. Gruber, and W. Ritter, “A benchmark for lidar sensors in fog: Is detection breaking down?” in 2018 IEEE Intelligent Vehicles Symposium (IV). IEEE, 2018, pp. 760–767.

[4] J. Dickmann, J. Klappstein, M. Hahn, N. Appenrodt, H.-L. Bloecher, K. Werber, and A. Sailer, “Automotive radar the key technology for autonomous driving: From detection and ranging to environmental understanding,” in 2016 IEEE Radar Conference (RadarConf), 2016, pp. 1–6.

[5] A. Venon, Y. Dupuis, P. Vasseur, and P. Merriaux, “Millimeter wave fmcw radars for perception, recognition and localization in automotive applications: A survey,” IEEE Transactions on Intelligent Vehicles, vol. 7, no. 3, pp. 533–555, 2022.

[6] S. A. S. Mohamed, M.-H. Haghbayan, T. Westerlund, J. Heikkonen, H. Tenhunen, and J. Plosila, “A survey on odometry for autonomous navigation systems,” IEEE Access, vol. 7, pp. 97 466–97 486, 2019.

[7] M. Yang, X. Sun, F. Jia, A. Rushworth, X. Dong, S. Zhang, Z. Fang, G. Yang, and B. Liu, “Sensors and sensor fusion methodologies for indoor odometry: A review,” Polymers, vol. 14, no. 10, 2022.

[8] F. Corradi and F. Fioranelli, “Radar perception for autonomous unmanned aerial vehicles: A survey,” in System Engineering for Constrained Embedded Systems, ser. DroneSE and RAPIDO. New York, NY, USA: Association for Computing Machinery, 2022, p. 14–20.

[9] T. Zhou, M. Yang, K. Jiang, H. Wong, and D. Yang, “Mmw radar-based technologies in autonomous driving: A review,” Sensors, vol. 20, no. 24, 2020.

[10] D. Louback da Silva Lubanco, T. Schlechter, M. Pichler-Scheder, and C. Kastl, “Survey on radar odometry,” in Computer Aided Systems Theory – EUROCAST 2022, R. Moreno-Dı ́az, F. Pichler, and A. QuesadaArencibia, Eds. Cham: Springer Nature Switzerland, 2022, pp. 619–625.

[11] C. Iovescu and S. Rao, “The Fundamentals of Millimeter Wave Sensors,” Texas Instruments, 2020.

[12] M. Adams and M. D. Adams, Robotic navigation and mapping with radar. Artech House, 2012.

[13] J. Gamba, Radar signal processing for autonomous driving. Springer, 2019.

[14] P. Fritsche and B. Wagner, “Modeling structure and aerosol concentration with fused radar and lidar data in environments with changing visibility,” in 2017 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), 2017, pp. 2685–2690.

[15] J. W. Marck, A. Mohamoud, E. vd Houwen, and R. van Heijster, “Indoor radar slam a radar application for vision and gps denied environments,” in 2013 European Radar Conference, 2013, pp. 471–474.

[16] "Safety is everything. — navtechradar.com," https://navtechradar.com/, [Accessed 28-May-2023].

[17] TI, "Analog, Embedded Processing, Semiconductor Company, Texas Instruments," 2013.

[18] O. Ait-Aider, N. Andreff, J. M. Lavest, and P. Martinet, "Simultaneous object pose and velocity computation using a single view from a rolling shutter camera," in Computer Vision–ECCV 2006: 9th European Conference on Computer Vision, Graz, Austria, May 7-13, 2006. Proceedings, Part II 9. Springer, 2006, pp. 56–68.

[19] I. Vizzo, T. Guadagnino, B. Mersch, L. Wiesmann, J. Behley, and C. Stachniss, "Kiss-icp: In defense of point-to-point icp – simple, accurate, and robust registration if done the right way," IEEE Robotics and Automation Letters, vol. 8, no. 2, pp. 1029–1036, 2023.

[20] K. Burnett, A. P. Schoellig, and T. D. Barfoot, "Do we need to compensate for motion distortion and doppler effects in spinning radar navigation?" IEEE Robotics and Automation Letters, vol. 6, no. 2, pp. 771–778, 2021.

[21] M. Sheeny, E. De Pellegrin, S. Mukherjee, A. Ahrabian, S. Wang, and A. Wallace, "Radiate: A radar dataset for automotive perception," arXiv preprint arXiv:2010.09076, 2020.

[22] R. K ̈ ummerle, B. Steder, C. Dornhege, M. Ruhnke, G. Grisetti, C. Stachniss, and A. Kleiner, "On measuring the accuracy of slam algorithms," Autonomous Robots, vol. 27, pp. 387–407, 2009.

[23] A. Geiger, P. Lenz, and R. Urtasun, "Are we ready for autonomous driving? the kitti vision benchmark suite," in 2012 IEEE Conference on Computer Vision and Pattern Recognition, 2012, pp. 3354–3361.

[24] M. Grupp, "evo: Python package for the evaluation of odometry and slam." https://github.com/MichaelGrupp/evo, 2017.

[25] Z. Zhang and D. Scaramuzza, "A tutorial on quantitative trajectory evaluation for visual(-inertial) odometry," in 2018 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), 2018, pp. 7244–7251.

[26] H. Zhan, C. S. Weerasekera, J.-W. Bian, and I. Reid, "Visual odometry revisited: What should be learnt?" in 2020 IEEE International Conference on Robotics and Automation (ICRA), 2020, pp. 4203–4210.

[27] A. Ouaknine, A. Newson, J. Rebut, F. Tupin, and P. P ́ erez, "Carrada dataset: Camera and automotive radar with range-angle-doppler annotations," in 2020 25th International Conference on Pattern Recognition (ICPR), 2021, pp. 5068–5075.

[28] F. E. Nowruzi, D. Kolhatkar, P. Kapoor, F. Al Hassanat, E. J. Heravi, R. Laganiere, J. Rebut, and W. Malik, "Deep open space segmentation using automotive radar," in 2020 IEEE MTT-S International Conference on Microwaves for Intelligent Mobility (ICMIM), 2020, pp. 1–4.

[29] D. Barnes, M. Gadd, P. Murcutt, P. Newman, and I. Posner, "The oxford radar robotcar dataset: A radar extension to the oxford robotcar dataset," in Proceedings of the IEEE International Conference on Robotics and Automation (ICRA), Paris, 2020.

[30] W. Maddern, G. Pascoe, C. Linegar, and P. Newman, "1 Year, 1000km: The Oxford RobotCar Dataset," The International Journal of Robotics Research (IJRR), vol. 36, no. 1, pp. 3–15, 2017.

[31] K. Burnett, D. J. Yoon, Y. Wu, A. Z. Li, H. Zhang, S. Lu, J. Qian, W.-K. Tseng, A. Lambert, K. Y. Leung, A. P. Schoellig, and T. D. Barfoot, "Boreas: A multi-season autonomous driving dataset," The International Journal of Robotics Research, vol. 42, no. 1-2, pp. 33–42, 2023.

[32] G. Kim, Y. S. Park, Y. Cho, J. Jeong, and A. Kim, "Mulran: Multimodal range dataset for urban place recognition," in 2020 IEEE International Conference on Robotics and Automation (ICRA), 2020, pp. 6246–6253.

[33] J. Jeong, Y. Cho, Y.-S. Shin, H. Roh, and A. Kim, "Complex urban dataset with multi-level sensors from highly diverse urban environments," The International Journal of Robotics Research, vol. 38, no. 6, pp. 642–657, 2019.

[34] H. Caesar, V. Bankiti, A. H. Lang, S. Vora, V. E. Liong, Q. Xu, A. Krishnan, Y. Pan, G. Baldan, and O. Beijbom, "nuscenes: A multimodal dataset for autonomous driving," arXiv preprint arXiv:1903.11027, 2019.

[35] J.-L. D ́ eziel, P. Merriaux, F. Tremblay, D. Lessard, D. Plourde, J. Stanguennec, P. Goulet, and P. Olivier, "Pixset: An opportunity for 3d computer vision to go beyond point clouds with a full-waveform lidar dataset," 2021.

[36] T. Peynot, S. Scheding, and S. Terho, "The Marulan Data Sets: MultiSensor Perception in Natural Environment with Challenging Conditions," International Journal of Robotics Research, vol. 29, no. 13, pp. 1602–1607, November 2010.

[37] O. Schumann, M. Hahn, N. Scheiner, F. Weishaupt, J. Tilly, J. Dickmann, and C. W ̈ ohler, "RadarScenes: A Real-World Radar Point Cloud Data Set for Automotive Applications," Mar. 2021.

[38] J. Callmer, D. T ̈ ornqvist, F. Gustafsson, H. Svensson, and P. Carlbom, "Radar slam using visual features," EURASIP Journal on Advances in Signal Processing, vol. 2011, no. 1, pp. 1–11, 2011.

[39] Z. Hong, Y. Petillot, and S. Wang, "Radarslam: Radar based large-scale slam in all weathers," in 2020 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), 2020, pp. 5164–5170.

[40] J. H. Challis, "A procedure for determining rigid body transformation parameters," Journal of Biomechanics, vol. 28, no. 6, pp. 733–737, 1995.

[41] Z. Hong, Y. Petillot, A. Wallace, and S. Wang, "Radarslam: A robust simultaneous localization and mapping system for all weather conditions," The International Journal of Robotics Research, vol. 41, no. 5, pp. 519–542, 2022. [Online]. Available: https://doi.org/10.1177/02783649221080483

[42] D. Barnes and I. Posner, "Under the radar: Learning to predict robust keypoints for odometry estimation and metric localisation in radar," in 2020 IEEE International Conference on Robotics and Automation (ICRA), 2020, pp. 9484–9490.

[43] O. Ronneberger, P. Fischer, and T. Brox, "U-net: Convolutional networks for biomedical image segmentation," in Medical Image Computing and Computer-Assisted Intervention–MICCAI 2015: 18th International Conference, Munich, Germany, October 5-9, 2015, Proceedings, Part III 18. Springer, 2015, pp. 234–241.

[44] E. Rublee, V. Rabaud, K. Konolige, and G. Bradski, "Orb: An efficient alternative to sift or surf," in 2011 International Conference on Computer Vision, 2011, pp. 2564–2571.

[45] K. Burnett, D. J. Yoon, A. P. Schoellig, and T. D. Barfoot, "Radar odometry combining probabilistic estimation and unsupervised feature learning," arXiv preprint arXiv:2105.14152, 2021.

[46] T. D. Barfoot, J. R. Forbes, and D. J. Yoon, "Exactly sparse gaussian variational inference with application to derivative-free batch nonlinear state estimation," The International Journal of Robotics Research, vol. 39, no. 13, pp. 1473–1502, 2020. [Online]. Available: https://doi.org/10.1177/0278364920937608

[47] H. Lim, K. Han, G. Shin, G. Kim, S. Hong, and H. Myung, "Orora: Outlier-robust radar odometry," arXiv preprint arXiv:2303.01876, 2023.

[48] S. H. Cen and P. Newman, "Precise ego-motion estimation with millimeter-wave radar under diverse and challenging conditions," in 2018 IEEE International Conference on Robotics and Automation (ICRA), 2018, pp. 6045–6052.

[49] ---, "Radar-only ego-motion estimation in difficult settings via graph matching," in 2019 International Conference on Robotics and Automation (ICRA), 2019, pp. 298–304.

[50] R. Aldera, D. D. Martini, M. Gadd, and P. Newman, "Fast radar motion estimation with a learnt focus of attention using weak supervision," in 2019 International Conference on Robotics and Automation (ICRA), 2019, pp. 1190–1196.

[51] ---, "What could go wrong? introspective radar odometry in challenging environments," in 2019 IEEE Intelligent Transportation Systems Conference (ITSC), 2019, pp. 2835–2842.

[52] R. Aldera, M. Gadd, D. De Martini, and P. Newman, "What goes around: Leveraging a constant-curvature motion constraint in radar odometry," IEEE Robotics and Automation Letters, vol. 7, no. 3, pp. 7865–7872, 2022.

[53] D. Scaramuzza, F. Fraundorfer, and R. Siegwart, "Real-time monocular visual odometry for on-road vehicles with 1-point ransac," in 2009 IEEE International Conference on Robotics and Automation, 2009, pp. 4293–4299.

[54] S. Zhu, A. Yarovoy, and F. Fioranelli, "Deepego: Deep instantaneous ego-motion estimation using automotive radar," IEEE Transactions on Radar Systems, vol. 1, pp. 166–180, 2023.

[55] P. Besl and N. D. McKay, "A method for registration of 3-d shapes," IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 14, no. 2, pp. 239–256, 1992.

[56] D. Adolfsson, M. Magnusson, A. Alhashimi, A. J. Lilienthal, and H. Andreasson, "Cfear radarodometry - conservative filtering for efficient and accurate radar odometry," in 2021 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), 2021, pp. 5462-5469.

[57] ---, "Lidar-level localization with radar? the cfear approach to accurate, fast, and robust large-scale radar odometry in diverse environments," IEEE Transactions on Robotics, pp. 1–20, 2022.

[58] A. Alhashimi, D. Adolfsson, M. Magnusson, H. Andreasson, and A. J. Lilienthal, "Bfar-bounded false alarm rate detector for improved radar odometry estimation," arXiv preprint arXiv:2109.09669, 2021.

[59] P. Biber and W. Strasser, "The normal distributions transform: a new approach to laser scan matching," in Proceedings 2003 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS 2003) (Cat. No.03CH37453), vol. 3, 2003, pp. 2743–2748 vol.3.

[60] M. Rapp, M. Barjenbruch, K. Dietmayer, M. Hahn, and J. Dickmann, "A fast probabilistic ego-motion estimation framework for radar," in 2015 European Conference on Mobile Robots (ECMR), 2015, pp. 1–6.

[61] M. Rapp, M. Barjenbruch, M. Hahn, J. Dickmann, and K. Dietmayer, "Probabilistic ego-motion estimation using multiple automotive radar sensors," Robotics and Autonomous Systems, vol. 89, pp. 136146, 2017. [Online]. Available: https://www.sciencedirect.com/science/ article/pii/S0921889016300525

[62] P.-C. Kung, C.-C. Wang, and W.-C. Lin, “A normal distribution transform-based radar odometry designed for scanning and automotive radars,” in 2021 IEEE International Conference on Robotics and Automation (ICRA), 2021, pp. 14 417–14 423.

[63] Y. Almalioglu, M. Turan, C. X. Lu, N. Trigoni, and A. Markham, “Milli-rio: Ego-motion estimation with low-cost millimetre-wave radar,” IEEE Sensors Journal, vol. 21, no. 3, pp. 3314–3323, 2021.

[64] R. Zhang, Y. Zhang, D. Fu, and K. Liu, “Scan denoising and normal distribution transform for accurate radar odometry and positioning,” IEEE Robotics and Automation Letters, vol. 8, no. 3, pp. 1199–1206, 2023.

[65] K. Haggag, S. Lange, T. Pfeifer, and P. Protzel, “A credible and robust approach to ego-motion estimation using an automotive radar,” IEEE Robotics and Automation Letters, vol. 7, no. 3, pp. 6020–6027, 2022.

[66] M. Holder, S. Hellwig, and H. Winner, “Real-time pose graph slam based on radar,” in 2019 IEEE Intelligent Vehicles Symposium (IV), 2019, pp. 1145–1151.

[67] D. Kellner, M. Barjenbruch, J. Klappstein, J. Dickmann, and K. Dietmayer, “Instantaneous ego-motion estimation using doppler radar,” in 16th International IEEE Conference on Intelligent Transportation Systems (ITSC 2013), 2013, pp. 869–874.

[68] Y. Liang, S. Müller, D. Schwendner, D. Rolle, D. Ganesch, and I. Schaffer, “A scalable framework for robust vehicle state estimation with a fusion of a low-cost imu, the gnss, radar, a camera and lidar,” in 2020 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), 2020, pp. 1661–1668.

[69] P. R. M. d. Araujo, M. Elhabiby, S. Givigi, and A. Noureldin, “A novel method for land vehicle positioning: Invariant kalman filters and deep-learning-based radar speed estimation,” IEEE Transactions on Intelligent Vehicles, pp. 1–12, 2023.

[70] Y. Z. Ng, B. Choi, R. Tan, and L. Heng, “Continuous-time radar-inertial odometry for automotive radars,” in 2021 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), 2021, pp. 323330.

[71] R. Ghabcheloo and S. Siddiqui, “Complete odometry estimation of a vehicle using single automotive radar and a gyroscope,” in 2018 26th Mediterranean Conference on Control and Automation (MED), 2018, pp. 855–860.

[72] A. F. Scannapieco, “A novel outlier removal method for twodimensional radarodometry,” IET Radar, Sonar & Navigation, vol. 13, no. 10, pp. 1705–1712, 2019. [Online]. Available: https://ietresearch.onlinelibrary.wiley.com/doi/abs/10.1049/iet-rsn.2018.5661

[73] D. Kellner, M. Barjenbruch, J. Klappstein, J. Dickmann, and K. Dietmayer, “Instantaneous ego-motion estimation using multiple doppler radars,” in 2014 IEEE International Conference on Robotics and Automation (ICRA), 2014, pp. 1592–1597.

[74] M. Barjenbruch, D. Kellner, J. Klappstein, J. Dickmann, and K. Dietmayer, “Joint spatial- and doppler-based ego-motion estimation for automotive radars,” in 2015 IEEE Intelligent Vehicles Symposium (IV), 2015, pp. 839–844.

[75] Z. Zeng, X. Liang, X. Dang, and Y. Li, “Joint velocity ambiguity resolution and ego-motion estimation method for mmwave radar,” IEEE Robotics and Automation Letters, vol. 8, no. 8, pp. 4753–4760, 2023.

[76] D. Vivet, P. Checchin, and R. Chapuis, “Radar-only localization and mapping for ground vehicle at high speed and for riverside boat,” in 2012 IEEE International Conference on Robotics and Automation, 2012, pp. 2618–2624.

[77] ——, “Localization and mapping using only a rotating fmcw radar sensor,” Sensors, vol. 13, no. 4, pp. 4527–4552, 2013. [Online]. Available: https://www.mdpi.com/1424-8220/13/4/4527

[78] K. Retan, F. Loshaj, and M. Heizmann, “Radar odometry on se(3) with constant velocity motion prior,” IEEE Robotics and Automation Letters, vol. 6, no. 4, pp. 6386–6393, 2021.

[79] ——, “Radar odometry on se (3) with constant acceleration motion prior and polar measurement model,” arXiv preprint arXiv:2209.05956, 2022.

[80] P. Checchin, F. G ́ erossier, C. Blanc, R. Chapuis, and L. Trassoudaine, “Radar scan matching slam using the fourier-mellin transform,” in Field and Service Robotics: Results of the 7th International Conference. Springer, 2010, pp. 151–161.

[81] Y. S. Park, Y.-S. Shin, and A. Kim, “Pharao: Direct radar odometry using phase correlation,” in 2020 IEEE International Conference on Robotics and Automation (ICRA), 2020, pp. 2617–2623.

[82] D. Barnes, R. Weston, and I. Posner, “Masking by moving: Learning distraction-free radar odometry from pose information,” 2020.

[83] R. Weston, M. Gadd, D. De Martini, P. Newman, and I. Posner, “Fastmbym: Leveraging translational invariance of the fourier transform for efficient and accurate radar odometry,” in 2022 International Conference on Robotics and Automation (ICRA), 2022, pp. 2186–2192.

[84] C. X. Lu, M. R. U. Saputra, P. Zhao, Y. Almalioglu, P. P. B. de Gusmao, C. Chen, K. Sun, N. Trigoni, and A. Markham, “Milliego: Single-chip mmwave radar aided egomotion estimation via deep sensor fusion,” in Proceedings of the 18th Conference on Embedded Networked Sensor Systems, ser. SenSys ’20. New York, NY, USA: Association for Computing Machinery, 2020, p. 109–122. [Online]. Available: https://doi.org/10.1145/3384419.3430776

[85] T. Ort, I. Gilitschenski, and D. Rus, “Autonomous navigation in inclement weather based on a localizing ground penetrating radar,” IEEE Robotics and Automation Letters, vol. 5, no. 2, pp. 3267–3274, 2020.

[86] C. D. Monaco and S. N. Brennan, “Radarodo: Ego-motion estimation from doppler and spatial data in radar images,” IEEE Transactions on Intelligent Vehicles, vol. 5, no. 3, pp. 475–484, 2020.

[87] W. Churchill and W. S. Churchill, “Experience based navigation: Theory, practice and implementation,” Ph.D. dissertation, University of Oxford, 2012.

[88] R. Mur-Artal and J. D. Tardos, “Orb-slam2: An open-source slam system for monocular, stereo, and rgb-d cameras,” IEEE Transactions on Robotics, vol. 33, no. 5, pp. 1255–1262, 2017.

[89] J. Behley and C. Stachniss, “Efficient surfel-based slam using 3d laser range data in urban environments.” in Robotics: Science and Systems, vol. 2018, 2018, p. 59.

[90] Z. Wang, Y. Wu, and Q. Niu, “Multi-sensor fusion in automated driving: A survey,” IEEE Access, vol. 8, pp. 2847–2868, 2020.

[91] B. Shahian Jahromi, T. Tulabandhula, and S. Cetin, “Real-time hybrid multi-sensor fusion framework for perception in autonomous vehicles,” Sensors, vol. 19, no. 20, 2019. [Online]. Available: https://www.mdpi.com/1424-8220/19/20/4357

[92] N. A. Rawashdeh, J. P. Bos, and N. J. Abu-Alrub, “Camera–Lidar sensor fusion for drivable area detection in winter weather using convolutional neural networks,” Optical Engineering, vol. 62, no. 3, p. 031202, 2022. [Online]. Available: https://doi.org/10.1117/1.OE.62. 3.031202

[93] E. B. Quist, P. C. Niedfeldt, and R. W. Beard, “Radar odometry with recursive-ransac,” IEEE Transactions on Aerospace and Electronic Systems, vol. 52, no. 4, pp. 1618–1630, 2016.

[94] M. Mostafa, S. Zahran, A. Moussa, N. El-Sheimy, and A. Sesay, “Radar and visual odometry integrated system aided navigation for uavs in gnss denied environment,” Sensors, vol. 18, no. 9, 2018. [Online]. Available: https://www.mdpi.com/1424-8220/18/9/2776

[95] A. Kramer, C. Stahoviak, A. Santamaria-Navarro, A.-a. Aghamohammadi, and C. Heckman, “Radar-inertial ego-velocity estimation for visually degraded environments,” in 2020 IEEE International Conference on Robotics and Automation (ICRA), 2020, pp. 5739–5746.

[96] C. Doer and G. F. Trommer, “An ekf based approach to radar inertial odometry,” in 2020 IEEE International Conference on Multisensor Fusion and Integration for Intelligent Systems (MFI), 2020, pp. 152159.

[97] ——, “Radar visual inertial odometry and radar thermal inertial odometry: Robust navigation even in challenging visual conditions,” in 2021 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), 2021, pp. 331–338.

[98] C. Doer, J. Atman, and G. F. Trnmmer, “Gnss aided radar inertial odometry for uas flights in challenging conditions,” in 2022 IEEE Aerospace Conference (AERO), 2022, pp. 1–10.

[99] S. Grigorescu, B. Trasnea, T. Cocias, and G. Macesanu, “A survey of deep learning techniques for autonomous driving,” Journal of Field Robotics, vol. 37, no. 3, pp. 362–386, 2020.

[100] N. J. Abu-Alrub, A. D. Abu-Shaqra, and N. A. Rawashdeh, “Compact cnn-based road weather condition detection by grayscale image band for adas,” in Autonomous Systems: Sensors, Processing and Security for Ground, Air, Sea and Space Vehicles and Infrastructure 2022, vol. 12115. SPIE, 2022, pp. 183–191.

[101] M. Hahner, C. Sakaridis, D. Dai, and L. Van Gool, “Fog Simulation on Real LiDAR Point Clouds for 3D Object Detection in Adverse Weather,” in IEEE International Conference on Computer Vision (ICCV), 2021.文章来源地址https://www.toymoban.com/news/detail-609022.html

到了这里,关于自动驾驶地面车辆的雷达里程计:方法与数据集综述的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 视觉里程计(1):什么是视觉里程计

    1.概念:什么是里程计? 在里程计问题中,我们希望测量一个运动物体的轨迹。这可以通过许多不同的手段来实现。例如,我们在汽车轮胎上安装计数码盘,就可以得到轮胎转动的距离,从而得到汽车的估计。或者,也可以测量汽车的速度、加速度,通过时间积分来计算它的

    2024年02月07日
    浏览(41)
  • 视觉里程计学习笔记

    一、相机 1、双目相机的 D、P、K、R矩阵 是相机标定时得到的一组重要参数,它们分别代表以下含义: D矩阵 : 畸变矫正参数矩阵 。它包含了 相机图像坐标系下的径向畸变和切向畸变系数,用于将畸变像素坐标转化为无畸变的像素坐标 。对每个相机而言都有一个D矩阵。 P矩

    2024年02月03日
    浏览(40)
  • 基于ROS发布里程计信息

    参考文档: navigationTutorialsRobotSetupOdom 参考博客: (1)ROS机器人里程计模型 (2)ROS里程计消息nav_msgs/Odometry的可视化方法 1 常用坐标系系统模型 世界坐标系是描述机器人全局信息的坐标系;机器人坐标系是描述机器人自身信息的坐标系;传感器坐标系是描述传感器信息的坐

    2024年02月08日
    浏览(44)
  • 差速驱动机器人的车轮里程计模型

            车轮测程法是指使用旋转编码器(即连接到车轮电机以测量旋转的传感器)的测程法(即估计运动和位置)。这是轮式机器人和自动驾驶汽车定位的有用技术。         在本文中,我们将通过探索差速驱动机器人的

    2024年02月15日
    浏览(47)
  • IMU惯性里程计解算(附代码实现)

    一、系统概述 IMU是机器人常用的传感器之一,IMU对机器人的定位功能实现非常重要,其优点在于是内源传感器对外部环境变化不明显,输出频率高,缺点在于存在累积误差。本文主要记录一下在机器人定位中对IMU的使用和对惯性导航里程计的理解和实现。 本文代码主要依赖

    2023年04月15日
    浏览(43)
  • SLAM-VIO视觉惯性里程计

    VIO(visual-inertial odometry)即视觉惯性里程计,有时也叫视觉惯性系统(VINS,visual-inertial system),是融合相机和IMU数据实现SLAM的算法,根据融合框架的区别又分为紧耦合和松耦合,松耦合中视觉运动估计和惯导运动估计系统是两个独立的模块,将每个模块的输出结果进行融合

    2024年02月11日
    浏览(39)
  • 经典文献阅读之--VoxelMap(体素激光里程计)

    作为激光里程计,常用的方法一般是特征点法或者体素法,最近Mars实验室发表了一篇文章《Efficient and Probabilistic Adaptive Voxel Mapping for Accurate Online LiDAR Odometry》,同时还开源了代码在Github上。文中为雷达里程计提出了一种高效的概率自适应体素建图方法。地图是体素的集合,

    2024年02月16日
    浏览(40)
  • 机器人运动学——轮速里程计(SLAM)

    目录 一、机器人运动学分析 二、阿克曼小车  2.1运动学分析   想要让机器人运动, 除了提供目标速度还不够, 需要将机器人的目标速度转换每个电机实际的目标速度, 最终根据电机的目标速度对电机的控制实现对机器人的控制。 机器人的目标速度转换成电机的目标速度这

    2024年02月16日
    浏览(41)
  • 【机器人模拟-02】 模拟移动机器人设置里程计

            在本教程中,我将向您展示如何设置移动机器人的测程。本教程是“机器人模拟”指南中的第二个教程。测量位移是仿真中的重要内容,设置测程的官方教程在此页面上,但我将逐步引导您完成整个过程。         您可以在此处获取此项目的完整代码。让我们

    2024年02月16日
    浏览(48)
  • 视觉SLAM14讲笔记-第7讲-视觉里程计2

    直接法的引出 直接法是视觉里程计另一个主要分支,它与特征点法有很大的不同。 使用特征点法估计相机运动时,我们把特征点看作固定在三维空间的不动点。根据它们在相机中的投影位置,通过 最小化重投影误差 来优化相机运动。 相对地,在直接法中,我们并不需要知

    2024年02月09日
    浏览(36)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包