1.Abstract
单目目标检测在自动驾驶领域，一直是一个具有挑战的任务。现在大部分的方式都是沿用基于卷积的2D 检测器，首先检测物体中心，后通过中心附近的特征去预测3D属性。
但是仅仅通过局部的特征去预测3D特征是不高效的，且并没有考虑一些长距离的物体之间的深度关系，丢失了很多的有意义的信息。
在本作中，作者介绍了一种基于DETR框架的用于单目检测的网络。作者通过对原始的transformer网络进行改造，加入了以深度为引导的transformer结构。作者将此网络结构命名为MonoDETR。
具体来说，作者在使用视觉encoder去提取图像的特征外，还引入了一种depth encoder去预测前景深度地图，后续将其转化为depth embeddings。之后就和传统的DETR或者BevFormer一致，使用3D object query去与前述生成的vision embeding 和 depth embending分别做self 和 cross attention，通过decoder得到最终的2D以及3D结果。通过此种方法，每一个3D物体都是通过depth-guided regions（embedding）去获取的3D信息，而非限制在局部的视觉特征。
2. Introduction
相对于基于lidar和multi-view 的3D检测任务，单目3D检测是相对较困难的。因为没有可依赖的3D深度信息以及多视角几何学关系。所以相应的检测结果也不会那么的好。
为了解决这些问题，我们根据DETR的2
D检测框架提出了本文的网络结构。如上图所示b所示：此结构包括两个平行部分，分别为vision encoder 和 depth encoder。
划重点：如何去学习深度信息呢？这里论文使用了了一个“轻”的监督去获取输入图像的深度信息。具体是在在image backbone后接了一个depth predictor，用于输出前景深度地图。同时在过程中产生的depth feature会输入到紧接着的depth encoder，用来提取深度信息。同时我们对输出的前景地图进行监督。此监督仅仅是由我们的labeled object构成即可，也就是一个discrete depth of objects。这样就不需要稠密的深度地图label。减轻了对数据的压力。又能获取使用的深度信息。
在这两个encoder后，继续接一个transformer结构，使用object query从视觉embeding和depth embeding中聚合信息，从而对物体进行检测。
此处的优势就比较明显，相对于目前自动驾驶领域的各种繁重的数据pipeline，此方法仅仅需要常规的物体标注结果即可完成全部的检测流程。而无需额外的dense depth maps或者Lidar信息。且在kitti中取得了SOTA的成绩。
同时这里边提到的depth encoder也可以作为一个plug and play的插件直接用来增强多视觉3D检测效果，比如BEVFormer。（当然我看来这几个点，似乎没啥用~）
3. Related work
咱自己看论文哈~和本文关系不太大
突然看到有个有点意思的介绍，这里简单说下：
DETR base methods
- MonoDTR： 仅仅引入transformer去增强数据提取而已。还是提取的局部特征，基于object center这种，严格上不是基于DETR的方法，具体可以参考：MonoDTR解读
- DETR3D 和PETR v2 ： multi view 3D检测，使用了detr结构，但是没用到transform base的encoder。相应的也就只用了视觉信息，无深度信息。具体参考PETR v2解读 DETR 3D
- BEVFormer：加了个从image feature到bev feature的encoder进行信息提取。后续在bev空间进行3D检测。GOOD！BEVFormer 解读
4. Method
又到了喜闻乐见的看图说论文环节，上图
4.1Feature Extraction
Visual Features
无需过多赘述，用来提取图像高阶特征的常规cnn网络，基本收敛在使用resnet上。这里设置的下采样倍率是1/8, 1/16, 1/32。这里论文中没有对三层fpn的结果都使用，而是选择了语义信息最丰富的最后一层作为visual feature输入vision encoder。
depth features
这里深度特征，先将从backbone提取的三层特征都进行了融合（element-wise addition），主要目的是保留小目标的特征。之后使用3*3的网络提取depth feature。
foreground depth map
为了让深度特征更加的高效以及丰富。这里添加了一个额外的深度监督。通过将depth feature经过一个1*1的卷积，生成一个前景深度图。而我们通过离散的基于gt的深度标签对其进行监督。具体规则：在2D bbox内的pixel统一赋值为物体的深度。如果是在两个bbox内的pixel，则选择离相机近的距离值赋值。同时这里对深度也进行了离散编码。参考的方法见： Categorical depth distributionnetwork for monocular 3d object detection
简单总结：在检测距离
[
d
x
,
d
y
]
[d_x, d_y]
[dx,dy] 内使用linear increasing discretization （LID）分布对其进行编码，一共编码成k+1个bins。其中k个为前景，最后一个为背景。具体使用公式如下：
其中
δ
\delta
δ 是相关参数公差。可以根据检测距离和需要的bins数量得到。
4. 2 Depth guided transformer
Visual and depth encoders
作者使用两个encoder对获取的图像和深度feature进行进一步的全局特征提取。这里作者也贴心的将使用transformer时需要将feature flatten的操作通过对feature维度的描写给大家展示出来了。维度分别为
H
∗
W
/
1
6
2
H*W/16^2
H∗W/162 和
H
∗
W
/
3
2
2
H*W/32^2
H∗W/322。具体构成就是每一个encoder block由一个self-attention 和 ffn构成。encoder的作用在这里就是将local feature 升格成global feature了。由于vision feature含有更复杂的信息，所以使用了3个block去更好的提取vision 信息。
Depth-guided-decoder
划重点：核心部分。
根据从encoder提取的全局特征 f D e f_D^e fDe 和 f V e f_V^e fVe，作者设计了基于深度引导的decoder结构。使用预先设定的object queries q去和 f D e f_D^e fDe 和 f V e f_V^e fVe做cross attention。每一个block包含了一个depth cross-attention、一个inter-query self-attention、一个视觉cross-attention和做一个FFN。这样输出的object embedings就既包括视觉信息，又包括深度信息，可以更好的进行预测工作。
为了更好的融合提取信息，作者一共使用了3个block来做decoder工作。
Depth positional encoding
在transformer中需要position embeding。这里没有像其他结构一样，直接使用一个sin函数来作为position encoding。而是使用了一个可学习的depth positional encodings。具体细节是使用前序得的depth map去差值获取与 f D e f_D^e fDe 相对应的深度信息，然后与 f D e f_D^e fDe 进行逐点相加。这样object query就能更好的去capture scene-level 深度信息并更好的理解3D 几何信息。
4. 3 Detection heads and loss
bipartite matching
使用二分匹配，设计了两组metric，一组是2D信息，包含类别、2D位置、2D大小。第二组包含3D位置，3D大小，orientation。理论上应该是使用两组cost 的和去做匹配。但是因为3D信息比较难学，且不稳定，会导致matching失败，所以是仅仅使用了第一组信息去做匹配。
overall loss
2D loss+3D loss + depth map loss
公式如下：
4.4 Plug-and-play for Multi-view Detectors
主要结论是可以加入到multi view的目标检测中，作为3D信息的补充，可以得到更好的结果。不一一赘述了。工程化部署时，收益肯定没有付出的算力多。（作者不要来打我）
5 Experiments
我们是最棒的，所有的消融实验的能证明现在的结构最好~我就只贴下map结果吧。文章来源：https://www.toymoban.com/news/detail-699771.html
文章来源地址https://www.toymoban.com/news/detail-699771.html
到了这里，关于MonoDETR: Depth-guided Transformer for Monocular 3D Object Detection 论文解读的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
