R3Det: Refined Single-Stage Detector with Feature Refinement for Rotating Object

这篇具有很好参考价值的文章主要介绍了R3Det: Refined Single-Stage Detector with Feature Refinement for Rotating Object。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

R3Det: Refined Single-Stage Detector with Feature Refinement for Rotating Object

paper:https://arxiv.org/abs/1908.05612
code: https://github.com/Thinklab- SJTU/R3Det_Tensorflow
https://github.com/SJTU-Thinklab-Det/r3det-on-mmdetection

摘要

旋转目标检测难以定位多角度对象,对于具有大纵横比、密集分布和类别极不平衡的旋转对象仍然存在挑战。本文提出了一种端到端的精细化单级旋转检测器,通过使用从粗粒度到细粒度的渐进回归方法来快速准确地检测对象。
考虑到现有的单级检测器中特征未对准的缺点,设计了一个特征细化模块,通过获得更精确的特征来提高检测性能,通过逐像素特征插值将细化边界框的位置信息重新编码到相应特征点。
提出了一种近似SkewIoU损失,以解决SkewIoU的不可导问题

介绍

目标检测已经提出了许多高性能的通用目标检测器,通常分为:两阶目标检测器和单阶目标检测器。
然而一般的水平检测器对于许多场景有基本限制,例如:场景文本检测、零售场景检测和遥感对象检测,从而对象可以从各个方向出现。
具体而言,有三个挑战:

  1. 大纵横比,大宽高比对象之间的斜交大于并集
  2. 密集排列,许多对象通常以密集排列的形式出现
  3. 任意方向,图像中物体可能以各种方向出现,要求探测器具有精确的方向估计能力

本文采用改进的单阶旋转检测器
发现旋转检测器可以在密集场景中表现更好,而水平检测器可以以更少的数量实现更高的召回率。因此在改进的单阶检测器中采用了从粗到细的逐步回归形式,即在第一阶段使用水平锚以更快的速度和更高的召回率,然后在随后的细化阶段中使用旋转锚来适应密集场景。
现有的改进单阶检测器存在特征未对准问题,限制了改进阶段中分类和回归的可靠性,设计了一个特征细化模块FRM,使用特征插值来获得与细化锚对应的位置信息,并通过逐像素方法重构整个特征图以实现特征对齐。FRM还可以在第一阶段之后减少细化边界框的数量,加快模型的速度。
设计一个近似的SkewIoU损失来解决SkewIoU不可微分的问题,实现更精确的旋转估计。
具体而言做出一下贡献:

  1. 对于大纵横比目标检测,以精细化的方式设计了一种精确快速的旋转单阶检测器。与特征对齐中基于学习的方法相比,该方法缺乏补偿未对准的明确机制,本文提出了一种直接有效的基于纯计算的方法,进一步扩展处理旋转情况。
  2. 对于密集排列的对象,本文设计了一种有效的从粗到细的渐进回归方法,更灵活高效的计算两种形式的锚框。
  3. 对于任意旋转的对象,设计了可导的近似SkewIoU损失,以实现更精确的旋转估计。

相关工作

两阶目标检测器
单阶目标检测器
旋转目标检测器
主流使用的旋转目标检测器基本都是两阶的,但是其中使用了复杂的结构导致了速度瓶颈。
精细目标检测器
为了实现更好的检测精度,提出了许多级联或改进的检测器,与使用RoI Pooling和RoI Align进行特征对齐的两阶目标检测器不同。目前改进的单阶检测器在这方面没有很好地解决。改进的单阶检测器的一个重要要求是保持全卷积结构,可以保持速度优势,因此必须新的层。

方法

R3Det: Refined Single-Stage Detector with Feature Refinement for Rotating Object
将细化阶段多次重复添加到网络以细化边界框,并在细化阶段添加特征细化模块FRM以重构特征图。

旋转RetinaNet

使用五个参数(x,y,w,h,θ)来表示任意定向矩形,其旋转边界框为:
R3Det: Refined Single-Stage Detector with Feature Refinement for Rotating Object
每个框具有相同的中心点、高度和宽度,两个矩形组之间的角度差相同,但纵横比不同,但SkewIoU差异很大。平滑的L1 loss不适用于旋转检测,旋转检测的评估指标也由SkewIoU主导。
然而两个旋转框之间的SkewIoU是不可计算的,这意味着不能直接使用SkewIoU作为回归损失,因此提出了一个可推导的近似SkewIoU loss
R3Det: Refined Single-Stage Detector with Feature Refinement for Rotating Object
其中N表示锚的数量,objn表示前景和背景,v表示预测和gt向量,t表示类别标签,超参数λ1、λ2控制权衡,默认设置为1,分类损失使用focal loss,|……|用于获得向量的模,f表示skewIoU相关的损失函数,IoU表示水平边界框IoU的计算函数。

精细旋转RetinaNet

R3Det: Refined Single-Stage Detector with Feature Refinement for Rotating Object细化检测
SkewIoU对角度变化敏感,轻微的角度偏移会导致IoU得分快速下降,预测框的细化能提高召回率,我们加入了不同IoU阈值的多个细化阶段,细化检测器的总loss为:
R3Det: Refined Single-Stage Detector with Feature Refinement for Rotating Object
Li为第i阶段的loss

特征细化模块
许多细化检测器仍然使用相同的特征图来执行多个分类和回归,而不考虑边界框的位置变化引起的特征未对准
R3Det: Refined Single-Stage Detector with Feature Refinement for Rotating Object
本文将当前细化边界框(橙色)的位置信息重新编码为相应的特征点(红点),从而以像素方式重建整个特征图,采用双线性插值方法:
R3Det: Refined Single-Stage Detector with Feature Refinement for Rotating Object
基于上述结果,设计了一个特征细化模块:
R3Det: Refined Single-Stage Detector with Feature Refinement for Rotating Object
通过双向卷积来添加特征图,再细化阶段仅保留每个特征点得分最高的边界框,以提高速度,边界框的过滤是特征重构的必要步骤,对于特征图的每个特征点,我们根据细化边界框的五个坐标获得特征图像上相应的特征向量,通过双线性插值获得更精确的特征向量,并替换当前特征,在遍历特征点之后重建整个特征图,最后将重构的特征图添加到原始特征图中:
R3Det: Refined Single-Stage Detector with Feature Refinement for Rotating Object
Fi+1表示i+1阶段的特征图,Bi、Si分别表示第i阶段预测的边界框和置信分数
与RoIAlign比较
R3Det: Refined Single-Stage Detector with Feature Refinement for Rotating Object

  1. RoI Align有更多的采样点,FRM只采样5个特征点,大约是RoI Align的1/40,提高速度
  2. RoI Align需要在分类和回归之前获得相对应的特征,相比之下FRM首先获得对应特征,然间特征图,可以保持全卷积结构,提高效率

实验

鲁棒的基线
  • RetinaNet-H:水平锚的优点是可以使用更少的锚,但是引入了大量的非对象区域,对于具有大纵横比的对象,其预测旋转边界框往往不准确
  • RetinaNet-R:旋转锚通过添加角度参数避免噪声区域的引入,在密集场景中具有更好的检测性能,然而锚的数量增加了6倍,从而使效率降低
  • R3det:采用从粗到细的逐步回归形式,在第一阶段使用水平锚来减少锚的数量,提高召回率,后续使用旋转锚
    R3Det: Refined Single-Stage Detector with Feature Refinement for Rotating Object
    Retina-H和Retina-R具有相似的map,但具有各自的特征
    R3Det: Refined Single-Stage Detector with Feature Refinement for Rotating Object
    水平方法在速度上具有优势,而旋转锚方法在密集对象场景和具有大纵横比的对象中具有更好的能力
    R3Det: Refined Single-Stage Detector with Feature Refinement for Rotating Object
    消融实验
    特征细化模块,FRM基于改进的锚重构特征图,整体性能提高了2.79%至66.31%
    在其他数据集中也性能更好
    R3Det: Refined Single-Stage Detector with Feature Refinement for Rotating Object
    与其他基于学习的方法相比,本文FRM更准确有效
    R3Det: Refined Single-Stage Detector with Feature Refinement for Rotating Object
    细化阶段数细化策略可以显著提高旋转检测的性能,实验表明三个或更多的改进不会对整体性能带来额外的盖上,集成多阶段结果,可以进一步提高检测性能
    R3Det: Refined Single-Stage Detector with Feature Refinement for Rotating Object
    近似SkewIoU loss使用两个不同的检测器和三个不同的SkewIoU函数来验证近似SkewIoU的有效性
    R3Det: Refined Single-Stage Detector with Feature Refinement for Rotating Object
    R3Det: Refined Single-Stage Detector with Feature Refinement for Rotating Object

结论

本文提出了一种端到端的精细单级探测器,用于旋转具有大纵横比、密集分布和任意方向的物体,这在实践中很常见,如航空、零售和场景文本图像。鉴于当前改进的单级检测器存在特征未对准的缺点,我们设计了一个特征细化模块来提高检测性能。
FRM的关键思想是通过逐像素特征插值将当前细化边界框的位置信息重新编码到相应的特征点,以实现特征重构和对齐。为了更精确的旋转估计,提出了一种近似的SkewIoU损失,以解决SkewIoU的计算不可推导的问题。我们对包括DOTA、HRSC2016、UCASAOD和ICDAR2015在内的多个旋转检测数据集进行了仔细的消融研究和对比实验,并证明了我们的方法以高效率实现了最先进的检测精度。文章来源地址https://www.toymoban.com/news/detail-498975.html

到了这里,关于R3Det: Refined Single-Stage Detector with Feature Refinement for Rotating Object的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 【论文阅读】【3d目标检测】Embracing Single Stride 3D Object Detector with Sparse Transformer

    论文标题:Embracing Single Stride 3D Object Detector with Sparse Transformer 源码地址:https://github.com/TuSimple/SST CVPR2022 文章写得很好! 文章从2d 3d目标检测目标的尺寸的不同入手,在2d目标检测中确实由于图像近大远小的尺寸关系 存在着图像中物体尺寸长尾的问题: 如coco数据集中,大小

    2023年04月15日
    浏览(51)
  • 一种基于YOLO改进的高效且轻量级的表面缺陷检测网络, NEU-DET和GC10-DET涨点明显

    💡💡💡 本文摘要: 一种基于YOLO改进的高效且轻量级的表面缺陷检测, 在NEU-DET和GC10-DET任务中涨点明显 目录 1.轻量且高效的YOLO 1.1 SCRB介绍 1.1.1 ScConv介绍  1.2 GSConvns  1.3 od_mobilenetv2_050 1.4  对应yaml 2.实验结果 3.源码获取 轻量且高效的YOLO网络结构  其实ScConv和Bottleneck的基

    2024年01月19日
    浏览(41)
  • 【论文笔记】DS-UNet: A dual streams UNet for refined image forgery localization

    DS-UNet:用于细化图像伪造定位的双流UNet 提出了一种名为DS-UNet的双流网络来检测图像篡改和定位伪造区域。 DS-UNet采用RGB流提取高级和低级操纵轨迹,用于粗定位,并采用Noise流暴露局部噪声不一致,用于精定位 。由于被篡改对象的形状和大小总是不同的,DS-UNet采用了 轻量级

    2024年02月05日
    浏览(45)
  • PP-OCRv4-server-det模型训练

    PP-OCRv4-server-det项目地址https://aistudio.baidu.com/projectdetail/paddlex/6792800 1、数据校验 2、 模型训练 3、评估测试   4、模型部署  

    2024年02月06日
    浏览(40)
  • R3live官方数据集测试及R3live+ Velodyne

    1. 下载livox-SDK,编译安装 2.下载livox驱动,编译安装 3.CGAL和pcl_viewer安装 4.下载r3live源码,编译安装 顺利编译成功后就可以尝试运行launch文件了,我们需要将livox驱动source到环境中,所以需要从livox_ws文件夹中启动 再rosbag play你的数据集就可以了。 r3live一般使用的是livox固态激

    2024年02月14日
    浏览(51)
  • dlib.get_frontal_face_detector()及detector()返回值

    目录 1.结论 2.验证过程 2.1代码 2.2数据:传入图片(必应搜索获取) 2.3输出结果 3.参考致谢 detector=dlib.get_frontal_face_detector() 获得脸部位置检测器 dets = detector(gray, 0) 返回值是class \\\'dlib.dlib.rectangle\\\',即一个矩形,表示为能够唯一表示这个人脸矩形框两个点坐标:左上角(x1,y1)

    2024年02月06日
    浏览(29)
  • Windows驱动(用户层R3与内核层R0通信)

    内存空间分为用户层和系统层,普通的应用程序只能运行在用户层,为了可以操作系统层的内存 所以引入了驱动程序,有了驱动就可以通过用户层来操作系统层的内存及函数,所以驱动就是应用层和系统层之间的一个桥梁 在应用层通过创建符号链接,自动产生驱动层的IRP事

    2024年02月14日
    浏览(46)
  • 真手把手带你跑r3live

    实验室来了台机器人,上面的设备是依据r3live的设备选的,因为R3LIVE的效果太好了,特别感谢大佬的开源精神。这几天把车子跑起来,就打算写个博客记录一下。 本人能力有限,可能某些地方会有些问题,若发现问题,还请指正。 效果如下: 在多传感器融合slam中,由于会集

    2024年02月09日
    浏览(85)
  • ChatGPT检测器(Detector)

    现阶段可使用的Detector如以下所示,在网页端有5个(3个支持中文),api有3个途径,代码运行成功的有一个。 名称 地址 特性 GPTZero https://gptzero.me/ 支持中英文,判定较为严格,有开源代码 OpenAI GPT2 Output Detector https://openai-openai-detector.hf.space/ 支持中英文,判定宽松 Hello-Simple

    2023年04月27日
    浏览(39)
  • 小米路由R3G Breed 刷Padavan/openWRT固件

    小米R3G这款路由器,采用MT7621A处理器,256M RAM,128M ROM,全千兆网口,且价格便宜(60CNY左右),是一款十分值得折腾的路由器,推荐想要折腾路由器的新手入手。 本文介绍使用UART串口向小米路由R3G刷入Breed的详细操作流程, 通过此方式,可以绕过小米官方对系统固件的限制(

    2024年02月08日
    浏览(185)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包