计算机视觉 day94 DDH - YOLOv5:基于双IoU感知解耦头改进的YOLOv5,用于对象检测

这篇具有很好参考价值的文章主要介绍了计算机视觉 day94 DDH - YOLOv5:基于双IoU感知解耦头改进的YOLOv5,用于对象检测。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

YOLOv5头部的分类任务和回归任务的共同分支会对训练过程造成伤害,分类得分与定位精度的相关性较低。我们提出了一种双iou感知解耦头(DDH),并将其应用于YOLOv5。改进后的模型命名为DDH-YOLOv5,在不显著增加FLOPS和参数的情况下,显著提高了模型的定位精度。在PASCAL VOC2007数据集上的大量实验表明,DDH-YOLOv5具有良好的性能。与YOLOv5相比,本文提出的DDH-YOLOv5m和DDH-YOLOv5l的平均精度(AP)分别提高了2.4%和1.3%。

I. Introduction

由于YOLO系列的主干和特征金字塔(不断进化),它们的检测头保持耦合,如图1所示。计算机视觉 day94 DDH - YOLOv5:基于双IoU感知解耦头改进的YOLOv5,用于对象检测,计算机视觉,YOLO,人工智能YOLO检测头的结构。a) YOLO检测头使用来自颈部的特征映射。b)分类任务、回归任务和对象任务共用一个分支

然而,在耦合头中,分类和定位是两个不同的任务,但它们具有几乎相同的参数。

计算机视觉 day94 DDH - YOLOv5:基于双IoU感知解耦头改进的YOLOv5,用于对象检测,计算机视觉,YOLO,人工智能基于解耦头,我们将空间敏感热图如图2所示。第一列为原始图像,第二列为空间敏感的热图,用于分类,第三列为定位。越暖和,颜色越好。

这种基本任务在空间维度上的错位极大地限制了探测头的性能。换句话说,如果检测器试图从同一个空间点/锚推断分类分数和回归结果,它总是会得到一个不完美的权衡结果。

另一方面,分类子网络和定位子网络由独立的目标函数训练,彼此之间不存在关联。因此,在单级检测器中,分类分数与定位精度的相关性较低,严重影响了模型的定位精度。IoUaware retavanet也证明了这种低相关性会影响检测器的性能。

为了解决上述问题,本文基于YOLOv5提出了一种改进的模型DDH-YOLOv5。与YOLO检测头相比,双iou感知解耦头采用解耦头解决分类和定位任务之间的冲突,包括分类分支和回归分支。同时,回归分支中增加了一条感知ioU的路径,增强了检测结果中分类分数与定位精度之间的相关性。与YOLOv5相比,改进的DDH-YOLOv5具有更好的定位精度和更快的收敛速度。

II. Related work

Prediction head 预测头

在DyHead中,提出了一个检测头,用于在单个框架中实现尺度感知、空间感知和任务感知的注意。

在YOLOX中,将YOLO检测头替换为一个精简解耦头,它是分类分支和回归分支之前的1 × 1 Conv层,以降低通道维数。

YOLOF还应用了分类和回归分支,并为回归头部的每个锚点添加了隐式的对象性预测(没有直接监督)。

在Double-Head R-CNN中,提出了一种新的检测头,该检测头采用全连接头进行分类,并采用卷积头进行边界盒回归。

本文将YOLO检测头替换为双Iou感知解耦头(Double IoU-aware uncoupling head, DDH),提高了模型的定位精度和收敛速度。

III. Methodology

计算机视觉 day94 DDH - YOLOv5:基于双IoU感知解耦头改进的YOLOv5,用于对象检测,计算机视觉,YOLO,人工智能如图3所示,DDH-YOLOv5的基线和neck与YOLOv5相同,但DDH-YOLOv5采用了双欠条感知解耦头(Double IoU-aware decoupling Head, DDH)作为预测头,提高了目标检测性能。

3.1 Decoupled Head

计算机视觉 day94 DDH - YOLOv5:基于双IoU感知解耦头改进的YOLOv5,用于对象检测,计算机视觉,YOLO,人工智能我们将图1中的YOLO检测头替换为图4中的双iou感知解耦头(Double IoU-aware decoupling head, DDH)。计算机视觉 day94 DDH - YOLOv5:基于双IoU感知解耦头改进的YOLOv5,用于对象检测,计算机视觉,YOLO,人工智能由图5可以看出,用双iou感知解耦头代替解耦头具有更快的收敛速度和更好的性能。实验证明,双iou感知解耦头结构的设计能够解决分类和回归任务之间的冲突,加快模型的收敛速度。

3.2 Double IoU‑aware

在介绍部分,我们提到了在单级检测器上分类分数和定位精度之间的相关性很低。在推理过程中,这种低相关性会以两种方式损害模型的平均精度(AP)。

首先,对检测项进行标准非最大抑制(standard non - maximum suppression, NMS)时,对所有检测项进行分类评分。分类分数最高的检测会抑制重叠度高于人工设置阈值的其他检测。因此,分类分数低但IoU高的检测会被分类分数高但IoU低的检测所抑制。其次,在计算平均精度(AP)时,根据分类分数对检测进行排序;分类分数低而欠条数高的检测,定位精度较高,但等级较低。

YOLOv5在计算Obj路径的二进制交叉熵损失(binary cross-entropy loss, BCE)时,将CIoU的最小值设置为0,这极大地限制了分类分数与定位精度之间的相关性。

3.3 Training

计算机视觉 day94 DDH - YOLOv5:基于双IoU感知解耦头改进的YOLOv5,用于对象检测,计算机视觉,YOLO,人工智能

IoU-aware loss (LI)采用二元交叉熵损失(BCE),只计算正例损失,如(1)所示。IoUi表示每个检测框的预测IoU,̂IoUi是(2)所示回归的正bi与对应的地真盒bi之间计算的目标IoU。是否计算LI相对于IoUi的梯度将影响模型的性能。由于在训练过程中计算了LI对IoÛi的梯度,因此可以将IoUaware路径的梯度反向传播到回归路径。这减少了预测IoU (IoUi)和目标IoU(̂IoUi)之间的差距,并使预测IoU与目标IoU更相关。

DDH-YOLOv5中,总损失如式(3)所示,Lo和Lc分别为YOLOv5的物性损失和YOLOv5的分类损失,Wc和Wo分别为Lo和Lc的权重系数,Lr为YOLOv5的回归损失,WI为LI的权重系数,Wr为Lr和LI共有的权重系数。

3.4 Inference

在推理过程中,如(4)所示,将分类分数Clsi乘以对象度分数Obji,并预测IoU IoUi作为每个被检测框的最终检测置信度Sdet。计算机视觉 day94 DDH - YOLOv5:基于双IoU感知解耦头改进的YOLOv5,用于对象检测,计算机视觉,YOLO,人工智能

IV. Experiments

4.1 与YOLOv5等检测头对PASCAL VOC2007测试进行比较

计算机视觉 day94 DDH - YOLOv5:基于双IoU感知解耦头改进的YOLOv5,用于对象检测,计算机视觉,YOLO,人工智能上标†表示采用了TPH-YOLOv5[32]中的变压器预测头。上标‡表明使用了YOLOX[8]中的解耦头,其宽度系数与YOLOX相同。我们所有的训练和测试都使用512 × 512分辨率的PASCAL VOC2007数据集,并且训练时间表是“2倍”。

计算机视觉 day94 DDH - YOLOv5:基于双IoU感知解耦头改进的YOLOv5,用于对象检测,计算机视觉,YOLO,人工智能训练时总损失值和mAP值。这两个模型都应用了解耦头和双iou感知。Total loss和mAP用PASCAL VOC2007测量,NMS IoU阈值为0.6

4.2 与COCO2017验证集上的可变形DETR进行比较

计算机视觉 day94 DDH - YOLOv5:基于双IoU感知解耦头改进的YOLOv5,用于对象检测,计算机视觉,YOLO,人工智能顶部部分显示变形DETR[33]的结果。我们在640×640分辨率上训练和测试dhh - yolov5m,训练时间表是“1x”(12 epoch)和“3x”(36 epoch)

4.3 与COCO2017验证集上的YOLOF进行比较

计算机视觉 day94 DDH - YOLOv5:基于双IoU感知解耦头改进的YOLOv5,用于对象检测,计算机视觉,YOLO,人工智能

顶部显示了YOLOF[3]的结果。YOLOF采用ResNet-50作为骨干,带有R101或X101后缀的模型表示使用ResNet-101或RetNeXt-101-64× 4d作为骨干。我们在640×640分辨率上训练和测试dhh - yolov5,训练时间表是“1x”(12 epoch)

4.4 与COCO2017测试开发集上的YOLOv4的比较

计算机视觉 day94 DDH - YOLOv5:基于双IoU感知解耦头改进的YOLOv5,用于对象检测,计算机视觉,YOLO,人工智能上面的部分显示了YOLOv4的结果。在608×608分辨率下对模型进行训练和测试,将模型转换为FP16半精度后测量推理时间,在2080Ti上测量FPS

V. Conclusion

本文针对YOLOv5检测头存在的问题,提出了一种基于YOLOv5的改进模型DDH-YOLOv5,包括解耦头以解决分类和定位任务之间的冲突,以及双iou感知路径以增强检测结果中分类分数和定位精度之间的相关性。在MS COCO2017数据集和PASCAL VOC2007数据集上的大量实验表明,双iou感知解耦头(Double IoU-aware 解耦头,DDH)能够显著提高模型性能,并且收敛速度更快。我们希望这份报告能够帮助开发人员和研究人员更好地体验单级物体检测器。文章来源地址https://www.toymoban.com/news/detail-589351.html

到了这里,关于计算机视觉 day94 DDH - YOLOv5:基于双IoU感知解耦头改进的YOLOv5,用于对象检测的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 计算机视觉的应用7-利用YOLOv5模型启动电脑摄像头进行目标检测

    大家好,我是微学AI,今天给大家介绍一下计算机视觉的应用7-利用YOLOv5模型启动电脑摄像头进行目标检测,本文将详细介绍YOLOv5模型的原理,YOLOv5模型的结构,并展示如何利用电脑摄像头进行目标检测。文章将提供样例代码,以帮助读者更好地理解和实践YOLOv5模型。 目录 引

    2024年02月10日
    浏览(58)
  • 计算机视觉——day88 读论文:基于驾驶员注意视野的交通目标检测与识别

    该方法使用由前视立体成像系统和非接触式三维凝视跟踪器联合交叉校准获得的注视点的驱动器三维绝对坐标。在检测阶段,结合了多尺度HOG-SVM和Faster r - cnn模型。识别阶段通过ResNet-101网络来验证生成的假设集。我们将这种方法应用于城市环境中驾驶过程中收集到的真实数据

    2024年02月02日
    浏览(42)
  • 计算机视觉——day 90 基于级联卷积神经网络和对抗学习的显著目标检测

    显著目标检测在过去的几年中受到了广泛的关注并取得了巨大的成功。要获得清晰的边界和一致的显著性仍然是一个挑战,这可以被认为是显着对象的结构信息。流行的解决方案是进行一些后处理(例如,条件随机场(CRF))来细化这些结构信息。 在本工作中,我们提出了一

    2024年02月06日
    浏览(60)
  • 计算机视觉——day 91基于双网络的鲁棒特征高光谱目标检测(偏门且很水啊)

    用于高光谱目标检测的深度网络训练通常面临样本有限的问题,在极端情况下,可能只有一个目标样本可用。为了解决这一挑战,我们提出了一种新的双网络方法。针对高光谱图像的光谱和空间特征,利用生成对抗网络(GAN)和卷积神经网络(CNN)两种神经网络对目标进行检测。然

    2024年02月04日
    浏览(88)
  • 【计算机视觉】YOLOv8如何使用?(含源代码)

    comments description keywords true Boost your Python projects with object detection, segmentation and classification using YOLOv8. Explore how to load, train, validate, predict, export, track and benchmark models with ease. YOLOv8, Ultralytics, Python, object detection, segmentation, classification, model training, validation, prediction, model export, bench

    2024年02月04日
    浏览(52)
  • 【计算机视觉】YOLOv9:物体检测技术的飞跃发展

    YOLOv9 引入了可编程梯度信息 (PGI) 和广义高效层聚合网络 (GELAN) 等开创性技术,标志着实时目标检测领域的重大进步。该模型在效率、准确性和适应性方面都有显著提高,在 MS COCO 数据集上树立了新的标杆。YOLOv9 项目虽然是由一个独立的开源团队开发的,但它建立在以下机构

    2024年04月17日
    浏览(43)
  • 计算机竞赛 深度学习YOLOv5车辆颜色识别检测 - python opencv

    🔥 优质竞赛项目系列,今天要分享的是 🚩 **基于深度学习YOLOv5车辆颜色识别检测 ** 该项目较为新颖,适合作为竞赛课题方向,学长非常推荐! 🥇学长这里给一个题目综合评分(每项满分5分) 难度系数:3分 工作量:3分 创新点:4分 🧿 更多资料, 项目分享: https://gitee.com

    2024年02月08日
    浏览(59)
  • 改良YOLOv8网络架构 | 采用SwinTransformer网络 | 借助位移窗口实现视觉变换 | 计算机视觉

    改良YOLOv8网络架构 | 采用SwinTransformer网络 | 借助位移窗口实现视觉变换 | 计算机视觉 随着计算机视觉技术的不断发展,研究人员们也在不断尝试对各种神经网络进行改良,以提高它们的性能和准确度。其中比较流行的一个目标检测算法就是YOLOv8,但是它依然存在一些不足之处

    2024年02月08日
    浏览(54)
  • 计算机设计大赛 深度学习YOLOv5车辆颜色识别检测 - python opencv

    🔥 优质竞赛项目系列,今天要分享的是 🚩 **基于深度学习YOLOv5车辆颜色识别检测 ** 该项目较为新颖,适合作为竞赛课题方向,学长非常推荐! 🥇学长这里给一个题目综合评分(每项满分5分) 难度系数:3分 工作量:3分 创新点:4分 🧿 更多资料, 项目分享: https://gitee.com

    2024年02月19日
    浏览(93)
  • 改进YOLOv8 | 主干网络篇 | YOLOv8采用FasterNet提升计算机视觉速度

    深度学习在计算机视觉领域的应用越来越广泛,而目标检测是其中非常重要的一个任务。YOLOv8作为一种先进的目标检测算法,以其快速和准确的特性而备受关注。然而,为了进一步提升YOLOv8的性能和速度,我们可以通过更换主干网络来达到这个目标。本文将介绍一种名为Fas

    2024年01月23日
    浏览(60)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包