FPN和PAN的内容及区别

这篇具有很好参考价值的文章主要介绍了FPN和PAN的内容及区别。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。


  FPN和PAN都是用于解决在目标检测中特征金字塔网络(FPN)在多尺度检测任务上的不足的方法。下面分别详细介绍一下它们的原理和区别。

FPN

  FPN全称Feature Pyramid Network,是由FAIR在2017年提出的一种处理多尺度问题的方法。FPN的主要思路是通过构建金字塔式的特征图来提取不同尺度下的目标特征,进而提高检测精度。
  FPN的构建方式是从高分辨率的特征图开始向下采样,同时从低分辨率的特征图开始向上采样,将它们连接起来形成金字塔。在这个过程中,每一层特征图的信息都会与上下相邻层的特征图融合,这样可以使得高层特征图中的目标信息得以保留,同时低层特征图中的背景信息也可以被高层特征图所补充。经过这样的处理,FPN可以提高模型在多尺度检测任务上的精度,同时还可以在不影响检测速度的情况下提高检测 速度 精度。(原版有错误,此处进行修改)

  FPN的主要思想是在图像的不同层次上构建特征金字塔,以便能够捕获不同尺度的物体。

  FPN的核心是特征融合,其基本步骤如下:

  1. 输入图像经过卷积神经网络,得到一系列特征图,每个特征图对应网络的一层。
  2. 对于 较浅 较深 的特征图,进行上采样操作,使其尺寸与 较深 较浅 的特征图相同。这里的上采样可以使用插值等方法进行。(原版有错误,此处进行修改)
  3. 将上采样后的 较浅 较深 特征图与 较深 较浅 特征图进行融合,这里采用的是加法操作。(原版有错误,此处进行修改)
  4. 对融合后的特征图进行卷积,进一步融合信息。
  5. 重复步骤2~4,直到所有特征图都进行了融合操作。最终得到的特征金字塔包含多个尺度的特征图,可用于物体检测和分割等任务。
    FPN和PAN的内容及区别
    如上图中的d所示。

FPN的融合过程

  在FPN中,浅层特征图和深层特征图的融合是通过上采样(up-sampling)和下采样(down-sampling)完成的。具体来说,FPN将深层特征图分解为一系列分辨率更低但语义更高的特征图,并将这些特征图与对应的上采样浅层特征图进行加和融合,最终得到多尺度的特征图。融合的具体过程如下:

  1. 自下而上生成金字塔:FPN首先采用ResNet等网络作为骨干网络,自下而上生成一系列特征图,每个特征图的分辨率比上一层低,但语义更高。

  2. 自上而下进行特征融合:FPN然后从自下而上生成的特征图序列的顶部(即 最高 最低 分辨率的特征图)开始,通过上采样将其分辨率加倍,然后将结果与该特征图序列中分辨率较低但语义更高的下一层特征图进行加和,从而获得一组新的特征图。FPN将该过程称为“特征上采样(feature up-sampling)”。(原版有错误,此处进行修改)

  3. 横向连接进行特征融合:接下来,FPN将新生成的高分辨率特征图(上采样后的图)与 与之相对应的浅层特征图进行加和,从而生成新的特征图。这一过程称为“特征横向连接(feature lateral connection)”,可以有效地将低分辨率特征图中的语义信息传递到高分辨率特征图中。

  4. 重复步骤2和3:FPN在步骤2和3中重复使用相同的操作,从而生成多尺度特征图金字塔。在该金字塔中,每个特征图都与不同分辨率的输入图像区域相对应,这使得FPN可以同时对不同尺度的目标进行检测。

  总体来说,FPN通过上下采样和横向连接操作实现了浅层和深层特征图的融合,从而提高了检测器对不同尺度目标的检测能力。与PAN不同,FPN使用了上采样操作,这使得FPN生成的特征图具有更高的分辨率,从而能够更好地保留目标的细节信息。
  FPN的优点在于能够自然地融合不同尺度的特征图,提高目标检测和分割的准确性。FPN的缺点在于计算量较大,需要耗费较长时间进行训练和推断。

PAN

  PAN全称Path Aggregation Network,是由Megvii在2018年提出的一种处理多尺度问题的方法。

  PAN(Path Aggregation Network)是一个用于图像语义分割的深度神经网络架构。PAN的主要思路是通过聚合来自不同层级的特征图,使得每个特征图中的信息都可以被充分利用,从而提高检测精度。与FPN类似,PAN也是一种金字塔式的特征提取网络,但是它采用的是自下而上的特征传播方式。
  PAN的构建方式是从低分辨率的特征图开始向上采样,同时从高分辨率的特征图开始向下采样,将它们连接起来形成一条路径。在这个过程中,每一层特征图的信息都会与上下相邻层的特征图融合,但与FPN不同的是,PAN会将不同层级的特征图融合后的结果进行 加和 级联 ,而不是 级联 加和。这样可以避免在 级联 加和 过程中信息的损失,同时还可以保留更多的细节信息,从而提高检测精度。(原版有错误,此处进行修改)
  在PAN中,网络的主干部分通常采用ResNet等常用的卷积神经网络结构。在主干网络的后半部分,PAN引入了一个自下而上的侧边分支,用于将低分辨率的特征图传递到高分辨率的层中。这个侧边分支与主干网络是平行的,由一系列卷积和上采样(即反卷积)操作组成,从而将低分辨率的特征图上采样到与高分辨率的特征图相同的分辨率。

  在将不同分辨率的特征图进行融合时,PAN采用了一种类似于FPN的方法,但稍有不同。具体而言,PAN中首先将低分辨率的特征图进行上采样,然后将其与高分辨率的特征图进行拼接,得到一个更加丰富的特征图。接着,对这个特征图进行卷积操作,以得到最终的特征表示。

  与FPN相比,PAN中自下而上的特征传播方式更为高效,可以在更少的计算资源下实现更好的语义分割效果。同时,PAN中的特征融合方式也具有一定的优势,能够更好地保留低分辨率特征图中的细节信息,从而提高分割的准确性。
FPN和PAN的内容及区别
如图所示,b区域是PAN多出的一条自底向上的路径。

区别

FPN和PAN的内容及区别

  FPN和PAN的主要区别在于特征融合方式不同,而且PAN比FPN多了一条自底向上的路径。FPN采用 级联 加和 的方式进行特征融合,会在融合过程中丢失一部分细节信息,因此对于需要高精度检测的场景,可能表现不如PAN。而PAN采用 加和 级联 的方式进行特征融合,可以保留更多的细节信息,但同时也会增加计算量。

参考及图片来自

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/flyfish1986/article/details/110520667
————————————————
版权声明:本文为CSDN博主「西西弗Sisyphus」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/flyfish1986/article/details/110520667文章来源地址https://www.toymoban.com/news/detail-490040.html

到了这里,关于FPN和PAN的内容及区别的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 【pan-sharpening 攻击:目标检测】

    (对抗性泛锐化攻击在遥感目标检测中的应用) 全色锐化是遥感系统中最常用的技术之一,其目的是将纹理丰富的PAN图像和多光谱MS图像融合,以获得纹理丰富的MS图像。随着深度学习的发展,基于CNN的泛锐化方法近年来受到越来越多的关注。由于全色锐化技术可以融合Pan和

    2023年04月14日
    浏览(20)
  • 【目标检测】FPN特征金字塔完整流程详解

    学习视频:1.1.2 FPN结构详解 可以看到FPN是自上而下、自下而上并且可以进行多尺度特征融合的的层级结构。 1x1 conv: 对通道数进行调整,不同大小的特征图通道数不同,越高层次的特征图通道数越大,论文中使用256个1x1的卷积核,从而把特征图的通道数都调整为256。 2x up: 使

    2024年04月27日
    浏览(32)
  • 人工智能学习07--pytorch15(前接pytorch10)--目标检测:FPN结构详解

    backbone:骨干网络,例如cnn的一系列。(特征提取) (a)特征图像金字塔 检测不同尺寸目标。 首先将图片缩放到不同尺度,针对每个尺度图片都一次通过算法进行预测。 但是这样一来,生成多少个尺度就要预测多少次,训练效率很低。 (b)单一特征图 faster rcnn所采用的一种方式

    2023年04月12日
    浏览(74)
  • 计算机视觉的应用4-目标检测任务:利用Faster R-cnn+Resnet50+FPN模型对目标进行预测

    大家好,我是微学AI,今天给大家介绍一下计算机视觉的应用4-目标检测任务,利用Faster Rcnn+Resnet50+FPN模型对目标进行预测,目标检测是计算机视觉三大任务中应用较为广泛的,Faster R-CNN 是一个著名的目标检测网络,其主要分为两个模块:Region Proposal Network (RPN) 和 Fast R-CNN。我

    2024年02月05日
    浏览(55)
  • (一)KITTI数据集用于3D目标检测

    KITTI 是德国卡尔斯鲁厄科技学院和丰田芝加哥研究院开源的数据集,最早发布于 2012 年 03 月 20 号。 对应的论文Are we ready for Autonomous Driving? The KITTI Vision Benchmark Suite发表在 CVPR2012 上。 KITTI 数据集搜集自德国 卡尔斯鲁厄 市,包括市区/郊区/高速公路等交通场景。采集于 2011 年

    2024年02月10日
    浏览(51)
  • 用于自动驾驶的基于深度学习的图像 3D 目标检测:综述

    论文地址:https://ieeexplore.ieee.org/abstract/document/10017184/ 准确、鲁棒的感知系统是理解自动驾驶和机器人驾驶环境的关键。自动驾驶需要目标的 3D 信息,包括目标的位置和姿态,以清楚地了解驾驶环境。 摄像头传感器因其颜色和纹理丰富且价格低廉而广泛应用于自动驾驶中。摄

    2024年02月03日
    浏览(55)
  • 用于微小目标检测的上下文扩展和特征细化网络

           这是一篇ICLR 2022的会议论文,ICLR由Lecun,Hinton和Bengio三位神经网络的元老联手发起。近年来随着深度学习在工程实践中的成功,ICLR会议也在短短的几年中发展成为了神经网络的顶会。哎,我也想发这样的文章,今天我们就来看看这篇文章的成功之处,虽然论文给了代

    2023年04月08日
    浏览(31)
  • CutLER:一种用于无监督目标检测和实例分割的方法

    本文分享自华为云社区《CutLER:一种用于无监督目标检测和实例分割的方法》,作者:Hint。 目标检测是计算机视觉中的一种重要任务,使AI系统感知、推理、理解目标。训练定位模型需要特别的标注,比如目标的框、掩膜、定位点等。本文的工作研究了无监督的目标检测和实

    2024年02月12日
    浏览(43)
  • 深度学习目标检测模型常用于部署在边缘计算设备上,常用于部署的边缘计算设备有哪些。

    问题描述:深度学习目标检测模型常用于部署在边缘计算设备上,常用于部署的边缘计算设备有哪些。 问题解答: 在边缘计算设备上部署深度学习目标检测模型通常需要考虑设备的计算能力、内存、功耗等因素。以下是一些常用于部署深度学习目标检测模型的边缘计算设备

    2024年02月02日
    浏览(46)
  • yolov8 + deepsort 用于进行多目标检测(车流统计,人流统计)

    参考视频:https://www.youtube.com/watch?v=nkptX_vXJKo git地址:https://github.com/MuhammadMoinFaisal/YOLOv8-DeepSORT-Object-Tracking Clone the repository Goto the cloned folder. cd YOLOv8-DeepSORT-Object-Tracking Install the dependecies 这里要注意不是在yolo环境下执行,而是在普通命令行下执行,否则会报错 Run the code with

    2024年02月16日
    浏览(40)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包