FPN和PAN的内容及区别(修改版1.2)

这篇具有很好参考价值的文章主要介绍了FPN和PAN的内容及区别(修改版1.2)。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。


  FPN和PAN都是用于解决在目标检测中特征金字塔网络(FPN)在多尺度检测任务上的不足的方法。下面分别详细介绍一下它们的原理和区别。

FPN

  FPN全称Feature Pyramid Network,是由FAIR在2017年提出的一种处理多尺度问题的方法。FPN的主要思路是通过构建金字塔式的特征图来提取不同尺度下的目标特征,进而提高检测精度。
  FPN的构建方式是从高分辨率的特征图开始向下采样,同时从低分辨率的特征图开始向上采样,将它们连接起来形成金字塔。在这个过程中,每一层特征图的信息都会与上下相邻层的特征图融合,这样可以使得高层特征图中的目标信息得以保留,同时低层特征图中的背景信息也可以被高层特征图所补充。经过这样的处理,FPN可以提高模型在多尺度检测任务上的精度,同时还可以在不影响检测速度的情况下提高检测 速度 精度。(原版有错误,此处进行修改)

  FPN的主要思想是在图像的不同层次上构建特征金字塔,以便能够捕获不同尺度的物体。

  FPN的核心是特征融合,其基本步骤如下:

  1. 输入图像经过卷积神经网络,得到一系列特征图,每个特征图对应网络的一层。
  2. 对于 较浅 较深 的特征图,进行上采样操作,使其尺寸与 较深 较浅 的特征图相同。这里的上采样可以使用插值等方法进行。(原版有错误,此处进行修改)
  3. 将上采样后的 较浅 较深 特征图与 较深 较浅 特征图进行融合,这里采用的是加法操作。(原版有错误,此处进行修改)
  4. 对融合后的特征图进行卷积,进一步融合信息。
  5. 重复步骤2~4,直到所有特征图都进行了融合操作。最终得到的特征金字塔包含多个尺度的特征图,可用于物体检测和分割等任务。
    fpn和pan,人工智能,计算机视觉,神经网络,目标检测,机器学习
    如上图中的d所示。

FPN的融合过程

  在FPN中,浅层特征图和深层特征图的融合是通过上采样(up-sampling)和下采样(down-sampling)完成的。具体来说,FPN将深层特征图分解为一系列分辨率更低但语义更高的特征图,并将这些特征图与对应的上采样浅层特征图进行加和融合,最终得到多尺度的特征图。融合的具体过程如下:

  1. 自下而上生成金字塔:FPN首先采用ResNet等网络作为骨干网络,自下而上生成一系列特征图,每个特征图的分辨率比上一层低,但语义更高。

  2. 自上而下进行特征融合:FPN然后从自下而上生成的特征图序列的顶部(即 最高 最低 分辨率的特征图)开始,通过上采样将其分辨率加倍,然后将结果与该特征图序列中分辨率较低但语义更高的下一层特征图进行加和,从而获得一组新的特征图。FPN将该过程称为“特征上采样(feature up-sampling)”。(原版有错误,此处进行修改)

  3. 横向连接进行特征融合:接下来,FPN将新生成的高分辨率特征图(上采样后的图)与 与之相对应的浅层特征图进行加和,从而生成新的特征图。这一过程称为“特征横向连接(feature lateral connection)”,可以有效地将低分辨率特征图中的语义信息传递到高分辨率特征图中。

  4. 重复步骤2和3:FPN在步骤2和3中重复使用相同的操作,从而生成多尺度特征图金字塔。在该金字塔中,每个特征图都与不同分辨率的输入图像区域相对应,这使得FPN可以同时对不同尺度的目标进行检测。

  总体来说,FPN通过上下采样和横向连接操作实现了浅层和深层特征图的融合,从而提高了检测器对不同尺度目标的检测能力。与PAN不同,FPN使用了上采样操作,这使得FPN生成的特征图具有更高的分辨率,从而能够更好地保留目标的细节信息。
  FPN的优点在于能够自然地融合不同尺度的特征图,提高目标检测和分割的准确性。FPN的缺点在于计算量较大,需要耗费较长时间进行训练和推断。

PAN

  PAN全称Path Aggregation Network,是由Megvii在2018年提出的一种处理多尺度问题的方法。

  PAN(Path Aggregation Network)是一个用于图像语义分割的深度神经网络架构。PAN的主要思路是通过聚合来自不同层级的特征图,使得每个特征图中的信息都可以被充分利用,从而提高检测精度。与FPN类似,PAN也是一种金字塔式的特征提取网络,但是它采用的是自下而上的特征传播方式。
  PAN的构建方式是从低分辨率的特征图开始向上采样,同时从高分辨率的特征图开始向下采样,将它们连接起来形成一条路径。在这个过程中,每一层特征图的信息都会与上下相邻层的特征图融合,但与FPN不同的是,PAN会将不同层级的特征图融合后的结果进行 加和 级联 ,而不是 级联 加和。这样可以避免在 级联 加和 过程中信息的损失,同时还可以保留更多的细节信息,从而提高检测精度。(原版有错误,此处进行修改)
  在PAN中,网络的主干部分通常采用ResNet等常用的卷积神经网络结构。在主干网络的后半部分,PAN引入了一个自下而上的侧边分支,用于将低分辨率的特征图传递到高分辨率的层中。这个侧边分支与主干网络是平行的,由一系列卷积和上采样(即反卷积)操作组成,从而将低分辨率的特征图上采样到与高分辨率的特征图相同的分辨率。

  在将不同分辨率的特征图进行融合时,PAN采用了一种类似于FPN的方法,但稍有不同。具体而言,PAN中首先将低分辨率的特征图进行上采样,然后将其与高分辨率的特征图进行拼接,得到一个更加丰富的特征图。接着,对这个特征图进行卷积操作,以得到最终的特征表示。

  与FPN相比,PAN中自下而上的特征传播方式更为高效,可以在更少的计算资源下实现更好的语义分割效果。同时,PAN中的特征融合方式也具有一定的优势,能够更好地保留低分辨率特征图中的细节信息,从而提高分割的准确性。
fpn和pan,人工智能,计算机视觉,神经网络,目标检测,机器学习
如图所示,b区域是PAN多出的一条自底向上的路径。

区别

fpn和pan,人工智能,计算机视觉,神经网络,目标检测,机器学习

  FPN和PAN的主要区别在于特征融合方式不同,而且PAN比FPN多了一条自底向上的路径。FPN采用 级联 加和 的方式进行特征融合,会在融合过程中丢失一部分细节信息,因此对于需要高精度检测的场景,可能表现不如PAN。而PAN采用 加和 级联 的方式进行特征融合,可以保留更多的细节信息,但同时也会增加计算量。

参考及图片来自

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/flyfish1986/article/details/110520667
————————————————
版权声明:本文为CSDN博主「西西弗Sisyphus」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/flyfish1986/article/details/110520667文章来源地址https://www.toymoban.com/news/detail-735321.html

到了这里,关于FPN和PAN的内容及区别(修改版1.2)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 鸿蒙开发之手势Pan

    2024年01月17日
    浏览(33)
  • 【pan-sharpening 攻击:目标检测】

    (对抗性泛锐化攻击在遥感目标检测中的应用) 全色锐化是遥感系统中最常用的技术之一,其目的是将纹理丰富的PAN图像和多光谱MS图像融合,以获得纹理丰富的MS图像。随着深度学习的发展,基于CNN的泛锐化方法近年来受到越来越多的关注。由于全色锐化技术可以融合Pan和

    2023年04月14日
    浏览(20)
  • 目标检测 - FPN结构

    论文:Feature Pyramid Networks for Object Detection 网址:https://arxiv.org/abs/1612.03144 图a为特征图像金字塔,针对我们要检测不同尺度的目标时,我们会将图片缩放到不同的尺度,针对每个尺度的图片都经过我们的模型进行预测。面临问题:生成n个不同的尺度,就要重新预测n次,这样效

    2024年01月23日
    浏览(26)
  • 深度学习中的FPN详解

    深度学习入门小菜鸟,希望像做笔记记录自己学的东西,也希望能帮助到同样入门的人,更希望大佬们帮忙纠错啦~侵权立删。   目录 一、FPN提出原因 二、FPN的参考思想 三、特征金字塔  四、FPN具体思路 卷积网络中,深层网络容易响应语义特征,浅层网络容易响应图像特征

    2024年02月02日
    浏览(36)
  • 【学习】FPN特征金字塔

    论文:Feature Pyramid Networks for Object Detection (CVPR 2016) 参考blog:https://blog.csdn.net/weixin_55073640/article/details/122627966 参考视频讲解:添加链接描述 卷积网络中,深层网络容易响应语义特征,浅层网络容易响应图像特征。然而,在目标检测中往往因为卷积网络的这个特征带来了不少

    2024年01月24日
    浏览(98)
  • 【UE4 RTS】04-Camera Pan

    本篇实现了CameraPawn的旋转功能。 1. 打开项目设置,添加两个操作映射 2. 打开玩家控制器“RTS_PlayerController_BP”,新建一个浮点型变量,命名为“PanSpeed” 在事件图表中添加如下节点  此时运行游戏可以发现当鼠标移动时,CameraPawn会围绕Z轴进行相应的旋转,但是按下W键时前

    2024年02月13日
    浏览(38)
  • 【目标检测】FPN特征金字塔完整流程详解

    学习视频:1.1.2 FPN结构详解 可以看到FPN是自上而下、自下而上并且可以进行多尺度特征融合的的层级结构。 1x1 conv: 对通道数进行调整,不同大小的特征图通道数不同,越高层次的特征图通道数越大,论文中使用256个1x1的卷积核,从而把特征图的通道数都调整为256。 2x up: 使

    2024年04月27日
    浏览(32)
  • 3d空间中pan,tilt,roll和pitch,yaw,roll的对应关系

    在三维空间中,pan(横摇)、tilt(俯仰)和roll(滚转)分别表示三个轴上的旋转。 Pan(横摇):绕垂直于地面的Y轴旋转。通常用于表示水平方向的旋转,如摄像机水平旋转以观察不同方向的场景。 Tilt(俯仰):绕水平的X轴旋转。通常用于表示在垂直方向上的旋转,如摄像

    2024年02月15日
    浏览(50)
  • yolov5-7.0关于添加Bi_FPN的探讨

    慢慢学,慢慢干。  大神博客:https://yolov5.blog.csdn.net/article/details/125148552 我老老实实的按照大神博主的方案进行修改。 第一步:common.py中添加BiFPN模型 第二步:修改yolo.py 使用Ctrl+F查询在 elif m is Concat: 语句,在其后面加上 BiFPN_Add 选项,确保yaml的BiFPN参数能够被识别到。 第

    2024年02月01日
    浏览(29)
  • 新KG视点 | Jeff Pan、陈矫彦等——大语言模型与知识图谱的机遇与挑战

    OpenKG 大模型专辑 导读  知识图谱和大型语言模型都是用来表示和处理知识的手段。大模型补足了理解语言的能力,知识图谱则丰富了表示知识的方式,两者的深度结合必将为人工智能提供更为全面、可靠、可控的知识处理方法。在这一背景下,OpenKG组织新KG视点系列文章——

    2024年02月11日
    浏览(49)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包