特征融合(二):PANet-路径聚合网络

这篇具有很好参考价值的文章主要介绍了特征融合(二):PANet-路径聚合网络。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

图像处理中,融合不同尺度的特征是提高图像效果的重要手段,在卷积中:
浅层特征:浅层特征分辨率更高,包含更多位置、细节信息,但是由于经过的卷积更少,其语义性更低,噪声更多。
高层特征:高层特征具有更强的语义信息,但是分辨率很低,对细节的感知能力较差。
如何将两者高效融合,是改善模型的关键。

特征融合(二):PANet-路径聚合网络,CV计算机视觉,人工智能,计算机视觉

PANet(Path Aggregation Network)

论文地址

https://arxiv.org/abs/1803.01534

代码地址

https://github.com/ShuLiu1993/PANet

1、缩短信息路径和用浅层级的准确定位信息增强特征金字塔,创建了自下而上的路径增强;
2、为了恢复每个建议区域和所有特征层级之间被破坏的信息,开发了适应性特征池化(adaptive feature pooling)技术,可以将所有特征层级中的特征整合到每个建议区域中,避免了任意分配的结果;
3、全连接融合层:使用一个小型fc层用于补充mask预测。

特征融合(二):PANet-路径聚合网络,CV计算机视觉,人工智能,计算机视觉

自下而上的路径增强:Bottom-up Path Augemtation的提出主要是考虑到网络的浅层特征对于实例分割非常重要。浅层特征中包含大量边缘形状等特征,这对实例分割这种像素级别的分类任务是起到至关重要的作用的。因此,为了保留更多的浅层特征,引入了Bottom-up Path Augemtation。

红色的箭头表示在FPN中,因为要走自底向上的过程,浅层的特征传递到深层需要经过几十个甚至上百个网络层,当然这取决于BackBone网络用的什么,因此经过这么多层传递之后,浅层的特征信息丢失就会比较严重。

绿色的箭头表示添加了一个Bottom-up PathAugemtation结构,这个结构本身不到10层,这样浅层特征经过原始FPN中的横向连接到P2然后再从P2沿着Bottom-up Path Augemtation传递到深层,经过的层数不到10层,能较好的保存浅层特征信息。注意,这里的N2和P2表示同一个特征图。 但N3,N4,N5和P3,P4,P5不一样,实际上N3,N4,N5是P3,P4,P5融合后的结果。

Bottom-up Path Augemtation的详细结构如下图所示,经过一个尺寸为,步长为的卷积之后,特征图尺寸减小为原来的一半然后和这个特征图做add操作,得到的结果再经过一个卷积核尺寸为,的卷积层得到。

特征融合(二):PANet-路径聚合网络,CV计算机视觉,人工智能,计算机视觉

适应性特征池化:在Faster-RCNN系列目标检测或分割算法中,RPN网络得到的ROI需要经过ROI Pooling或ROI Align提取ROI特征,这一步操作中每个ROI所基于的特征都是单层特征,FPN同样也是基于单层特征,因为检测头是分别接在每个尺度上的。

Adaptive Feature Pooling则是将单层特征换成多层特征,即每个ROI需要和多层特征(论文中是4层)做ROI Align的操作,然后将得到的不同层的ROI特征融合在一起,这样每个ROI特征就融合了多层特征。

特征融合(二):PANet-路径聚合网络,CV计算机视觉,人工智能,计算机视觉

RPN网络获得的每个ROI都要分别和特征层做ROI Align操作,这样个ROI就提取到4个不同的特征图,然后将4个不同的特征图融合在一起就得到最终的特征,后续的分类和回归都是基于此最终的特征进行。

全连接融合层:全连接融合层对原有的分割支路(FCN)引入一个前景二分类的全连接支路,通过融合这两条支路的输出得到更加精确的分割结果。这个模块的实现如下图所示:

特征融合(二):PANet-路径聚合网络,CV计算机视觉,人工智能,计算机视觉

注:本文仅用于学术分享,如有侵权,请联系后台作删文处理。

最后:

如果你想要进一步了解更多的相关知识,可以关注下面公众号联系~会不定期发布相关设计内容包括但不限于如下内容:信号处理、通信仿真、算法设计、matlab appdesigner,gui设计、simulink仿真......希望能帮到你!

特征融合(二):PANet-路径聚合网络,CV计算机视觉,人工智能,计算机视觉文章来源地址https://www.toymoban.com/news/detail-745855.html

到了这里,关于特征融合(二):PANet-路径聚合网络的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 图神经网络与计算机视觉的融合:挖掘潜力、探索前沿

    导言:          图神经网络(Graph Neural Networks,GNNs)和计算机视觉(Computer Vision)作为人工智能领域的两大重要支柱,它们的结合为科技领域带来了全新的可能性。在本文中,我们将深入探讨二者的结合方向、各自的侧重点、当前研究进展、使用的关键技术、潜在应用场

    2024年02月19日
    浏览(53)
  • 每天五分钟计算机视觉:使用神经网络完成人脸的特征点检测

    我们上一节课程中学习了如何利用神经网络对图片中的对象进行定位,也就是通过输出四个参数值bx、by、bℎ和bw给出图片中对象的边界框。 本节课程我们学习 特征点的检测 ,神经网络可以通过输出图片中对象的特征点的(x,y)坐标来实现对目标特征的识别, 我们看几个例子

    2024年04月17日
    浏览(92)
  • 计算机视觉的应用12-卷积神经网络中图像特征提取的可视化研究,让大家理解特征提取的全过程

    大家好,我是微学AI,今天给大家介绍一下计算机视觉的应用12-卷积神经网络中图像特征提取的可视化研究,让大家理解特征提取的全过程。 要理解卷积神经网络中图像特征提取的全过程,我们可以将其比喻为人脑对视觉信息的处理过程。就像我们看到一个物体时,大脑会通

    2024年02月10日
    浏览(44)
  • 计算机视觉——day 91基于双网络的鲁棒特征高光谱目标检测(偏门且很水啊)

    用于高光谱目标检测的深度网络训练通常面临样本有限的问题,在极端情况下,可能只有一个目标样本可用。为了解决这一挑战,我们提出了一种新的双网络方法。针对高光谱图像的光谱和空间特征,利用生成对抗网络(GAN)和卷积神经网络(CNN)两种神经网络对目标进行检测。然

    2024年02月04日
    浏览(86)
  • 特征融合篇 | YOLOv8 引入长颈特征融合网络 Giraffe FPN

    在本报告中,我们介绍了一种名为DAMO-YOLO的快速而准确的目标检测方法,其性能优于现有的YOLO系列。DAMO-YOLO是在YOLO的基础上通过引入一些新技术而扩展的,这些技术包括神经架构搜索(NAS)、高效的重参数化广义FPN(RepGFPN)、带有AlignedOTA标签分配的轻量级头部以及蒸馏增强

    2024年01月22日
    浏览(56)
  • 芒果改进YOLOv8系列:改进特征融合网络 BiFPN 结构,融合更多有效特征

    芒果改进YOLOv8系列:改进特征融合网络 BiFPN 结构,融合更多有效特征 在这篇文章中, 将 BiFPN 思想加入到 YOLOv8 结构中 该版本为高效简洁版,涨点多、还速度快(实际效果反馈) 本篇博客 不占用 高阶专栏的总篇数计划中 应之前群友的要求,加一个 《补充篇》 ,仅仅是补充

    2024年02月07日
    浏览(54)
  • 图像融合论文阅读:CoCoNet: 基于多层特征集成的耦合对比学习网络多模态图像融合

    @article{liu2023coconet, title={Coconet: Coupled contrastive learning network with multi-level feature ensemble for multi-modality image fusion}, author={Liu, Jinyuan and Lin, Runjia and Wu, Guanyao and Liu, Risheng and Luo, Zhongxuan and Fan, Xin}, journal={International Journal of Computer Vision}, pages={1–28}, year={2023}, publisher={Springer} } 论文级

    2024年02月04日
    浏览(51)
  • 计算机视觉(CV)技术的优势

    计算机视觉(CV)技术的优势: 1. 自动化任务:计算机视觉技术可以自动执行一系列视觉任务,如图像分类、目标检测和识别等,从而实现任务的自动化。 2. 高速处理:计算机视觉技术可以在短时间内处理大量的图像和视频数据,实现快速的分析和决策。 3. 准确性:相对于

    2024年01月22日
    浏览(71)
  • 图像特征Vol.1:计算机视觉特征度量|第一弹:【纹理区域特征】

    🍊 什么是计算机视觉特征? 简单来说就是 图像特征 ,对于我们来说,看到一张图片,能很自然的说出和描述图像中的一些特征,但是同样的图片,丢给计算机,只是一个二维矩阵,计算机需要从这个图像中提取计算得到一些数值表示,来描述这个图像所具有的特征:颜色

    2024年02月03日
    浏览(60)
  • 【OpenCV4】计算对称矩阵特征值和特征向量 cv::eigen() 用法详解和代码示例(c++)

    解析: src:输入矩阵,只能是 CV_32FC1 或 CV_64FC1 类型的方阵(即矩阵转置后还是自己) eigenvalues:输出的特征值组成的向量,数据类型同输入矩阵,排列从大到小 eigenvectors:输出的特征向量组成的矩阵,数据类型同输入矩阵,每一行是一个特征向量,对应相应位置的特征值

    2024年02月13日
    浏览(46)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包