图像处理中,融合不同尺度的特征是提高图像效果的重要手段,在卷积中:
✅浅层特征:浅层特征分辨率更高,包含更多位置、细节信息,但是由于经过的卷积更少,其语义性更低,噪声更多。
✅高层特征:高层特征具有更强的语义信息,但是分辨率很低,对细节的感知能力较差。
如何将两者高效融合,是改善模型的关键。
PANet(Path Aggregation Network)
✅论文地址:
https://arxiv.org/abs/1803.01534
✅代码地址:
https://github.com/ShuLiu1993/PANet
1、缩短信息路径和用浅层级的准确定位信息增强特征金字塔,创建了自下而上的路径增强;
2、为了恢复每个建议区域和所有特征层级之间被破坏的信息,开发了适应性特征池化(adaptive feature pooling)技术,可以将所有特征层级中的特征整合到每个建议区域中,避免了任意分配的结果;
3、全连接融合层:使用一个小型fc层用于补充mask预测。
✅自下而上的路径增强:Bottom-up Path Augemtation的提出主要是考虑到网络的浅层特征对于实例分割非常重要。浅层特征中包含大量边缘形状等特征,这对实例分割这种像素级别的分类任务是起到至关重要的作用的。因此,为了保留更多的浅层特征,引入了Bottom-up Path Augemtation。
红色的箭头表示在FPN中,因为要走自底向上的过程,浅层的特征传递到深层需要经过几十个甚至上百个网络层,当然这取决于BackBone网络用的什么,因此经过这么多层传递之后,浅层的特征信息丢失就会比较严重。
绿色的箭头表示添加了一个Bottom-up PathAugemtation结构,这个结构本身不到10层,这样浅层特征经过原始FPN中的横向连接到P2然后再从P2沿着Bottom-up Path Augemtation传递到深层,经过的层数不到10层,能较好的保存浅层特征信息。注意,这里的N2和P2表示同一个特征图。 但N3,N4,N5和P3,P4,P5不一样,实际上N3,N4,N5是P3,P4,P5融合后的结果。
Bottom-up Path Augemtation的详细结构如下图所示,经过一个尺寸为,步长为的卷积之后,特征图尺寸减小为原来的一半然后和这个特征图做add操作,得到的结果再经过一个卷积核尺寸为,的卷积层得到。
✅适应性特征池化:在Faster-RCNN系列目标检测或分割算法中,RPN网络得到的ROI需要经过ROI Pooling或ROI Align提取ROI特征,这一步操作中每个ROI所基于的特征都是单层特征,FPN同样也是基于单层特征,因为检测头是分别接在每个尺度上的。
Adaptive Feature Pooling则是将单层特征换成多层特征,即每个ROI需要和多层特征(论文中是4层)做ROI Align的操作,然后将得到的不同层的ROI特征融合在一起,这样每个ROI特征就融合了多层特征。
RPN网络获得的每个ROI都要分别和特征层做ROI Align操作,这样个ROI就提取到4个不同的特征图,然后将4个不同的特征图融合在一起就得到最终的特征,后续的分类和回归都是基于此最终的特征进行。
✅全连接融合层:全连接融合层对原有的分割支路(FCN)引入一个前景二分类的全连接支路,通过融合这两条支路的输出得到更加精确的分割结果。这个模块的实现如下图所示:
注:本文仅用于学术分享,如有侵权,请联系后台作删文处理。
最后:
如果你想要进一步了解更多的相关知识,可以关注下面公众号联系~会不定期发布相关设计内容包括但不限于如下内容:信号处理、通信仿真、算法设计、matlab appdesigner,gui设计、simulink仿真......希望能帮到你!文章来源:https://www.toymoban.com/news/detail-745855.html
文章来源地址https://www.toymoban.com/news/detail-745855.html
到了这里,关于特征融合(二):PANet-路径聚合网络的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!