CAM类激活映射
CAM是什么
- 可视化CNN的工具, CAM解释网络特征变化,CAM使得弱监督学习发展成为可能,可以慢慢减少对人工标注的依赖,能降低网络训练的成本。通过可视化,就像往黑箱子里打了一个手电筒,让人们可以尝试去理解网络。
- 在不同空间位置处存在这些视觉图案的加权线性和, 通过简单地将类激活映射上采样到输入图像的大小,我们可以识别与特定类别最相关的图像区域
[step1:选择可视化的特征层,例如尺寸为 16∗16∗1024 的特征图 step2:获取该特征的每个channel的权重,即长度为1024的向量; step3:通过线性融合的方式,把不同channel的权重赋回原特征图中,在依次的将各个通道的特征图线性相加获取尺寸为1616的新特征图; step4:对该新特征图进行归一化,并通过插值的方式还原到原图尺寸]:
- CAM基于分类,所以被激活的区域是根据分类决定的
- 改变网络结构,例如把全连接层改成全局平均池化层,这不利于训练
- 在弱标记图像中定位比较抽象的概念:
- CAM可视化这可以帮助我们理解网络,通过CAM技术,我们可以看到网络关注哪里,可以利用CAM帮助我们发现问题,改进结构
CAM与CNN
CNN的操作可以看做是滤波器对图片进行特征提取,被一层层卷积核提取后,基本就是卷积核判断是重要的信息,其值越大,特征越明显,得到卷积的关注度就越高。文章来源:https://www.toymoban.com/news/detail-666513.html
一个深层的卷积神经网络,通过层层卷积操作,提取出语义信息和空间信息,我们一直都很希望可以打破深度神经网络的黑盒,可以溯源特征提取的过程,甚至可以知道特征所代表的语义内容, 通常每一层的特征图还会有很多的层,我们一般用channel表示,这些不同层(通道)特征图,我们可以认为理解为存放着卷积提取到不同的特征。随着卷积的逐层深入,该特征已经失去了原有的空间信息和特征信息,被进一步的集成压缩为具有高度抽象性的特征图。这些特征图所代表的语义信息我们不得而知,但是这些特征图的重要性我们却可以通过计算得出。所以我们的CAM主要作用就是根据不同通道的贡献情况,融合出一张CAM图,那么我们就可以更直观的了解到在图像中那些部分是在CNN中是高响应的重要信息,哪些信息是无关紧要的无聊信息文章来源地址https://www.toymoban.com/news/detail-666513.html
到了这里,关于CAM实现的流程--基于Pytorch实现的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!