《SimpleNet: A Simple Network for Image Anomaly Detection and Localization》论文阅读理解

这篇具有很好参考价值的文章主要介绍了《SimpleNet: A Simple Network for Image Anomaly Detection and Localization》论文阅读理解。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

《SimpleNet: A Simple Network for Image Anomaly Detection and Localization》论文阅读理解

领域:Anomaly Detection(缺陷检测)

论文地址:SimpleNet: A Simple Network for Image Anomaly Detection and Localization

1 主要动机(提出方法所依靠的直觉)

  1. 将预训练特征转换为面向目标的特征有助于避免图像局部偏见的出现;
  2. 在特征空间中生成合成异常更有效,因为缺陷在图像空间中可能没有太多共性存在;
  3. 一个简单的鉴别器是非常有效和实用的;

2 主要贡献

  1. 提出了一种简单且容易应用的网络(SimpleNet),用于检测和定位异常;
  2. 在MVTecAD数据集上得到的AUROC指标为99.6%,且与性能第二的模型相比,误差降低了55.5%;
  3. 在单张3080ti GPU上可以实现77FPS的高帧推理速率;
  4. 同时,SimpleNet在one-class新颖的检测任务的性能上有了显著的改进;
  5. 提出了一个将在大型数据集上预训练的模型应用在目标数据集上进行实验的新视角(文中提出的Feature Adaptor方法);

3 方法概述

SimpleNet由一个特征提取器、一个特征适配器、一个异常特征生成器和一个鉴别器组成。
《SimpleNet: A Simple Network for Image Anomaly Detection and Localization》论文阅读理解,研1沉淀,SimpleNet,Adaptor,缺陷检测,MVTecAD数据集,one-class任务

训练阶段:
使用特征提取器得到图像特征,然后使用特征适配器对得到的图像特征进行处理得到适配之后的特征图,同时,使用高斯噪声随机得到异常特征图,并将得到的异常特征图与适配特征进行融合得到融合之后的异常特征图。

之后将融合之后得到的异常特征图与适配器输出的特征图共同经过一个辨别器来获得两个异常分数map。

测试阶段:
在测试的时候,输入一张待检测图片,然后经过特征提取器得到特征图,之后,再经过一个特征适配器得到适配特征。然后,将适配特征经过鉴别器得到对应的异常分数图map。

4 方法详述

4.1 特征提取器

文中使用文献[1](patchcore,下面介绍patchcore的特征提取部分,看过这篇文章的同学可以直接跳过本小节)中提出的特征提取器。文中将流程制定如下:使用 X t r a i n X_{train} Xtrain X t e s t X_{test} Xtest分别表示训练集和测试集。对于在 X t r a i n ⋃ X t e s t X_{train}\bigcup X_{test} XtrainXtest中的任意一张图片 x i ∈ R H × W × 3 x_i \in R^{H\times W\times 3} xiRH×W×3,预训练网络从不同层中 ϕ \phi ϕ提取特征,就像ResNet骨干网络做的那样。

由于预训练网络偏向于它训练的数据集,因此对于目标数据集来说只选择特征层的一个子集作为特征提取器是合理的。文中定义L表示用于特征提取的网络层。那么来自于 l ∈ L l\in L lL层的特征map被表示为 ϕ l , i ∽ ϕ l ( x i ) ∈ R H l × W l × C l \phi^{l,i}\backsim \phi^{l}(x_i)\in R^{H_l \times W_l \times C_l} ϕl,iϕl(xi)RHl×Wl×Cl,其中 H l , W l , C l H_l,W_l,C_l Hl,Wl,Cl分别是特征图的高度、宽度和通道数。对于任何输入 ϕ h , w l , i ∈ R C l \phi^{l,i}_{h,w}\in R^{C_l} ϕh,wl,iRCl在位置(h,w)上,它的patchsize(p个)近邻可以被定义为如下:
《SimpleNet: A Simple Network for Image Anomaly Detection and Localization》论文阅读理解,研1沉淀,SimpleNet,Adaptor,缺陷检测,MVTecAD数据集,one-class任务
然后,使用聚合函数 f a g g f_{agg} fagg(使用自适应平均池化层)聚合邻域 N p h , w N_p^{h,w} Nph,w的特征,然后得到local features z h , w l , i z_{h,w}^{l,i} zh,wl,i,如下所示:
《SimpleNet: A Simple Network for Image Anomaly Detection and Localization》论文阅读理解,研1沉淀,SimpleNet,Adaptor,缺陷检测,MVTecAD数据集,one-class任务
为了连接来自不同层的 z h , w l , i z_{h,w}^{l,i} zh,wl,i,所有的特征图被线性缩放到相同的大小 ( H 0 , W 0 ) (H_{0},W_0) (H0,W0)。简单地按通道连接特征图就可以得到特征图 o i ∈ R H 0 × W 0 × C o^i\in R^{H_0\times W_0 \times C} oiRH0×W0×C,如下所示:
《SimpleNet: A Simple Network for Image Anomaly Detection and Localization》论文阅读理解,研1沉淀,SimpleNet,Adaptor,缺陷检测,MVTecAD数据集,one-class任务
文中定义 o h , w i ∈ R C o^i_{h,w}\in R^C oh,wiRC作为 o i o^i oi在(h,w)位置上的入口。

4.2 特征适配器

由于工业图像通常与预训练骨干网使用的数据集具有不同的分布,因此,文中采用特征适配器 G θ G_\theta Gθ将训练特征转移到目标域。特征适配器 G θ G_{\theta} Gθ将局部特征 o h , w o_{h,w} oh,w投影到自适应特征 q h , w q_{h,w} qh,w,如下所示:
q h , w i = G θ ( o h , w i ) q_{h,w}^i=G_\theta(o^i_{h,w}) qh,wi=Gθ(oh,wi)

特征适配器可以由简单的神经块组成,例如全连接层或多层感知器(MLP)。文中作者表示通过实验发现,单个全连接层可以产生良好的性能。

4.3 异常特征生成器

为了训练鉴别器来估计样本正常的可能性,最简单的方法是对负样本(即缺陷特征)进行采样,并将其与正常样本一起优化。缺陷的缺乏使得从分布估计中采样变得很困难。文中直接在特征空间中的正常样本上添加简单的噪声来获得异常样本。首先,从高斯分布中采样一个噪声向量 ϵ ∈ R C \epsilon \in R^{C} ϵRC。那么,这个异常特征 q h , w i − q^{i-}_{h,w} qh,wi被表示为:
q h , w i = q h , w i + ϵ q^i_{h,w}=q^i_{h,w}+\epsilon qh,wi=qh,wi+ϵ

下图说明了异常特征对四类MVTec AD的影响。从图中可以看到,沿着适应特征的每个维度的标准偏差往往是一致的。因此,当区分异常特征和正常特征时,特征空间往往是紧凑的。

《SimpleNet: A Simple Network for Image Anomaly Detection and Localization》论文阅读理解,研1沉淀,SimpleNet,Adaptor,缺陷检测,MVTecAD数据集,one-class任务

4.4 鉴别器

鉴别器 D ψ D_{\psi} Dψ作为正态性记分器,直接估计每个位置(h,w)的正态性。由于负样本是与正常特征{ q i ∣ x i ∈ X t r a i n q^i|x^i\in X_{train} qixiXtrain}一起生成的,因此在训练期间,它们都被馈送到鉴别器。鉴别器期望正常特征的正输出,而异常特征的负输出。只需像普通分类器一样使用多层感知器(MLP)结构,将正态性估计为 D ψ ( q h , w ) ∈ R D_\psi(q_{h,w})\in R Dψ(qh,w)R

4.5 损失函数和训练过程

一个简单的截断L1损失可推导为:
《SimpleNet: A Simple Network for Image Anomaly Detection and Localization》论文阅读理解,研1沉淀,SimpleNet,Adaptor,缺陷检测,MVTecAD数据集,one-class任务
t h + th^+ th+ t h − th^- th是截断项以防止过拟合。默认情况下,它们设置为0.5和-0.5。训练目标为:
《SimpleNet: A Simple Network for Image Anomaly Detection and Localization》论文阅读理解,研1沉淀,SimpleNet,Adaptor,缺陷检测,MVTecAD数据集,one-class任务
文中在实验部分用交叉熵损失对所提出的截断L1损失函数进行实验评估。训练过程的伪代码如算法1所示。
《SimpleNet: A Simple Network for Image Anomaly Detection and Localization》论文阅读理解,研1沉淀,SimpleNet,Adaptor,缺陷检测,MVTecAD数据集,one-class任务

4.6 推理和评分功能

异常特征生成器在推理时被丢弃。那么,剩下的模块可以堆叠到端到端网络中。将来自测试集的图片 x i ∈ X t e s t x^i \in X_{test} xiXtest送入到上述的特征提取器 F ϕ F_\phi Fϕ,然后使用特征适配器 G θ G_\theta Gθ按照顺序得到对应的适配特征 q h , w i q^i_{h,w} qh,wi。鉴别器最后输出异常分数图,如下所示:
《SimpleNet: A Simple Network for Image Anomaly Detection and Localization》论文阅读理解,研1沉淀,SimpleNet,Adaptor,缺陷检测,MVTecAD数据集,one-class任务
推理过程中用于异常定位的异常图定义为:
《SimpleNet: A Simple Network for Image Anomaly Detection and Localization》论文阅读理解,研1沉淀,SimpleNet,Adaptor,缺陷检测,MVTecAD数据集,one-class任务
然后,对 S A L ( x i ) S_{AL}(x_i) SAL(xi)进行插值,以获得输入样本的空间分辨率,并对光滑边界进行σ=4的高斯滤波。由于对于任何大小的异常区域都存在最具响应性的点,因此将异常图的最大得分作为每个图像的异常检测得分。
《SimpleNet: A Simple Network for Image Anomaly Detection and Localization》论文阅读理解,研1沉淀,SimpleNet,Adaptor,缺陷检测,MVTecAD数据集,one-class任务

5 实验结果

5.1 数据集

  1. 使用MVTecAD数据集[2],用于异常检测和定位实验。
  2. 使用CIFAR10[3]进行了one-class新颖性检测实验,该检测包含10类50K训练图像和10K测试图像,尺度为32×32。在一类新颖性检测的设置下,一类被视为正常数据,其他类别被视为新颖性。

5.2 实验细节

文中指出,实验中使用的所有骨干都使用ImageNet进行了预训练。骨干网和ResNet架构相似时,使用骨干网络的第二和第三中间层用于特征提取。默认情况下,文中的实验使用WideResnet50作为骨干网,并将来自特征提取器的特征维度设置为1536。后面的特征适配器本质上是一个完全连接的层,没有偏置项。适配器中FC层的输入和输出特征的尺寸是相同的。异常特征生成器添加i.i.d。高斯噪声N(0,σ2)到法线特征的每个条目。σ默认设置为0.015。随后的鉴别器由线性层、批量归一化层、leaky relu(0.2斜率)和线性层组成。在等式7中,th+和th−都被设置为0.5。使用Adam优化器,将特征适配器和鉴别器的学习率分别设置为0.0001和0.0002,并将权重衰减设置为0.00001。对于每个数据集,训练时期被设置为160,并且批量大小为4。

5.3 MVTec AD数据集上的异常检测/定位结果

检测结果(图像级AUROC)/定位结果(像素级AUROC):
《SimpleNet: A Simple Network for Image Anomaly Detection and Localization》论文阅读理解,研1沉淀,SimpleNet,Adaptor,缺陷检测,MVTecAD数据集,one-class任务

5.4 推理时间

《SimpleNet: A Simple Network for Image Anomaly Detection and Localization》论文阅读理解,研1沉淀,SimpleNet,Adaptor,缺陷检测,MVTecAD数据集,one-class任务

5.5 消融实验

  1. 文中设计了一组实验来测试层次子集L对模型性能的影响,结果如表2所示。文中用1−3对前三个WideResNet50块进行索引。可以看出,来自层次级别3的功能已经可以实现最先进的性能,但受益于额外的层次级别2。文中选择2+3作为默认设置。
    《SimpleNet: A Simple Network for Image Anomaly Detection and Localization》论文阅读理解,研1沉淀,SimpleNet,Adaptor,缺陷检测,MVTecAD数据集,one-class任务

  2. 使用不同的patchsize来测试模型具体的表现:
    《SimpleNet: A Simple Network for Image Anomaly Detection and Localization》论文阅读理解,研1沉淀,SimpleNet,Adaptor,缺陷检测,MVTecAD数据集,one-class任务

  3. 适配器设置
    不同功能适配器的相互比较如表3所示。
    《SimpleNet: A Simple Network for Image Anomaly Detection and Localization》论文阅读理解,研1沉淀,SimpleNet,Adaptor,缺陷检测,MVTecAD数据集,one-class任务
    结果表明,文中所使用的单个FC层的性能最好。直观地,特征适配器找到一个投影,使得伪造的异常特征和投影的预训练特征很容易被分割,这意味着鉴别器的简单解决方案。使用功能适配器有助于网络收敛的现象也表明了这一点,可以参考下图。
    《SimpleNet: A Simple Network for Image Anomaly Detection and Localization》论文阅读理解,研1沉淀,SimpleNet,Adaptor,缺陷检测,MVTecAD数据集,one-class任务
    在文中,作者观察到复杂功能适配器的性能显著下降。一个可能的原因是,复杂的适配器可能会导致过拟合,从而降低测试中各种缺陷的泛化能力。图4比较了特征适配器前后特征每个维度的标准偏差直方图。可以看到,当使用异常特征进行训练时,自适应特征空间变得紧凑。

  4. 噪声比例
    异常特征生成器中的噪声规模控制合成的异常特征与正常特征的距离。具体地说,高σ导致异常特征与正常特征保持着较高的欧几里得距离。对大σ进行训练会导致决策界松散,导致高假阴性。相反,如果σ很小,训练过程将变得不稳定,并且鉴别器不能很好地推广到正常特征。图5详细说明了MVTec AD中每个类别的σ的影响。可以看出,σ=0.015达到了平衡,并产生了最佳性能。
    《SimpleNet: A Simple Network for Image Anomaly Detection and Localization》论文阅读理解,研1沉淀,SimpleNet,Adaptor,缺陷检测,MVTecAD数据集,one-class任务

  5. 损失函数的选择
    表3中,比较了不同损失函数对模型在AUROC评价指标上的影响

  6. 骨干网络的选择
    《SimpleNet: A Simple Network for Image Anomaly Detection and Localization》论文阅读理解,研1沉淀,SimpleNet,Adaptor,缺陷检测,MVTecAD数据集,one-class任务

  7. 定性结果描述
    《SimpleNet: A Simple Network for Image Anomaly Detection and Localization》论文阅读理解,研1沉淀,SimpleNet,Adaptor,缺陷检测,MVTecAD数据集,one-class任务

5.6 One-Class 新颖性检测

为了评估所提出的SimpleNet的通用性,作者还在CIFAR-10[3]上进行了一类新颖性检测实验。作者使用来自单个类别的样本训练模型,并检测来自其他类别的新样本。文中分别为每个类训练相应的模型。注意,新颖性得分被定义为相似度图中的最大得分。表5报告了SimpleNet和其他方法的I-AUROC评分。为了进行公平的比较,所有方法都在ImageNet上进行了预训练。

结果表示,提出的SimpleNet方法优于这些比较方法。请注意,在自监督学习的推动下,IGD[4]和DisAug CLR[5]分别达到91.25%和92.4%。

参考文献

[1] Karsten Roth, Latha Pemula, Joaquin Zepeda, Bernhard Scholkopf, Thomas Brox, and Peter Gehler. Towards total recall in industrial anomaly detection. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 14318–14328, 2022. 2, 3, 5, 6, 8
[2] Paul Bergmann, Michael Fauser, David Sattlegger, and Carsten Steger. Mvtec ad–a comprehensive real-world dataset for unsupervised anomaly detection. In Proceedings of the IEEE/CVF
conference on computer vision and pattern recognition, pages
9592–9600, 2019. 1, 5
[3] A Krizhevsky. Learning multiple layers of features from tiny images. Master’s thesis, University of Tront, 2009. 5, 8
[4] Yuanhong Chen, Yu Tian, Guansong Pang, and Gustavo Carneiro. Deep one-class classification via interpolated gaussian descriptor. In Proceedings of the AAAI Conference on Artificial Intelligence, pages 383–392, 2022. 8
[5] Kihyuk Sohn, Chun-Liang Li, Jinsung Yoon, Minho Jin, and Tomas Pfister. Learning and evaluating representations for deep one-class classification. In International Conference on Learning Representations, 2021. 8文章来源地址https://www.toymoban.com/news/detail-717112.html

到了这里,关于《SimpleNet: A Simple Network for Image Anomaly Detection and Localization》论文阅读理解的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 论文阅读:FusionGAN: A generative adversarial network for infrared and visible image fusion

    @article{ma2019fusiongan, title={FusionGAN: A generative adversarial network for infrared and visible image fusion}, author={Ma, Jiayi and Yu, Wei and Liang, Pengwei and Li, Chang and Jiang, Junjun}, journal={Information fusion}, volume={48}, pages={11–26}, year={2019}, publisher={Elsevier} } [论文下载地址] Image fusion, infrared image, visible image

    2024年01月22日
    浏览(48)
  • 论文阅读 - Few-shot Network Anomaly Detection via Cross-network Meta-learning

    论文链接:https://arxiv.org/pdf/2102.11165.pdf   目录 摘要: 引言 问题定义 方法 Graph Deviation Networks Cross-network Meta-learning         网络异常检测旨在找到与绝大多数行为显着不同的网络元素(例如节点、边、子图)。它对从金融、医疗保健到社交网络分析等各种应用产生了深远

    2024年02月14日
    浏览(52)
  • Object Class Aware Video Anomaly Detection through Image Translation 论文阅读

    文章信息: 原文链接:https://arxiv.org/abs/2205.01706 源代码:无 发表于:CRV 2022 半监督视频异常检测(VAD)方法将异常检测任务表述为对学习到的正常模式的偏离进行检测。 该领域中的先前工作(基于重建或预测的方法)存在两个缺点 : 1)它们专注于低级特征,特别是整体方

    2024年01月23日
    浏览(46)
  • 【视频异常检测综述-论文阅读】Deep Video Anomaly Detection: Opportunities and Challenges

    来源:  Ren, Jing, et al. “Deep Video Anomaly Detection: Opportunities and Challenges.” 2021 International Conference on Data Mining Workshops (ICDMW), Dec. 2021. Crossref, https://doi.org/10.1109/icdmw53433.2021.00125. 文章连接:https://arxiv.org/abs/2110.05086 异常检测在各种研究环境中是一项热门而重要的任务,已经研究了

    2023年04月16日
    浏览(46)
  • LSTM-Based Anomaly Detection of Process Instances Benchmark and Tweaks翻译

    论文《LSTM-Based Anomaly Detection of Process Instances Benchmark and Tweaks》翻译 LSTM-Based Anomaly Detection of Process Instances Benchmark and Tweaks翻译

    2024年02月06日
    浏览(45)
  • Learning Memory-guided Normality for Anomaly Detection 论文阅读

    文章信息: 发表于:cvpr2020 原文:https://arxiv.org/abs/2003.13228 代码:https://github.com/cvlab-yonsei/MNAD 我们致力于解决异常检测的问题,即在视频序列中检测异常事件。基于卷积神经网络(CNNs)的异常检测方法通常利用代理任务,比如重建输入视频帧,以在训练时学习描述正常情况

    2024年02月03日
    浏览(58)
  • Feature Prediction Diffusion Model for Video Anomaly Detection 论文阅读

    文章标题:Feature Prediction Diffusion Model for Video Anomaly Detection 文章信息: 发表于:ICCV 2023 原文链接:https://openaccess.thecvf.com/content/ICCV2023/papers/Yan_Feature_Prediction_Diffusion_Model_for_Video_Anomaly_Detection_ICCV_2023_paper.pdf 源代码:https://github.com/daidaidouer/FPDM 在视频异常检测是一个重要的研

    2024年01月17日
    浏览(54)
  • Generative Cooperative Learning for Unsupervised Video Anomaly Detection 论文阅读

    文章信息: 发表于:CVPR 2022 原文链接:https://openaccess.thecvf.com/content/CVPR2022/papers/Zaheer_Generative_Cooperative_Learning_for_Unsupervised_Video_Anomaly_Detection_CVPR_2022_paper.pdf 视频异常检测在弱监督和单类别分类(OCC)设置下已经得到很好的研究。然而,无监督视频异常检测方法相对较少,可

    2024年01月25日
    浏览(60)
  • 《SQUID: Deep Feature In-Painting for Unsupervised Anomaly Detection》论文阅读理解

    对身体器官的射线扫描结果图片中展示了详细的结构化信息,充分利用这种身体各个部分之间的结构化信息,对检测出身体存在的异常非常重要; 提出了使用空间感知队列来进行图片绘制和检测图片中存在的异常的方法(称为SQUID); 在两个胸部X射线基准数据集上,本文所

    2024年02月15日
    浏览(42)
  • 3D异常检测论文笔记 | Shape-Guided Dual-Memory Learning for 3D Anomaly Detection

    参考:https://paperswithcode.com/sota/3d-anomaly-detection-and-segmentation-on 论文:https://openreview.net/pdf?id=IkSGn9fcPz code:https://github.com/jayliu0313/Shape-Guided 我们提出了一个形状引导的专家学习框架来解决无监督的三维异常检测问题。我们的方法是建立在两个专门的专家模型的有效性和他们的

    2024年02月09日
    浏览(71)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包