【pan-sharpening 攻击:目标检测】

这篇具有很好参考价值的文章主要介绍了【pan-sharpening 攻击:目标检测】。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

Adversarial pan-sharpening attacks for object detection in remote sensing

(对抗性泛锐化攻击在遥感目标检测中的应用)

全色锐化是遥感系统中最常用的技术之一,其目的是将纹理丰富的PAN图像和多光谱MS图像融合,以获得纹理丰富的MS图像。随着深度学习的发展,基于CNN的泛锐化方法近年来受到越来越多的关注。由于全色锐化技术可以融合Pan和MS图像的互补信息,研究人员通常将目标检测器应用于这些全色锐化图像以获得可靠的检测结果。然而,最近的研究表明,基于深度学习的对象检测方法容易受到对抗性示例的影响,即,在干净的图像中添加难以察觉的噪声可以欺骗训练有素的深度神经网络。将泛锐化技术与对抗性示例相结合来攻击遥感中的目标检测器是一件有趣的事情。在本文中,我们提出了一个框架来生成对抗泛锐化图像。具体来说,我们提出了一个双流网络来生成泛锐化图像,然后利用形状损失和标签损失来执行攻击任务。为了保证泛锐化图像的质量,利用感知损失来平衡频谱保持和攻击性能。

介绍

由于技术限制,最先进的光学地球观测卫星,如QuickBird, GeoEye和IKONOS,通常携带两种光学传感器:全色传感器和多光谱传感器。全色(Pan)传感器记录的信号在宽波段和需要高空间但低光谱分辨率图像。在相反的位置,多光谱(MS)传感器记录的信号在狭窄的波段和需要高光谱但低空间分辨率图像。然而,在实际应用中,我们总是需要同时使用高空间分辨率和高光谱分辨率的图像。为了解决这个问题,泛锐化提出了通过融合来自MS和Pan模态的信息来获得高分辨率MS图像。由于传统的泛锐化算法受到线性度的限制,因此不能有效地学习Pan图像中的细节并将其注入到MS图像中。为了克服传统泛锐化算法的不足,近年来提出了许多基于深度学习的泛锐化算法。由于全色锐化图像同时具有高空间分辨率和高光谱分辨率的优点,在遥感领域被广泛应用于各种目标探测器,以达到可靠的目标探测效果。
随着近年来深度学习的发展,已经提出了许多基于卷积神经网络(CNN)的对象检测算法。R-CNN是使用CNN进行对象检测的开创性工作,它采用了基于选择性搜索的区域建议方法。随后,基于区域建议网络(RPN)的两阶段目标检测方法被提出并得到广泛应用。然而,这些算法被证明对对抗性示例不鲁棒。一些研究还推荐了一些攻击CNN检测模型的方法。Xie等人首先提出DAG来攻击图像对象检测器。他们为每个地面事实分配一个对抗性标签,然后执行迭代梯度反向传播来误导检测器。类似地,Chen等人和Li等人利用相同的方法来获得对抗性扰动。上述方法只对自然场景图像进行攻击,对遥感图像不进行攻击。
感兴趣的是在遥感图像上产生扰动以攻击对象检测器。一个简单的想法是为泛锐化图像生成对抗性噪声。然而,研究人员已经提出了许多基于对抗性噪声的特征来检测这种对抗性样本的方法。为了保证加密性,本文将泛锐化技术集成到生成对抗性示例的过程中,并提出了一种对抗性泛锐化攻击(APA)方法来攻击遥感中的目标检测器。为了更好地保留Pan和MS图像的空间细节和光谱信息,我们特别提出了一个双流泛锐化网络(TSPSNet)来生成泛锐化图像并修改损失函数,以便生成的泛锐化图像作为对抗性的例子来攻击基于RPN的检测器。修改后的损失函数被用来添加对抗性噪声的泛锐化图像,可以干扰预测的RPN。具体而言,标签损失用于降低正建议的预测置信度,并且形状损失可以破坏RPN中的边界框回归过程。此外,为了保持泛锐化图像的视觉质量,感知损失用于增强光谱特征。我们的方法在单个阶段生成对抗性泛锐化图像更有效,并且可以以端到端的方式进行训练,与原始泛锐化网络相比,不需要额外的时间来生成对抗性噪声。图1显示了我们提出的方法攻击Faster R-CNN检测器的一些示例,这使得检测器获得错误的结果。【pan-sharpening 攻击:目标检测】

贡献

1)我们提出了一种新的方法来利用泛锐化图像攻击对象检测器。据我们所知,这是首次将泛锐化技术应用于生成对抗图像。
2)我们设计了一个新的泛锐化框架攻击对象检测器。全色锐化网络可以以端到端的方式进行训练,并且保留空间细节和光谱信息。
3)实验结果表明,该方法可以产生有效的对抗泛锐化图像,保持了较高的成功率的白盒攻击和实现可转移的黑盒攻击。特别是,APA分别获得了Faster R-CNN和SSD的0.798和0.535的检测精度下降。结果表明,该方法是有效的,具有一定的通用性。

相关工作

Pan-sharpening based on deep learning

目前,卷积神经网络(CNN)被广泛用于图像融合任务。在遥感领域,CNN也有利于泛锐化。Masi等人首先介绍了泛锐化卷积神经网络(PNN)模型,其结构类似于SRCNN。PNN通过三层卷积学习从低分辨率到高分辨率的映射关系。由于全色锐化的输入是两个图像,因此预内插的MS图像与PAN图像在输入层处堆叠以跟随SRCNN的输入。为了进一步提高融合性能,Zhong等人设计了一种两级全色锐化架构,该架构也采用SRCNN来增强MS的分辨率,然后通过Gram-Schmidt变换添加全色细节以获得全色锐化图像。随着残差网络的出现,Wei等人使用残差学习来提升空间-光谱精度。此外,Wu等人开发了一种多目标决策优化算法,以实现泛锐化图像中空间和光谱信息之间的平衡。以前的研究认为泛锐化是一个超分辨率问题,并利用CNN作为工具来提取空间或光谱特征。它们没有充分利用Pan和MS的个体特征。最近,Zhou等人提出了一种双流网络(FusionNet),用于分别从Pan和MS中提取特征,然后将它们连接起来以重建泛锐化图像。该网络可以保存空间和光谱信息。因此,我们参考FusionNet的结构,并提出TSPSNet来生成泛锐化图像。

Object detection

目标检测是计算机视觉领域的一个重要应用。目前,目标检测模型分为两类,一阶段方法和两阶段方法。RCNN作为两阶段方法之一,基于选择性搜索生成数千个自下而上的区域建议,然后利用CNN对建议进行分类。继R-CNN之后,Faster RCNN使用统一架构(区域建议网络)作为选择性搜索的替代,该选择性搜索通过各种固定大小的锚点预测检测候选框。为了减少实际使用的推理时间,提出了一个单阶段检测器,如YOLO和LAMD,以在回归过程中直接预测检测框的坐标。此外,FCOS和ATSS引入了用于无锚检测的中心度分支。

Adversarial attack on deep learning

Szegedy等人首先发现了CNN在图像分类任务中的弱点。他们将对抗性扰动生成的难题转化为优化问题。FGSM被提出来有效地找到最优的最大范数约束扰动。在此基础上,Kurakin等人扩展了FGSM,并提出了I-FGSM来迭代地生成扰动。同时,MIFGSM将动量集成到I-FGSM中,并实现了更高的攻击性能。除了精心制作的扰动之外,对抗补丁是生成对抗示例的另一种方法。构建PS-GAN框架以生成任何风格的基于补丁的扰动,这确保了攻击能力和视觉自然度。为了进一步提高感知局部微小干扰的能力,Gao等人,Liu等人成功地为现实世界的攻击生成了通用和强大的对抗补丁。
与图像分类任务相比,生成对抗对象检测的对抗性示例是一个非常困难的问题。DAG是Xie等人提出的第一种攻击图像分类器的方法。他们为每个地面实况分配一个对抗性标签,然后执行迭代梯度反向传播来误导检测器。类似地,Chen等人和Li等人使用相同的方法来获得对抗扰动。此外,Lu等人试图通过在stop符号和face上添加对抗性扰动来错误分类相应的检测器。最近,提出了一种U-DOS算法来推导针对对象检测的通用对抗性扰动,这可能导致对象检测器无法在大多数图像上找到任何对象。所有这些方法都是基于优化的方式攻击目标检测器,并且具有非常高的计算成本。为了解决这个问题,Wei等人提出了一种名为UEA的统一方法,用于基于生成对抗网络(GAN)框架生成对抗图像和视频。类似地,Xiaoet等人设计了一种自适应的面向对象的对抗机制来生成对抗扰动。本文借鉴UEA的思想,提出了一种适用于遥感领域的对抗性泛锐化攻击(APA)方法。

方法

图2示出了所提出的APA方法的总体流程图,其基本上由两个部分组成:全色锐化模块和攻击模块。泛锐化模块使用L l1损失和Lper损失来生成泛锐化图像。【pan-sharpening 攻击:目标检测】
攻击模块通过Lshape和Llabel损失将生成的泛锐化图像变成对抗图像。整个网络可以端到端地训练,输入是平移图像和预插值的MS图像,输出是对抗性的平移锐化图像。在测试阶段,我们简单地使用泛锐化模块来生成对抗性的泛锐化图像,而不是任何其他耗时的操作。

Problem formulation

令XP R H × W R^{H×W} RH×W表示具有大小H ×W的Pan图像,并且XM R H × W × N R^{H×W ×N} RH×W×N表示具有与Pan图像相同大小的上采样MS图像(N表示频带数)。为方便起见,我们使用Φ(·)表示用于泛锐化的CNN。然后(XP,XM)∈ R H × W × N R^{H×W ×N} RH×W×N¯Φ(XP,XM R H × W × N R^{H×W ×N} RH×W×N分别表示泛锐化图像和对抗泛锐化图像。假设(Bi,Ci)是(XP,XM),其中Bi是边界框,并且Ci是类别。我们希望¯Φ(XP,XM)可以攻击检测器D,使得检测结果为(¯Bi,¯Ci)。其中¯Ci≠ Ci或¯Bi与Bi之间的IOU小于0.3。为了测量APA的性能,我们通过计算mAP(平均平均精度)来比较检测精度。Φ(XP,XM)和¯Φ(XP,XM)。

Pan-sharpening network

为了获得更好的泛锐化效果,我们在本模块中提出了一种称为TSPSNet的双流泛锐化网络。TSPSNet的详细架构如图3所示。【pan-sharpening 攻击:目标检测】
TSPSNet由特征提取、特征重建和图像生成三个模块组成。在特征提取模块中,TSPSNet使用双流网络分别从Pan和MS图像中提取各个特征图。每个子网络包含两个连续的卷积单元(一个卷积层和一个relu层)和一个下采样卷积层。然后,将两个特征图连接在一起,以馈送到特征重建模块中的另一个卷积单元和下采样层。从图3中我们可以看到,特征图的空间和光谱分辨率每两个卷积单元被上采样。为了恢复在下采样过程中丢失的更多细节,TSPSNet在浅特征图和深特征图之间添加跳过连接。通过以上两个模块,TSPSNet可以完整地获取空间和光谱信息。TSPSNet的最后一个模块是图像生成,网络以tanh层结束,并输出所需的高分辨率4波段MS图像。

Loss function

损失函数在许多基于CNN的方法中起着重要的作用。在本文中,选择L1损失作为全色锐化损失函数,因为几项研究已经证实L1在图像重建任务的优势。给定训练样本(XP,XM,G),G是原始MS图像,L1损失可表示为:【pan-sharpening 攻击:目标检测】
正如我们上面所讨论的,我们的目标是生成一个对抗性的泛锐化图像,以欺骗检测器中的RPN。为了解决这个问题,我们使用如下描述的标签损失Llabel和形状损失Lshape
Label loss:
类似于对象检测器的现有对抗扰动方法,标签损失Llabel用于通过降低正建议的预测置信度来扰动RPN建议的预测标签。标签损失Llabel定义为:
【pan-sharpening 攻击:目标检测】
其中n是正proposal的数量,m是proposal的总数,pi ∈ { 0,1 },其中如果第i个proposal是正的,则pi = 1,否则为负。μi是第i个proposal的预测置信度。当这是一个正的proposal,μi1或第i个proposal的边界框与相应的地面实况之间的IOU(intersect-over-union)大于λ2。在我们的方法中,我们设置λ1 = 0.01且λ2 = 0.3 。
Shape loss:
形状损失Lshape可以破坏RPN中的边界框回归过程。形状损失Lshape定义为:
【pan-sharpening 攻击:目标检测】
其中t-boxi表示第i个proposal的边界框,g-box是相应的groundtruth。
为了减少Llabel和Lshape对全色锐化视觉质量的影响,我们还添加了感知损失,
【pan-sharpening 攻击:目标检测】
最后,我们的全损失函数可以表示为:
【pan-sharpening 攻击:目标检测】
这些损失的相对权重由α、β和δ确定。我们设置这些权重(α = β = 0.5,δ = 0.1),使得每个损失的平均梯度处于相同的尺度。然后对抗性泛锐化图像¯Φ(XP,XM)可以通过优化min L来获得。文章来源地址https://www.toymoban.com/news/detail-412907.html

到了这里,关于【pan-sharpening 攻击:目标检测】的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 【多传感器攻击】TPatch: A Triggered Physical Adversarial Patch

    代码 https://github.com/forget2save/TPatch 论文 https://www.usenix.org/system/files/sec23summer_123-zhu-prepub.pdf 自动驾驶汽车越来越多地利用基于视觉的感知模块来获取有关驾驶环境的信息并检测障碍物。正确的检测和分类对于确保安全驾驶决策非常重要。现有的工作已经证明了用打印的对抗性

    2024年01月15日
    浏览(23)
  • 对抗性攻击和防御竞争(Adversarial Attacks and Defences Competition)的通俗解读

    通过我们在 Pytorch对机器学习模型的安全漏洞攻击方法之Fast Gradient Sign Attack(FGSM,快速梯度符号攻击) https://blog.csdn.net/weixin_41896770/article/details/130319089 这篇文章的介绍,我们了解到 FGSM 可以对机器学习模型进行有效的攻击, 成功的让MNIST分类器进行了错误的分类 ,并且写了代码

    2024年02月04日
    浏览(45)
  • 【对抗攻击论文笔记】对抗迁移性:Delving Into Transferable Adversarial Examples And Black-Box Attacks

    发表于ICLR2017,论文地址:https://arxiv.org/pdf/1611.02770——深入研究可迁移的对抗样本和黑盒攻击 迁移性是指 一个模型生成的一些对抗样本也可能被另一个模型错误分类 。 这篇文章其实是基于 Transferability in Machine Learning: from Phenomena to Black-Box Attacks using Adversarial Samples 的改进和

    2023年04月08日
    浏览(64)
  • 基于随机森林的网络攻击检测,基于粒子群改进随机森林的网络攻击检测,基于pso-rf的网络攻击检测

    背影 摘要 随机森林的基本定义 随机森林实现的步骤 粒子群算法原理 基于pso-rf的网络攻击检测 代码下载链接: 粒子群优化随机森林网络攻击识别,遗传粒子群算法优化卷积神经网络的网络攻击识别(代码完整,数据齐全)资源-CSDN文库 https://download.csdn.net/download/abc991835105

    2024年02月12日
    浏览(49)
  • 目标URL存在http_host头攻击漏洞复现及修复

    漏洞描述 为了方便的获得网站域名,开发人员一般依赖于HTTP Host header。例如,在php里用_SERVER[“HTTP_HOST”]。但是这个header是不可信赖的,如果应用程序没有对host header值进行处理,就有可能造成恶意代码的传入。 危险等级 中危 修复建议 web 应用程序应该使用 SERVER_NAME 而不是

    2024年02月06日
    浏览(45)
  • 目标检测——目标检测概述

    下载地址 0.5114435907762924 voc2010前,求取Recall11个点对应的presion,求平均 voc2010后,使用分段函数的线下面积 去除冗余检测框,保留最好的一个

    2024年02月16日
    浏览(36)
  • 【目标检测】1. 目标检测概述

    目标检测 (Object Detection)实质上上多目标的定位,即在一个图片中定位多个目标物体,包括 分类 和 定位 ,也就是多个目标分别在哪里?分别属于那个类别?   图像分类常用算法:         VGG         GoogleNet         ResNet 目标检测常用算法:         RCNN        

    2024年03月10日
    浏览(49)
  • 【目标检测】目标检测 相关学习笔记

    挑战赛主要分为 图像分类 目标检测 目标分割 动作识别 数据集分为四个大类 交通(飞机 船 公交车 摩托车) 住房(杯子 椅子 餐桌 沙发) 动物(鸟 猫 奶牛 狗 马 羊) 其他(人) 1.框定候选区 2.对每一个候选区域,使用深度网络提取特征 3.将特征送入每一类的SVM分类器,

    2024年02月12日
    浏览(49)
  • 目标检测之小目标检测

    在COCO定义中,像素面积小于32*32 pixels的物体 目标边界框的宽高与原图的宽高的比例小于设定比例(通用值为0.1) 目标边界框的面积与原图的面积的比例的开方小于设定比例(通用值为0.03) 小目标的分辨率低,包含的判别性特征信息过少且易被环境因素干扰 (COCO)数据不平

    2024年02月12日
    浏览(35)
  • 如何检测勒索软件攻击

    勒索软件又称勒索病毒,是一种特殊的恶意软件,又被归类为“阻断访问式攻击”(denial-of-access attack),与其他病毒最大的不同在于攻击方法以及中毒方式。 攻击方法 :攻击它采用技术手段限制受害者访问系统或系统内的数据(如文档、邮件、数据库、源代码等),并以此

    2024年02月10日
    浏览(40)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包