【论文笔记 】EOT算法:Synthesizing robust adversarial example

这篇具有很好参考价值的文章主要介绍了【论文笔记 】EOT算法:Synthesizing robust adversarial example。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

引言:

对于基于神经网络的分类器,对抗样本是一种加入了微小扰动的样本,能够让分类器产生错误的判断从而识别失败。传统的二维对抗样本通过打印等方式转移导现实世界中时,在有限的视角下能够保持对抗性。但在复杂多变的实际应用场景中,受光照、视角偏移和相机噪声等因素限制,这些对抗样本被相机捕捉到的形态已经发生了变化,在输入到分类器之前就已经失去了对抗性。因此传统方法生成的对抗样本在现实世界中多数无法保持对抗性,难以起到稳定的干扰效果。而此前的研究主要关注的是二维对抗样本的生成,目前缺少一种鲁棒的、能保持多视角对抗性的对抗样本。学术界在三维对抗样本方面的研究也有所欠缺。作者解决了传统对抗样本鲁棒性不强的问题,证明了现实世界中3D对抗样本的存在,首次提出了3D对抗样本的合成算法,并用3D打印合成了第一个物理对抗对象。

方法:

首先,作者提出了EOT算法:

EOT算法的核心思想对每一个微小的对抗扰动(即对抗输入和原始输入之间的距离)进行建模,从而缩小对抗输入与原始输入之间的视觉差距来优化对抗样本。

在有目标的白盒攻击场景中,传统的方法通过最大化目标类yt在原图像(一般将其表示为[ 0,1 ]中每个像素为d的向量)周围的一个半径为a的球上,目标类的对数似然来优化生成对抗样本。

可表示为:

eot对抗样本算法 3d,论文阅读笔记,论文阅读,笔记,算法,安全,计算机视觉,3d

而作者则选择在这个优化的过程中对每个微小的对抗扰动进行建模:eot对抗样本算法 3d,论文阅读笔记,论文阅读,笔记,算法,安全,计算机视觉,3d

其中T表示转换函数t的变换分布:分类器的输入在经过变换函数t处理后由x变为t(x);而T则是对于可能影响对抗性的一些因素的建模:

对于2D对抗样本,T包括通过加性因子重新缩放、旋转、变亮或变暗、添加高斯噪声和图像的平移等;

对于3D对抗样本,T包括对抗样本的纹理,并将纹理映射到3D渲染中,以模拟光照、旋转、平移和透视投影等功能。

由此,对抗样本的生成可表示为:

eot对抗样本算法 3d,论文阅读笔记,论文阅读,笔记,算法,安全,计算机视觉,3d

作者在其中采用随机梯度下降的方法进行优化。其中,在梯度下降的每一步都对变换T进行独立的采样,并通过变换T进行微分。而为了更好地起到优化的效果,作者的的在优化目标函数的过程中使用了 Lagrangian-relaxed(拉格朗日松弛)方法,同时使用LGB空间距离作为原始与输出距离:

eot对抗样本算法 3d,论文阅读笔记,论文阅读,笔记,算法,安全,计算机视觉,3d 

实验:

作者在实验中使用了TensorFlow的标准预训练InceptionV3分类器作为测试模型,并随机指定target类别,攻击成功率为96.4%。

作者首先定量评估了使用EOT方法生成2D、3D和现实世界对抗样本的有效性:将有效性量化定义为:

eot对抗样本算法 3d,论文阅读笔记,论文阅读,笔记,算法,安全,计算机视觉,3d

即样本被分类成目标类的概率。

其中函数C(x,y)表示输入x是否被分类为y类,即:

eot对抗样本算法 3d,论文阅读笔记,论文阅读,笔记,算法,安全,计算机视觉,3d

有了量化的评估标准之后,作者通过实验来评估对抗样本的有效性。

对于2D对抗样本,作者使用的变换分布包括缩放、旋转、改变亮度、添加高斯噪声和平移,对1000张图像随机选择目标类进行攻击,平均对抗性为96.4%:

eot对抗样本算法 3d,论文阅读笔记,论文阅读,笔记,算法,安全,计算机视觉,3d

eot对抗样本算法 3d,论文阅读笔记,论文阅读,笔记,算法,安全,计算机视觉,3d

对于3D对抗样本,作者通过对3D渲染的过程使用EOT算法来模拟变换,考虑了相机距离、横向平移、物体旋转、纯色背景等变换分布,为10个3D模型各选择了20个目标类进行攻击,平均对抗性为83.4%:

eot对抗样本算法 3d,论文阅读笔记,论文阅读,笔记,算法,安全,计算机视觉,3d

eot对抗样本算法 3d,论文阅读笔记,论文阅读,笔记,算法,安全,计算机视觉,3d

对于现实世界的3D对抗样本,作者在代表性的几个变换分布上使用EOT算法,以尽量地近似所有变换分布的情况。除3D渲染的过程外,还考虑了照明效果、相机噪声以及3D打印过程等变换。平均对抗性为94%:

eot对抗样本算法 3d,论文阅读笔记,论文阅读,笔记,算法,安全,计算机视觉,3d

eot对抗样本算法 3d,论文阅读笔记,论文阅读,笔记,算法,安全,计算机视觉,3d

eot对抗样本算法 3d,论文阅读笔记,论文阅读,笔记,算法,安全,计算机视觉,3d

eot对抗样本算法 3d,论文阅读笔记,论文阅读,笔记,算法,安全,计算机视觉,3d

作者通过实验证实了现实世界中3D对抗样本的存在,展示了EOT算法的有效性。

文献来源:

[1]Athalye A, Engstrom L, Ilyas A, et al. Synthesizing robust adversarial examples[C]//International conference on machine learning. PMLR, 2018: 284-293.文章来源地址https://www.toymoban.com/news/detail-807961.html

到了这里,关于【论文笔记 】EOT算法:Synthesizing robust adversarial example的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 论文笔记:Privacy-Preserving Byzantine-Robust Federated Learning via Blockchain Systems

    会议来源:IEEE TRANSACTIONS ON INFORMA TION FORENSICS AND SECURITY , VOL. 17, 2022 1.分布式机器学习在海量数据上实现了更大模型的训练,但仍然容易受到安全和隐私泄露的影响 2.保护隐私的联邦学习方案之一是使用同态加密方案(如Paillier),对局部梯度进行加密,但局部梯度难以计算和传输

    2024年02月04日
    浏览(43)
  • Privacy-Preserving Byzantine-Robust Federated Learning via Blockchain Systems论文笔记

    总述:本文提出了一种PBFL的方案,可以用来验证用户上传的梯度信息(主要使用到的是余弦相似性),过滤恶意用户的梯度;并且可以防止服务器的单点故障,利用区块链使得协议的执行更加的透明。 本文的主要贡献:因为之前使用的同态加密方案存在低效的问题(具体而

    2024年01月22日
    浏览(49)
  • SAFEFL: MPC-friendly Framework for Private and Robust Federated Learning论文阅读笔记

    SAFEFL,这是一个利用安全多方计算 (MPC) 来评估联邦学习 (FL) 技术在防止隐私推断和中毒攻击方面的有效性和性能的框架。 传统机器学习(ML):集中收集数据-隐私保护问题 privacy-preserving ML (PPML)采用的隐私保护技术:安全多方计算,同态加密(运算成本高) 联邦学习(FL):

    2024年04月22日
    浏览(53)
  • 【论文阅读笔记】Local and Central Differential Privacy for Robustness and Privacy in Federated Learning

    个人阅读笔记,如有错误欢迎指出! 会议:NDSS 2022        [2009.03561] Local and Central Differential Privacy for Robustness and Privacy in Federated Learning (arxiv.org) 问题:         尽管联邦学习能在一定程度上保护数据隐私,但也存在隐私和鲁棒性漏洞 主要贡献:         首次发现

    2024年02月01日
    浏览(46)
  • 【对抗攻击论文笔记】对抗迁移性:Delving Into Transferable Adversarial Examples And Black-Box Attacks

    发表于ICLR2017,论文地址:https://arxiv.org/pdf/1611.02770——深入研究可迁移的对抗样本和黑盒攻击 迁移性是指 一个模型生成的一些对抗样本也可能被另一个模型错误分类 。 这篇文章其实是基于 Transferability in Machine Learning: from Phenomena to Black-Box Attacks using Adversarial Samples 的改进和

    2023年04月08日
    浏览(64)
  • 论文阅读笔记—— AdvFilter: Predictive Perturbation-aware Filtering against Adversarial Attack via Multi-d L

    来源:ACM MM 2021 作者:Yihao Huang1, Qing Guo2†, Felix Juefei-Xu3, Lei Ma4, Weikai Miao1, Yang Liu2,5, Geguang Pu1 单位:1East China Normal University, China 2Nanyang Technological University, Singapore 3Alibaba Group, USA 4University of Alberta, Canada 5 Zhejiang Sci-Tech University, China 邮箱:Yihao Huang’s email: huangyihao22@gmail.com ;

    2024年02月01日
    浏览(47)
  • [论文阅读笔记20]MotionTrack: Learning Robust Short-term and Long-term Motions for Multi-Object Tracking

    论文地址: https://arxiv.org/pdf/2303.10404.pdf 代码: 未开源 目前是MOT20的第二名 这篇文章着力于解决 长时 跟踪的问题. 当前大多数方法只能依靠Re-ID特征来进行长时跟踪, 也就是轨迹长期丢失后的再识别. 然而, Re-ID特征并不总是有效的. 尤其是在拥挤和极度遮挡的情况下. 为此, 这篇

    2024年02月16日
    浏览(53)
  • GAN | 论文精读 Generative Adversarial Nets

    提出一个GAN (Generative Adversarial Nets) (1)生成模型G(Generative),是用来得到分布的,在统计学眼里,整个世界是通过采样不同的分布得到的,生成东西的话,目前就是要抓住一个数据的分布, (2)辨别模型D(D) ,他是来辨别你的样本究竟是从真实世界来的呢,还是来自

    2024年02月11日
    浏览(44)
  • 【论文精度(李沐老师)】Generative Adversarial Nets

    我们提出了一个新的framework,通过一个对抗的过程来估计生成模型,其中会同时训练两个模型: 生成模型G 来获取整个数据的分布, 辨别模型D 来分辨数据是来自于训练样本还是生成模型G。生成模型G的任务是尽量的让辨别模型D犯错。这个framework对应一个博弈论中双人对抗游

    2023年04月14日
    浏览(45)
  • 论文阅读《Robust Monocular Depth Estimation under Challenging Conditions》

    论文地址:https://arxiv.org/pdf/2308.09711.pdf 源码地址:https://github.com/md4all/md4all   现有SOTA的单目估计方法在理想的环境下能得到满意的结果,而在一些极端光照与天气的情况下往往会失效。针对模型在极端条件下的表现不佳问题,文章提出一种用于解决这种安全问题的模型:

    2024年02月09日
    浏览(43)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包