文献综述|针对图像描述模型的对抗样本攻击

这篇具有很好参考价值的文章主要介绍了文献综述|针对图像描述模型的对抗样本攻击。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

前言:图像描述对抗攻击旨在通过攻击正常的图像描述模型,为正常输入图像添加扰动得到对抗样本,使得正常模型输出目标句子或目标关键词,现将当前相关工作大致汇总如下。本综述初写于2022年8月29日。


部分相关工作介绍

Shekhar 等在 [1] 中指出,图像描述模型并未很好的捕捉模态之间的关系,作者通过在MSCOCO数据集上添加图像错误描述,构造 FOIL-COCO 数据集,并在描述分类、异常单词检测和异常单词修正三个角度进行实验,验证了图像描述模型的缺陷所在,这为后续图像描述攻击工作的开展奠定基础。文中使用多模态双向LSTM (Bi-LSTM)模型进行实验。

文献综述|针对图像描述模型的对抗样本攻击,论文研读,图像描述模型,多模态模型攻击,AI安全,模型安全,对抗样本,NLG,自然语言生成

Chen等人 [2] 为研究语言模型在机器视觉感知领域对对抗扰动的鲁棒性,提出Show-and-Fool方法,通过构造对抗样本,误导模型生成随机选择的描述或关键词。攻击模型选择Show-and-Tell模型,分别对定向描述和定向关键词场景构造对抗样本图像。

源码详见 https://github.com/huanzhang12/ImageCaptioningAttack

Ji等[5]通过对正常图像描述进行目标单词去除的方式构造对抗样本,同时保证残留描述的质量,设计的损失函数如下:
文献综述|针对图像描述模型的对抗样本攻击,论文研读,图像描述模型,多模态模型攻击,AI安全,模型安全,对抗样本,NLG,自然语言生成

其中, L r e m L_{rem} Lrem保证目标单词的出现频率足够低, L a c c L_{acc} Lacc保证残留描述的质量, L f i l L_{fil} Lfil确保添加扰动后生成的描述不会引入多余的视觉噪声。即目标物体。最后一项用来控制生成扰动的程度,确保对抗样本的视觉质量。

文献综述|针对图像描述模型的对抗样本攻击,论文研读,图像描述模型,多模态模型攻击,AI安全,模型安全,对抗样本,NLG,自然语言生成

作者还提出攻击质量的评价指标,在确保残留描述与原描述质量相同的同时,保证攻击成功率足够高。其定义如下,其中 A R AR AR是通过计算BLEU、CIDEr等评价指标得出, S R SR SR为攻击成功率,只有当任何目标单词都不出现在生成描述中才算攻击成功。

文献综述|针对图像描述模型的对抗样本攻击,论文研读,图像描述模型,多模态模型攻击,AI安全,模型安全,对抗样本,NLG,自然语言生成

Zhang等[7]通过在复数域设计损失函数(如下图),使用词嵌入添加扰动的方式生成对抗样本,对抗样本对应的语义向量作为损失函数的虚部,原图对应的语义向量作为损失函数的实部,设计的损失函数如下:

文献综述|针对图像描述模型的对抗样本攻击,论文研读,图像描述模型,多模态模型攻击,AI安全,模型安全,对抗样本,NLG,自然语言生成
文献综述|针对图像描述模型的对抗样本攻击,论文研读,图像描述模型,多模态模型攻击,AI安全,模型安全,对抗样本,NLG,自然语言生成文献综述|针对图像描述模型的对抗样本攻击,论文研读,图像描述模型,多模态模型攻击,AI安全,模型安全,对抗样本,NLG,自然语言生成
文献综述|针对图像描述模型的对抗样本攻击,论文研读,图像描述模型,多模态模型攻击,AI安全,模型安全,对抗样本,NLG,自然语言生成

其中 L b L_{b} Lb项保证对抗样本与原图尽可能相似。文中选取Show-and-Tell模型,能够成功实现词级和句子级别的白盒和黑盒攻击,性能优于Show-and-Fool方法[2],并验证了生成的对抗样本的迁移性。

文献综述|针对图像描述模型的对抗样本攻击,论文研读,图像描述模型,多模态模型攻击,AI安全,模型安全,对抗样本,NLG,自然语言生成

Chen 等另辟蹊径,在 [10] 中首次提出将生成效率作为攻击的目标,并设计一种 NLCGSlowDown 方法,尽可能生成长句,降低生成效率。
文献综述|针对图像描述模型的对抗样本攻击,论文研读,图像描述模型,多模态模型攻击,AI安全,模型安全,对抗样本,NLG,自然语言生成


总结与展望

综上所述,就生成的准确性与相关性而言,由于模态间的语义信息难以对齐,跨模态生成模型生成的效果难以保证;与此同时,生成任务的特殊性使其在特定场景下的生成效率颇受关注。现有工作也主要是在生成相关性与生成效率这两方面开展研究。目前,针对多模态任务的安全性研究也在陆续展开,如跨模态模型的生成幻觉问题(参见此篇博客)以及跨模态模型的文本隐写问题。

后记:由于个人的研究方向变更,后续不再跟进本领域相关工作,本综述引用的参考文献只更新至2022年。


参考文献文章来源地址https://www.toymoban.com/news/detail-686240.html

  1. Ravi Shekhar, et al. FOIL it! Find One mismatch between Image and Language caption, ACL, 2017.
  2. Hongge Chen et al. Attacking Visual Language Grounding with Adversarial Examples: A Case Study on Neural Image Captioning, ACL, 2018.
  3. Xiaojun, Xu, et al. Fooling Vision and Language Models Despite Localization and Attention Mechanism, CVPR, 2018.
  4. Yan, Xu, et al. Exact Adversarial Attack to Image Captioning via Structured Output Learning with Latent Variables, CVPR, 2019.
  5. Jiayi Ji, et al. Attacking Image Captioning Towards Accuracy-Preserving Target Words Removal, ACM MM, 2020.
  6. Malhar Jere et al. Scratch that! An Evolution-based Adversarial Attack against Neural Networks, arXiv, 2020.
  7. Shaofeng Zhang, et al. Fooled by imagination: Adversarial Attack to Image Captioning via Perturbation in Complex Domain, ICME, 2020.
  8. Akshay Chaturvedi and Utpal Garain. Mimic and Fool: A Task-Agnostic Adversarial Attack, TNNLS, 2021.
  9. Nayyer Aafaq, et al. Controlled Caption Generation for Images Through Adversarial Attacks, arXiv, 2021.
  10. Simin Chen et al. NICGSlowDown: Evaluating the Efficiency Robustness of Neural Image Caption Generation Models, CVPR, 2022.
  11. Mirazul Haque, et al. CorrGAN: Input Transformation Technique Against Natural Corruptions, CVPR workshops, 2022.
  12. Hanjie Wu, et al. Learning Transferable Perturbations for Image Captioning, TOMCCAP, 2022.

到了这里,关于文献综述|针对图像描述模型的对抗样本攻击的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包