基于卷积神经网络的MAE自监督方法-Toy模板网

这篇具有很好参考价值的文章主要介绍了基于卷积神经网络的MAE自监督方法。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

本文分享自华为云社区《基于卷积神经网络的MAE自监督方法》，作者： Hint 。

图像自监督预训练算法是近年来的重要研究方向，MAE是其中基于ViT实现的代表性方法，学习到了鲁棒的视觉特征。MAE全称是Masked Autoencoders,是由何凯明提出的自监督预训练方法，借鉴了BERT的预训练任务，将输入图片的patch以较大的比例进行mask，并通过非对称的ViT编码解码器结构，进行masked patches的重建任务。该方法在性能上超过了以往的对比学习方法，如MoCo系列等。然而ViT的结构复杂，计算量庞大，基于CNN的类MAE方法具有极高研究价值，但受限于CNN的结构特性，常规的MAE方式无法直接在CNN上应用。本文介绍ICLR2023的方法Spark[1]，实现了基于CNN的MAE。

如上图所示，对于一个masked的输入图片，对ViT输入和CNN的输入计算统计直方图，ViT的直方图是和未mask的图片分布一致的，而CNN的直方图发生了很大变化。这是由于ViT结构天然适合处理变长、不规则的输入，且不同的输入之间不会重叠计算。CNN的滑窗操作和规则的卷积核形状，导致模型会严重受到mask部分的影响。

因此作者借鉴了3D点云领域的稀疏卷积，该卷积只对未mask的像素进行计算，忽略masked的像素，可以处理不规则的输入，实现了和ViT类似的效果。另外，为了学习到多尺度的特征，作者设计了分层次的解码器，参考了UNet的结构设计，使模型学习到多尺度的特征，适应CNN的多层级结构。

从以下的实验结果来看，该方法的性能媲美原始的MAE方法，并在各种下游任务中取得了SOTA的结果，作者也证明了各个设计模块的有效性以及该方法的通用性。

[1]Tian K, Jiang Y, Diao Q, et al. Designing BERT for Convolutional Networks: Sparse and Hierarchical Masked Modeling[J]. arXiv preprint arXiv:2301.03580, 2023.

文章来源地址https://www.toymoban.com/news/detail-640326.html

点击关注，第一时间了解华为云新鲜技术~

到了这里，关于基于卷积神经网络的MAE自监督方法的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！