这是CVPR2023的一篇论文，讲的是在频域做domain generalization，找到频域中generalizable的分量enhance它，suppress那些影响generalization的分量
- DG是一个研究模型泛化性的领域，尝试通过各自方法使得模型在未见过的测试集上有良好的泛化性。
- intro部分指出，低频分量更好泛化，而高频分量的拟合则是泛化性和准确率的trade off，当对高频分量拟合得更好，在相同domain的测试集上准确率会越高，但是在不同domian的测试集上准确率则下降。我的理解是，不同domain的差别在高频分量上是很复杂的，从而使得对高频分量进行拟合降低了泛化性。而低频分量上的差距主要是亮度上的差距，总体来说是比较简单的线性映射，很容易泛化。但也有例外，low-light image enhancement主要处理的应该就是低频分量的泛化吧，还得通过实验确定。
方法部分
-
文章的模型基于Fast Fourier Convolution（FFC）进行修改
-
related works的第二段介绍了很多基于频率域的研究，有时间可以集中看一看
-
对空间域特征图做傅里叶变换，然后再进行处理，网络结构图如下：
-
首先上述的网络结构图仅仅是示意，并非最终的网络结构图。文章把设计的DFF Module用到了FFC的网络结构上。首先，经过傅里叶变换后的特征图先用1x1的卷积、BN和ReLU处理特征，得到embedding，然后用一个简单的注意力机制提取注意力图，并把得到的注意力图复制到不同的channel和embedding进行element-wise地相乘，得到了最终的频域输出，再反傅里叶变换变回空间域特征。
-
有两点要注意的，一是注意力机制是可以换的，文章只是用了最简单的注意力机制，先做通道上的maxpooling和average pooling得到两通道的特征图，然后做7x7的卷积接一个sigmoid得到注意力图。二是，从图上看起来好像你一直空间域频率域变来变去有点笨比，一直在频率域处理不就行了，是因为这个图只是示意图，最终其实是在FFC的网络结构上的，这个网络结构是two-branch的，有空间域的卷积也有频率域的卷积，所以才需要一直变来变去。
-
FFC的网络结构大概是这样的，可以直接在普通的卷积神经网络上修改而成（如resnet），文章认为傅里叶频域的特征是全局特征，所以把特征图按通道分了两个branch，一个branch是全局特征branch，一个branch是局部特征branch，然后全局特征branch用傅里叶卷积处理（其实就是先傅里叶变换再卷积再反傅里叶变换），局部特征branch则用普通卷积。同时，还有两个branch之间的交互，交互的处理用普通卷积，因此大概就是如下公式（四个f中3个是普通卷积一个是傅里叶卷积，l是local，g是global）：
-
网络的训练则是用了DG的训练方式，两个loss，一个是要预测正确的domain，一个是要预测正确的label（分类任务）文章来源：https://www.toymoban.com/news/detail-465746.html
实验部分
- 实验设置：衡量DG的性能一般是在某个任务上找一些不同domain的数据集，比如N个数据集，选其中N-1个作为训练集，第N个作为测试集，衡量在测试集上的性能。文章选的是两个任务，一个是分类任务，一个是行人重识别任务，
- 可以看到，消融实验部分，相比FFC，加了DDF的确实是有提高，而且频率域的才有提高也说明了模块确实是按设想的在工作：
文章来源地址https://www.toymoban.com/news/detail-465746.html
- 还有一个实验，作者可视化了attention map，发现确实如前面所说，低频的注意力比较高，高频的注意力比较低：
到了这里，关于Deep Frequency Filtering for Domain Generalization论文阅读笔记的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
