Curricular Contrastive Regularization for Physics-aware Single Image Dehazing
基于课程对比正则化的物理感知单幅图像去雾算法（CVPR2023）
原文链接：https://openaccess.thecvf.com/content/CVPR2023/papers/Zheng_Curricular_Contrastive_Regularization_for_Physics-Aware_Single_Image_Dehazing_CVPR_2023_paper.pdf
摘要
- 在单幅图像去雾领域，考虑到图像去雾问题的不适定性，Wu1提出了对比正则化方法，将负样本图像的信息引入作为下界。（本文主要是基于该方法的改进）
- 但是，对比样本是不一致的，因为负样本通常与清晰（即正样本）图像差别较大，导致求解空间不足；此外，由于清晰图像和负样本之间嵌入的相似性不同，多个组成部分的学习难度本质上存在不平衡。为了解决这个问题，本文设计了一种课程学习策略，重新调整对比正则化中不同负样本的重要性。
- 此外，为了提高特征空间中的可解释性，根据大气散射模型，本文构建了一个具有物理感知能力的双分支单元。
- 结合物理感知双分支单元和课程学习对比正则化方法，构建了本文的去雾网络结构：C2PNet
- 实验表明，C2PNet 明显优于SOTA最先进的方法，在 SOTS-indoor 和 SOTS-outdoor 数据集上分别具有3.94dB 和 1.50dB 的 PSNR 提升。
关键技术总结课程学习（Curriculum learning）对比学习（Contrastive Learning）对比正则化（Contrastive Regularization，CR）物理感知双分支单元（Physics-aware Dual-branch Unit，PDU）
C2PNet 网络结构示意图：用物理感知双分支单元(PDU)替换FFA-Net中的PA模块构建去雾网络，生成的去雾图像作为锚点(Anchor)，再进行课程对比正则化方法，使得去雾图像更加接近清晰图像。
一、课程学习
- 受人类认知系统启发，Elman强调了神经网络训练中从小开始的重要性，被视为课程学习的原型。随后，Bengio等人正式提出了课程学习（Curriculum learning），根据样本的难度来安排训练样本。
- 课程学习是一种训练策略，模仿人类的学习过程，主张让模型先从容易的样本开始学习，并逐渐进阶到复杂的样本和知识。
二、对比学习
- 对比学习（Contrastive Learning）主要应用于高级视觉任务，首先使用对比学习的是InstDisc2这篇论文，提出个体判别代理任务，通过定义正样本、负样本，然后使用对比损失函数，让自监督学习也能应用于图像领域（不需要标签信息也能学习到数据样本的好的表征）。
- InstDisc2通过将每张图片输入卷积神经网络中，编码成一个特征，让这些特征在特征空间（球状空间）中尽可能的分开。以豹子图片为例，正样本：豹子图片+数据增强的豹子图片（旋转、裁剪等），负样本：除了豹子图片以外的所有图片（存储在Memory Bank字典），然后相互对比，更新字典里的特征。
-
之后何凯明提出了MoCo3，谷歌大脑提出了SimCLR4，都是基于对比学习，提取视觉表征的网络结构，并且取得了不错的效果，逐渐接近有监督学习。
-
下图是SimCLR的数据增强方法
-
下图是SimCLR的网络结构演示。
三、对比正则化（CR）
- 对比学习通常是应用于高级视觉任务中，因为像图像分类、检测等适合构建正样本和负样本特征之间的对比。将对比学习应用到低级视觉任务中的还比较少，这篇CVPR2021的论文提出了一种新的像素对比损失方法：对比正则化（Contrastive Regularization，CR）1
- 主要思想：将通过去雾网络去雾后的图像作为锚点（FFA-Net），清晰图像作为正样本点，有雾图像作为负样本点，将锚点向正样本点方向拉，向负样本点方向推，由此构建一个：对比正则化
四、对比正则化 存在的问题
- 首先，可以看出在共识对比空间进行对比，才能够对比出来“雾”这个特征，在非共识对比空间，本身的图片就是不同的，所以对比出来的特征就不仅仅是“雾”；
- 那么，选择共识空间的图片进行对比，就又会发现一个问题：锚点更加相似于负样本，因为锚点的去雾效果不能达到和清晰图像一样，还是有雾的，比如下图的锚点更加接近超困难负样本的图片。
四、创新点：加入课程学习
- 首先，定义负样本为三个难度级别：
- 简单(E) ：含雾图像；
- 困难(H) ：PSNR小于30的去雾图像；
- 超困难(U)：PSNR大于30的去雾图像；
困难和超困难的负样本：由FFA-Net、GDN等固定去雾模型，生成的不同去雾程度的图像
- 然后，定义课程学习：
- 定义简单负样本的权重固定，且最大，推力最大；
- 定义困难负样本和超困难负样本权重：
- 先执行困难负样本 1+γ ，权重更大，从而使困难负样本提供更大的推力；
- 然后，随着锚点越来越靠近正样本，超困难负样本执行推力
- 最终的课程对比正则化公式为：
课程对比正则化示意图如下所示：
五、创新点：物理感知双分支单元
- 目的：提高去雾特征空间的可解释性
- 大气散射模型通常用于描述模糊图像 I 的形成：
- 在数学上可以表示为 I(x) = T(x)J(x) + (1 − T(x))A，其中 J 表示清晰图像，T表示透射图，A表示大气光，x表示像素索引；
- 由于 T 和 A 都是未知的，去雾是一个非常不适定的问题。基于原始空间的方法直接估计两个未知因素，容易导致累积误差；
- 相比之下，在特征空间中施加物理先验可以提高与雾化过程一致的可解释性。
1.重新制定了物理模型来表示清晰图像：
- 一方面，假设大气光是均匀的，在上分支中，使用全局平均池化GAP(·)来消除特征空间中不必要的信息；
- 另一方面，由于真实图像的大气光是非均匀的，因使用GAP(·)而丢失的信息，在下方分支中，使用一系列卷积层来提取特征；
- 使用所提出的 PDU，可以从输入特征 M 生成可解释的特征 J，用于恢复含雾图像。
六、总结
- 在本文中，提出了一种用于单幅图像去雾的新型网络结构 C2PNet：
- 引入共识对比空间的负样本来构建对比样本，然后考虑负样本的难度，使用课程对比正则化来约束更紧凑的解决空间；
- 为了增强特征空间的可解释性，设计了基于物理模型的物理感知双分支单元。该单元产生的特征被强制符合雾化过程，从而促进去雾。
- 大量实验证明了所提出方法的有效性和通用性。
在合成雾和真实雾数据集上的定量评估：
在合成雾数据集上的效果展示：
在真实雾数据集上的效果展示：
-
Wu H, Qu Y, Lin S, et al. Contrastive learning for compact single image dehazing [C] CVPR:2021 ↩︎ ↩︎
-
Wu Z, Xiong Y, Yu S X, et al. Unsupervised feature learning via non-parametric instance discrimination [C] CVPR:2018 ↩︎ ↩︎
-
He K, Fan H, Wu Y, et al. Momentum contrast for unsupervised visual representation learning [C] CVPR:2020 ↩︎文章来源：https://www.toymoban.com/news/detail-576417.html
-
Chen T, Kornblith S, Norouzi M, et al. A simple framework for contrastive learning of visual representations [C] PMLR:2020 ↩︎文章来源地址https://www.toymoban.com/news/detail-576417.html
到了这里，关于Curricular Contrastive Regularization for Physics-aware Single Image Dehazing (CVPR2023) 论文记录的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
