【论文笔记】SwinIR: Image Restoration Using Swin Transformer

这篇具有很好参考价值的文章主要介绍了【论文笔记】SwinIR: Image Restoration Using Swin Transformer。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

声明

不定期更新自己精度论文，通俗易懂，初级小白也可以理解

涉及范围：深度学习方向，包括 CV、NLP、Data Fusion、Digital Twin

论文标题：SwinIR: Image Restoration Using Swin Transformer

论文链接：https://arxiv.org/abs/2108.10257v1

论文代码：https://github.com/jingyunliang/swinir

发表时间：2021年8月

创新点

1.本文提出了一种基于Swin Transformer的图像修复模型SwinIR，该模型在图像超分辨率、图像去噪和JPEG压缩伪影减少等任务上可以胜过当前的CNN-based图像修复方法；

2.SwinIR具有内容与注意力权重交互的优点，可以进行长距离依赖建模和更好的参数性能表现；

3. SwinIR具有三个模块：浅层特征提取、深层特征提取和高质量图像重构，其中深特征提取模块包含多个residual Swin Transformer blocks，利用了局部注意力和交叉窗口互动。

Abstract

图像恢复是一个长期存在的低层次视觉问题，旨在从低质量图像（例如缩小、噪声和压缩图像）中恢复高质量图像。虽然现有的图像恢复方法基于卷积神经网络，但在高级视觉任务上表现出色的Transformer方法却很少被尝试。在本文中，作者提出了一个基于Swin Transformer的图像恢复强基线模型SwinIR。SwinIR由浅层特征提取、深层特征提取和高质量图像重建三个部分组成。特别地，深层特征提取模块由多个残差Swin Transformer块（RSTB）组成，每个块都有几个Swin Transformer层和一个残差连接。在三个代表性任务上进行了实验：图像超分辨率（包括经典、轻量级和实际图像超分辨率）、图像去噪（包括灰度和彩色图像去噪）和JPEG压缩伪影去除。实验结果表明，SwinIR在不同任务上的表现均优于现有的最先进方法，提高了0.14∼0.45dB，同时可以将参数总数减少高达67%。