遥感图像超分辨重建综述

这篇具有很好参考价值的文章主要介绍了遥感图像超分辨重建综述。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

基于深度学习的遥感图像超分辨率重建技术综述

摘要部分

基于深度学习的遥感图像超分重建方法分成三大类
单幅遥感图像超分重建

最好的是基于GAN的方法

方法:

  1. 基于多尺度特征提取的方法
  2. 结合小波变换的方法
  3. 沙漏状生成网络的方法
  4. 边缘增强网络的方法
  5. 可跨传感器的方法
多幅遥感图像超分重建

超分效果不佳,存在配准融合、多源信息融合等问题

多/高光谱遥感图像超分重建

超分效果不佳,存在配准融合、多源信息融合等问题

未来趋势
  1. 构建针对遥感图像特点的神经网络结构
  2. 无监督学习的遥感图像超分重建方法(想法:GAN可用于无监督学习)
  3. 多源遥感图像的超分重建方法

引言

概念

遥感图像超分辨率重建是对具有互补信息的低分辨率遥感图像进行处理,来获得高分辨率遥感图像的技术。

方法框架

遥感图像超分辨重建综述

基于深度学习的遥感图像超分重建方法渊源

传统的遥感图像超分重建方法
  1. 频域法

    主要分为频谱解混叠算法,递归最小二乘法等,其 基于的理论前提过于理想化,不能有效地应用于 多个场合,所以目前这类方法已不再成为研究的主流。

  2. 空域法

    空域法虽然灵活性好,但是它涉及帧内运动 模糊、光学模糊以及其他复杂的降质模型等许多因素,导致其优化方法复杂,计算的代价大,没能成为主流的方法。

  3. 频域-空域结合的方法

    频域-空域结合的方法,虽然结合了频域法和空域法的优势,但运算复杂,计算量巨大,也没能成为主流的方法。

基于深度学习的遥感图像超分辨重建步骤

遥感图像超分辨重建综述

将低分辨率和高分辨率遥感图像对送入深度学习方法中,进行学习训练,得到低分辨率和高分辨率遥感图像之间的关系。再将低分辨率遥感图像送入训练好的深度模型中,得到重建后的超分辨率遥感图像。

基于深度学习的单幅遥感图像超分辨率重建

基于CNN的单幅遥感图像超分辨率
常用CNN架构
SRCNN

第一个将 CNN 应用于超分辨率问题的方法。2016年Liebel 等首次提出将 SRCNN 用于单幅遥感图像超分辨率重建。该方法 没有考虑遥感图像尺度多样性的特点,所以重建效 果不太明显,于是人们根据遥感图像的尺度多样性特点,提出了许多基于多尺度特征提取的方法。

VDSR

在 SRCNN 的基础上引入了残差网络,扩展了 SRCNN 的功能。由于遥感图像和自然图像有很大的不同,遥感图像中包含的物体和环境常常耦合在一起,而 且图像尺度跨度较大,但是目前大部分网络都是 在单个对象范围内构建字典或者先验知识,忽略了环境信息。于是,2017年,Lei 等提出一种基于 VDSR的网络, 称为局部-全局结合网络 ( local-global combined networks,LGCNet)。

该网络分为三个部分:

  1. 特征提取部分,利用L层卷积,获取不同层的特征表示
  2. 局部-全局信息结合部分,不同层的特征表示;②局部-全局信息 结合部分,这部分也是整个 LGCNet 的核心部分,主要将不同层的结果级联起来,也就是所谓的“多叉结构”
  3. 重建部分,重建出高分辨率的遥感图像
    遥感图像超分辨重建综述

2018年,Xu 等也针对多个尺度提取特征的问题,提出深度记忆连接网络( deep memory connected network,DMCN)。 DMCN 是一种对称的沙漏结构CNN,具有多个跳跃连接。与 LGCNet相比,虽然它的重建效果只有略微的提升,但是内存占用量和测试时间大大减少了。

上面两项工作虽然都使用了多尺度特征提取 的方法,但是网络较深且结构单一,不能灵活适应多尺度特征,网络较深且结构单一,不能灵活适应 多尺度特征,于是2020年, Wang 等提出了一种用于遥感图像的超分辨率的自适应多尺度特征融合网络。 该方法提出了一种自适应多尺度特征提取模 块,该模块结合挤压激励网络和自适应门控机制。 通过该模块可以自适应地将提取的多尺度信息进行融合,该方法优于SRCNN、ESPCN、MSRN等经典方法。

EDSR

是目前通用图像超分重建性能最好 的方法之一。

结合小波变换的遥感图像超分辨率

2019年,Ma等提出另外一种结合小波变换和带有局部、全局残差连接的 CNN 超分辨率网络结构 (WTCRR)。该网络带有局部和全局的残差连接,通过关注频域来解决超分辨率问题。

该网络有三个部分:

  1. 分解

    将经过双 3 次插值的图像通过 2D 离散小 波变换分解为 4 张低分辨率图像

  2. 预测

    把上一步分解出的 4 张图像输入到具有递归和 残差网络的 CNN 网络结构中,得到初步的预测结果

  3. 重建

    将预测部分得到的图片通过逆离散 小波变换进行组合,重建出最终的高分辨率图像。

与 DRNN( deep recurrent neural network)相比,该方法重建后的图片边缘有所改进。
遥感图像超分辨重建综述

高放大因子的遥感图像超分辨率

目前,适度放大单幅遥感图像空间分辨率 (例如×2,×3)的问题得到了有效的解决,但是高 放大因子(例如×4,×8)的遥感图像超分辨率重建
仍是个难题。2019年,×4,×8)的遥感图像超分辨率重建 仍是个难题。 Pan 等针对上述问题提出快速残差密集反投影网络( fast residual dense back projection network,FRDBPN)。 FRDBPN 采用上投影和包含特定卷积和扩张卷积序列的下采样单元,以及全局和局部残差连接。

基于GAN的单幅遥感图像超分辨率
沙漏状生成网络的遥感图像超分辨率

2018年,Haut 等聚焦于生成模型,提出一种沙漏状的生成网络架构。 该网络以无监督的方式进行 训练。 生成网络由随机噪声作为输入,通过下采 样生成低空间分辨率数据,并传递给上采样结构, 如此反复优化最终生成高分辨率图片。在图像放大4倍时效果更好。

边缘增强网络的遥感图像超分辨率

由于受噪声的污染,遥感图像恢复高频边缘细 节方面仍然需要改善。 于是2019年,Jiang 等提出一种基于生成对抗网络的边缘增强网络,该网络的生成网络由两个子网络组成,超密集子网( ultra dense sub network, UDSN ) 和 边 缘 增 强 子 网 ( edge enhancement subnetwork,EESN)。 当 UDSN 用于重 建图像时,重建结果看上去很锐化,边缘受噪声污 染严重,因此,专门设计了 EESN 通过学习噪声掩 码来增强边缘。 该方法比经典的 SRCNN、VDSR[10] 和 SRGAN方法的重建效果有很大提升。

可跨传感器的遥感图像超分辨率

用于遥感图像超分辨率重建的数据通常局限 于特定的位置和特定的传感器,所以导致不同位置和传感器之间推广模型的能力有限。于是 2020年,Xiong 等修改了 SRGAN 的损失函数和网络结构,并提出改进的 SRGAN( improved SRGAN,ISRGAN),该方法使得模型训练更加稳定,并增强了 泛化能力,实现遥感图像一次训练,就可以用于任何地方和不同的传感器。结果表明,使用ISRGAN 超分辨率重建之后的土地覆盖分类的准 确性可以得到显著提高,尤其在具有高分辨率纹理道路和建筑物上,准确率提高了 15%。

基于深度学习的多幅遥感图像超分辨率重建

与单幅遥感图像超分辨率重建相比,多幅遥感图像超分辨率重建中包含有更多的互补信息,过程也更具有挑战性,需要解决多个低分辨率图像之间联合配准和融合等额外挑战。2020年,Deudon 等提出了HightRes-net 网络,首次将深度学习的方法引用到 多幅遥感图像超分辨率重建中,该方法以端到端的方式学习子任务。

子任务包括

  1. 图像配准
  2. 图像融合
  3. 上采样
  4. 配准损失函数部分
    遥感图像超分辨重建综述

HightRes-Net 是一种深层结构,通过参 考帧通道,学习将任意数量的低分辨率图像进行联合配准,然后进行上采样和超分辨率重建。
遥感图像超分辨重建综述

最后将得到的 ShiftNet 损失反馈到 HightRes-Net 模型中,得到重建图片。ShiftNet 损 失函数保证了多幅遥感图像的超分辨率重建不会因为配准不足,亚像素偏移等导致模糊的结果输出。

基于深度学习的多/高光谱遥感图像超分辨率重建

感图像的空间分 辨率和光谱分辨率的重建方法。 光谱图像包含数 百个波段,提供了丰富的光谱特征,每张图像代表不同电磁波段下场景的反射率和辐射率,这种物 理表示在许多应用中起着至关重要的作用,例如 遥感分类、目标检测和异常检测。 但是由于硬件 限制,收集高质量的高光谱图像比全色图像困难, 并且分辨率也较低,因此超分辨率重建技术也被引入到该领域。 以下是几种代表性方法。

基于 SRCNN 的多/高光谱图像超分辨率重建

2017年,Yuan 等将用在自然图像上预先训练的单图像超分重建方法 SRCNN 用来独立增强多 / 高光谱遥感图像的每个频段,并借鉴转移学习思想将其转化为高光谱图像。另外,为了研究低分 辨率和多 /高分辨率高光谱图像之间的光谱性质, 作者还提出了协作非负矩阵分解来增强低分辨率和高分辨率光谱之间的关联。

[1] He Z ,  Liu L . Hyperspectral Image Super-Resolution Inspired by Deep Laplacian Pyramid Network[J]. Remote Sensing, 2018, 10(12).

这篇文章也考虑了类似Yuan等人的思想先用自然图像训练拉普拉斯金字塔网络然后利用预训练好的的网络对多/高光谱遥感图像的每个波段进行超分辨率 重建;最后,利用编码光谱在低空间分辨率多/高光谱图像上训练,来提高多/高光谱分辨率。

改进损失函数的多/高光谱图像超分辨率重建

大多数基于 CNN 的图像超分辨率重建网络, 都是使用默认的 L2 损失函数,但是对于高光谱图像,该损失函数可能会导致光谱不一致。多/高 光谱图像的超分,损失函数不仅应该关注空间信息,还要关注光谱信息。于是,2018年,仅应该关注空间信 息,还要关注光谱信息。 于是 Zheng 等提出一种同时考虑空间和光谱信息的多损失函数网络, 它由串联密集残差网络( concatenate dense residual network,CDRN)和损失网络( loss network,LN) 组成。 CDRN 是图像重建部分,LN 包括像素的空间损失和光谱损失,它驱动整个模型的学习。

相关资料

数据集
  1. UC Merced数据集,它是一个用于研 究土地利用的数据集,一共有 2 100 张图片,包含 21 类场景,每类 100 张,每张图片的像素大小为
    256×256。
  2. RSCNN7数据集,一共包含 2 800 幅遥感图像,分别来自 7 个不同的场景类别,每个类别包含 400 张图像。
  3. NWPU-RESISC45数据集,来自西北工业大学,一共含有 31500 张图片,分为 45 个场景类别, 每类有 700 张, 每张图像的大小为
    256×256。
  4. Kaggle开源数据集,是一个开源数据集, 该数据集中 Draper 卫星图像包含了 1 000 多张在南加州拍摄的高分辨率航空照片。
  5. Sentinel-2数据集,它是 Sentinel 系列里 的其中一个系列,数据免费,主要有效载荷是多光 谱成像仪,共有 13 个波段,光谱范围在 0. 4 ~ 2. 4 μm 之间,涵盖了可见光、近红外和短波红外, 并且该数据集作为 Landsat 系统在对地观测领域的补充,目前应用越来越多。
结果分析

对于单幅遥感 图像超分辨率重建方法的结果表明,使用基于 GAN 的结构,并在通用图像上进行预训练,PSNR 提升的更高,可以取得目前最好的重建效果。 对 于多 /高光谱遥感图像超分重建方法,PSNR 提升 明显较低,这主要是由于多 /高光谱遥感图像的特 殊性造成的,这一结果表明,同时利用空间和光谱信息,可以获得更好的性能。

讨论
  1. 从模型类型来看,基于 CNN 的方法仍然 是目前基于深度学习的遥感图像超分重建中的主 流方法,但也有少部分学者将其他的深度模型应用于遥感图像的超分重建中。
  2. 从单幅遥感图像重建方法及其效果来 看,基于 GAN 的方法可以取得目前最好的重建效果,这与在自然图像上的方法结果是一致的。
  3. 对于多幅遥感图像超分辨率重建而言, 需要考虑图像配准和融合等额外挑战,所以重建 模型会比较大,并且目前基于深度学习的多幅遥 感图像超分辨率重建方法较少,主要都是针对单幅遥感图像重建的方法。
  4. 对于多 /高光谱遥感图像超分辨率重建 的情况,性能最好的方法是同时注意提高空间分辨率和光谱分辨率,而不是像早期的方法那样只是独立地考虑光谱通道。
  5. 大部分的基于深度学习的遥感图像超分 辨率重建网络使用的是 L1 和 L2 损失函数,这两 个损失函数都是基于像素差异的。对于多/高光谱遥感图像进行光谱分辨率重建时,需要设计合适的光谱信息损失函数,这样才能生成高质量的多/高光谱遥感图像。

展望

  1. 研究针对遥感图像特点的神经网络结构。遥感图像具 有尺度多样性、视角特殊性、多方向和背景复杂度
    高等特点。
  2. 研究无监督学习的遥感图像超分辨率重建方法。遥感图像在同一场景下的不同分辨率的 图像很难获取,所以缺乏训练样本,而且目前主要 的研究是有监督的遥感图像超分辨率重建方法, 但是有监督学习的超分方法训练出来的模型不能 很好地应对一些实际场景的超分任务,所以无监 督的遥感图像超分重建模型具有重要的研究价值。
  3. 研究多源遥感图像的超分重建方法。融合同一场景不同传感器的图像信息(包括空间信息、时间信息、光谱信息和位置信息等),目前基 于深度学习的遥感图像超分重建方法中,大多只是根据一种信息来进行重建,模型学习到的信息 较少,重建效果有限,所以研究多源遥感图像信息 的融合问题,充分挖掘这些互补信息,以提高遥感 图像重建效果,这也将是未来一个十分重要的研究方向。

参考文献:[1]成科扬,荣兰,蒋森林,詹永照.基于深度学习的遥感图像超分辨率重建技术综述[J/OL].郑州大学学报(工学版):1-9[2022-06-21].DOI:10.13705/j.issn.1671-6833.2022.05.013.文章来源地址https://www.toymoban.com/news/detail-439968.html

到了这里,关于遥感图像超分辨重建综述的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 论文阅读-2:基于深度学习的大尺度遥感图像建筑物分割研究

    一、该网络中采用了上下文信息捕获模块。通过扩大感受野,在保留细节信息的同时,在中心部分进行多尺度特征的融合,缓解了传统算法中细节信息丢失的问题;通过自适应地融合局部语义特征,该网络在空间特征和通道特征之间建立长距离的依赖关系; 二、分割网络:边

    2024年02月16日
    浏览(44)
  • 深度学习目标检测项目实战(六)-基于Faster rcnn pytorch的遥感图像检测

    代码:https://github.com/jwyang/faster-rcnn.pytorch/tree/pytorch-1.0 使用RSOD遥感数据集,VOC的数据格式如下: RSOD是一个开放的目标检测数据集,用于遥感图像中的目标检测。数据集包含飞机,油箱,运动场和立交桥,以PASCAL VOC数据集的格式进行标注。 数据集包括4个文件夹,每个文件夹

    2024年02月06日
    浏览(66)
  • 遥感图像应用:在低分辨率图像上实现洪水损害检测(迁移学习)

    对于卷积神经网络(CNN)等模型,通常包括一些卷积层和池化层,这些层的权重用于提取图像的特征。当这些层的参数被冻结时,这些权重将保持不变,不会在训练过程中进行更新。这意味着模型会继续使用预训练模型的 特征提取能力 。 如果模型还包含其他的预训练层,例

    2024年02月09日
    浏览(42)
  • 遥感图像目标检测研究综述

    尺度多样性:航空遥感图像可从几百米到近万米的高度进行拍摄,且地面目标即使是同类目标也大小不一,如港口的轮船大的有300多米,小的却只有数十米。 视角特殊性:航空遥感图像的视角基本都是高空俯视,但常规数据集大部分还是地面水平视角,所以同一目标的模式是

    2024年02月04日
    浏览(59)
  • 图像超分辨率重建概述

    1. 概念:         图像分辨率是一组用于评估图像中蕴含细节信息丰富程度的性能参数,包括时间分辨率、空间分辨率及色阶分辨率等,体现了成像系统实际所能反映物体细节信息的能力。相较于低分辨率图像,高分辨率图像通常包含更大的像素密度、更丰富的纹理细节及更

    2024年02月04日
    浏览(49)
  • 医学图像融合的深度学习方法综述

    基于深度学习的图像融合方法是近年来计算机视觉领域的研究热点。 本文从五个方面对这些方法进行了综述: 首先,阐述了基于深度学习的图像融合方法的原理和优点; 其次,从端到端和非端到端两方面对图像融合方法进行了总结,根据深度学习在特征处理阶段的不同任务,

    2024年02月10日
    浏览(51)
  • 【毕业设计】深度学习卫星遥感图像检测与识别系统(目标检测)

    🔥 Hi,大家好,这里是丹成学长的毕设系列文章! 🔥 对毕设有任何疑问都可以问学长哦! 这两年开始,各个学校对毕设的要求越来越高,难度也越来越大… 毕业设计耗费时间,耗费精力,甚至有些题目即使是专业的老师或者硕士生也需要很长时间,所以一旦发现问题,一定

    2024年02月08日
    浏览(65)
  • 图像超分辨率重建(pytorch)

             本文代码主体来自CVPR2020论文《Closed-loop matters: Dual regression networks for single image super-resolution》,但原作者并未提供论文亮点--如何使用unpair数据进行训练的代码,所以我在其基础上补齐了该过程的代码。         代码仓库:https://github.com/VitaminyW/Super_Solution      

    2024年01月16日
    浏览(43)
  • 使用深度学习的微光图像和视频增强:综述

    1INTRODUCTION 微光图像增强(LLIE)旨在提高在光照较差的环境中捕获的图像的感知或可解释性。该领域的最新进展主要是基于深度学习的解决方案,其中采用了许多学习策略、网络结构、损失函数、训练数据等。在本文中,我们提供了一个全面的调查,涵盖了从算法分类到未解

    2024年02月03日
    浏览(39)
  • 竞赛 深度学习卫星遥感图像检测与识别 -opencv python 目标检测

    🔥 优质竞赛项目系列,今天要分享的是 🚩 **深度学习卫星遥感图像检测与识别 ** 该项目较为新颖,适合作为竞赛课题方向,学长非常推荐! 🥇学长这里给一个题目综合评分(每项满分5分) 难度系数:3分 工作量:3分 创新点:5分 🧿 更多资料, 项目分享: https://gitee.com/da

    2024年02月06日
    浏览(93)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包