红外与可见光图像融合入门教学

这篇具有很好参考价值的文章主要介绍了红外与可见光图像融合入门教学。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

博主目前马上进入研二阶段,也算是入门了红外与可见光图像领域,正好总结下,以供刚接触该领域的萌新们参考。

该篇博客是对博主了解到的红外与可见光图像融合领域论文的一个总的介绍,论文的具体的解读欢迎大家来到红外与可见光图像融合专栏,关于该领域的问题也欢迎大家私信或则公众号联系我。另外,欢迎大家加入图像融合的QQ交流群,咱们可以一起交流交流。
QQ群:709555152

如有侵权请联系博主

什么是红外与可见光图像融合

对于我们刚入门的小伙伴,你可能会有一个疑惑,为什么要进行红外与可见光融合?

难道就是给你一张红外,一张可见光,直接无脑融合吗?

显然不是的,这里我们来看下示例图像
红外与可见光图像融合入门教学,图像融合,图像处理,深度学习,计算机视觉,红外与可见光图像融合
首先我们可以看到的是,红外图像中有一个明显的目标信息,何为目标信息?
红外与可见光图像融合入门教学,图像融合,图像处理,深度学习,计算机视觉,红外与可见光图像融合

这张图中就是人的信息。我们看到的是一个浑身发光的人在奔跑,但是他奔跑的场景是什么? 我们在红外图像中是看不到背景信息的纹理信息的。那么什么是纹理信息? 接下来我们来看一看。

看向可见光图像,在这张图像中你看不到奔跑的人,你甚至回觉得,这和红外图像拍摄的时间绝对不一样,而这正是红外与可见光融合的意义

看向下图,你发现什么?是不是发现可将光图像中较为清晰的看到叶子的信息,相比于红外图像来说是不是更加清晰,这些内容就被我们称为纹理信息
红外与可见光图像融合入门教学,图像融合,图像处理,深度学习,计算机视觉,红外与可见光图像融合

了解了这些内容之后,我们就可以说一说红外与可将光图像融合到底是融什么了?

通俗来讲,就是将上文中所描述的目标信息和纹理信息集成在一张图像中,即融合图像。我们希望融合图像应当是有保留红外图像的目标强度信息,同时也会保留可见光图像的纹理信息,如下图。
红外与可见光图像融合入门教学,图像融合,图像处理,深度学习,计算机视觉,红外与可见光图像融合

到了这里,你就对图像融合有一个初步的理解了,这里为了方便大家理解,粗字体描述的内容其实是最开始做红外与可见光图像融合时大家的对其的认知,在你研究了多篇论文之后,你就会发现,红外图像中的纹理信息也是不可或缺的一部分,同时可见光图像也存在一些极其亮的东西,也是我们想要保留的。

接下来一起看看有什么论文吧。

论文

以下论文顺序是我认为还可以的读论文顺序,以供大家参考,每一篇论文的介绍最开始有原文链接和博主自己的论文解读。
红外与可见光图像融合入门教学,图像融合,图像处理,深度学习,计算机视觉,红外与可见光图像融合

DeepFuse

DeepFuse论文链接
DeepFuse论文解读
我还是倾向于将这篇论文放在第一篇,很经典的一篇文章,可以从这篇开始读。

红外与可见光图像融合入门教学,图像融合,图像处理,深度学习,计算机视觉,红外与可见光图像融合

DenseFuse

DenseFuse论文链接
DenseFuse论文解读
在读完DeepFuse之后就可以开始看DenseFuse了,DenseFuse的网络结构与DeepFuse的很类似,创新的是,DenseFuse将DenseNet整合进了Encoder(解码器)中,这就大大减少了编码过程中的信息损失。

下图这样的网络结构为自动编码器,所谓自动编码器就是有一个编码器(Encoder)一个解码器(Decodeer)和一个中间层(Fusion Layer)。这种网络结构的好处就是可以单独的训练编码器和解码器,在二者训练完成之后,可以再去选择合适的中间层。

分开训练的意义是什么呢?

前期我们所用的数据集的大小是很小的,这就导致了容易过拟合现象的出现。那我们怎么才能提高网络的泛化能力呢?这时候就可以使用哪些数据量很大的数据集先进行编码器和解码器的训练,使其拥有极强的特征提取能力和图像还原能力,然后最后再并入我们的中间层,融合性能就会有很大的提升。
红外与可见光图像融合入门教学,图像融合,图像处理,深度学习,计算机视觉,红外与可见光图像融合

RFN-Nest

RFN-Nest论文链接
RFN-Nest论文解读
此时你可能觉得跳度有点大,因为这篇论文的时间和前两篇相差时间较大,但是你是绝对可以看懂的。如果有问题可以先看看NestFuse,但是博主是直接看的这个,还是可以的。

看下网络结构,你会发现和前面的好像没啥关系,但其实该网络结构依然是自动编码器结构,不同的是编码器和融合层采用多尺度的网络结构,而融合层不再是手动设计的,而是采用神经网络。详细的内容可以参考原文和解读。
红外与可见光图像融合入门教学,图像融合,图像处理,深度学习,计算机视觉,红外与可见光图像融合

FusionGAN

FusionGAN论文链接
FusionGAN论文解读
看了这么多篇基于自动编码器的论文,是不是有点累了,那来换一换,来看一种新的思路。到这了就必须得说一说了,马佳义大佬首次将GAN引入到红外与可将光图像融合的开山之作。只能说无敌。
红外与可见光图像融合入门教学,图像融合,图像处理,深度学习,计算机视觉,红外与可见光图像融合

DDcGAN

DDcGAN论文链接
DDcGAN论文解读

FusionGAN的单鉴别器会导致融合图像中红外与可见光图像的信息的不均衡,因此大佬们又开发一种双鉴别器。旨在促使融合图像中信息更加均衡。
红外与可见光图像融合入门教学,图像融合,图像处理,深度学习,计算机视觉,红外与可见光图像融合

AttentionFGAN

AttentionFGAN论文链接
AttentionFGAN论文解读

延续了双辨别器的一片论文,引入了注意力机制,通过我们希望注意的区域的特征的对比来判断融合图像中是否包含了可视的纹理信息和红外图像中的目标信息。
红外与可见光图像融合入门教学,图像融合,图像处理,深度学习,计算机视觉,红外与可见光图像融合

GANMcC

GANMcC论文链接
GANMcC论文解读
双鉴别器需要设置一个合理的循环训练策略,一旦策略设置的有问题,也会导致信息的不均衡,而如何设置合理的策略是极其有挑战性的。因此大佬们又开发了多分类鉴别器,基于单鉴别器实现信息的均衡。
红外与可见光图像融合入门教学,图像融合,图像处理,深度学习,计算机视觉,红外与可见光图像融合

数据集

TNO数据集

https://figshare.com/articles/dataset/TNO_Image_Fusion_Dataset/1008029
下载这个ARCHIVE
红外与可见光图像融合入门教学,图像融合,图像处理,深度学习,计算机视觉,红外与可见光图像融合

RoadScene数据集

https://github.com/hanna-xu/RoadScene

MSRS数据集

https://github.com/Linfeng-Tang/MSRS

M3FD数据集

https://github.com/dlut-dimt/TarDAL
下面这两个链接都可以。
红外与可见光图像融合入门教学,图像融合,图像处理,深度学习,计算机视觉,红外与可见光图像融合

总结

时间有限,先介绍这几篇,更多论文解读欢迎关注图像融合专栏。
》》图像融合专栏《《

有图像融合领域的问题欢迎大家私信我,或则公众号联系也可。

更新
在评论区看到要加微信的兄弟们,不如建个群咱们一起交流交流比较好,建了个qq群,有兴趣的可以加一下,目前还没人
QQ群:709555152

红外与可见光图像融合入门教学,图像融合,图像处理,深度学习,计算机视觉,红外与可见光图像融合文章来源地址https://www.toymoban.com/news/detail-675132.html

到了这里,关于红外与可见光图像融合入门教学的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 【红外与可见光图像融合】离散平稳小波变换域中基于离散余弦变换和局部空间频率的红外与视觉图像融合方法(Matlab代码实现)

     💥💥💞💞 欢迎来到本博客 ❤️❤️💥💥 🏆博主优势: 🌞🌞🌞 博客内容尽量做到思维缜密,逻辑清晰,为了方便读者。 ⛳️ 座右铭: 行百里者,半于九十。 📋📋📋 本文目录如下: 🎁🎁🎁 目录 💥1 概述 📚2 运行结果 🎉3 参考文献 🌈4 Matlab代码及文献 基于

    2024年02月07日
    浏览(44)
  • 图像融合论文阅读:CS2Fusion: 通过估计特征补偿图谱实现自监督红外和可见光图像融合的对比学习

    @article{wang2024cs2fusion, title={CS2Fusion: Contrastive learning for Self-Supervised infrared and visible image fusion by estimating feature compensation map}, author={Wang, Xue and Guan, Zheng and Qian, Wenhua and Cao, Jinde and Liang, Shu and Yan, Jin}, journal={Information Fusion}, volume={102}, pages={102039}, year={2024}, publisher={Elsevier} } 论文级

    2024年01月22日
    浏览(52)
  • 红外图像和可见光图像异源图像配准问题研究

    提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 图像配准方法有很多,可分为基于灰度的图像配准方法和基于特征的图像配准方法,其中基于特征的图像配准方法是目前图像配准算法中常用方法,如尺度不变特征变换(Scale Invariant Feature Transform, SIF

    2023年04月11日
    浏览(37)
  • 多模态(红外,可见光)目标检测

    【github】https://github.com/DocF/multispectral-object-detection 基本依赖和yolov5基本相同,当然也可以配置在虚拟环境中 1.2.1 找不到sppf 【参考文章】找不到SPPF错误 在models/common.py下找到ssp,将下面这段添加到ssp之前 1.2.2 【参考】报错解决方法 将下面这段替换utils/loss.py中build_targets函数

    2024年02月02日
    浏览(40)
  • 基于LED或红外激光的可见光音频系统

      1 前言         可见光通信技术 , 简称为 VLC ,这种技术手段在无线通信领域中最新成型,便能得以快速发展壮大。在接下来的一段时间之内,无论是在哪个领域,该项技术肯定会有很大的发展,跟现有的无线通信技术形成强有力的竞争,对人类文明的进步产生巨大的影响

    2024年02月11日
    浏览(40)
  • 热红外相机图片与可见光图片配准教程

    图像配准是一种图像处理技术,用于将多个场景对齐到单个集成图像中。在这篇文章中,我将讨论如何在可见光及其相应的热图像上应用图像配准。在继续该过程之前,让我们看看什么是热图像及其属性。 热图像本质上通常是灰度图像:黑色物体是冷的,白色物体是热的,灰

    2024年02月07日
    浏览(36)
  • ADAS-可见光相机之Cmos Image Sensor

    “ 可见光相机在日常生活、工业生产、智能制造等应用有着重要的作用。在ADAS中更是扮演着重要的角色,如tesla model系列全车身10多个相机,不断感知周围世界。本文着重讲解下可见光相机中的CIS(CMOS Image Sensor)。” 光是一种电磁波,自然界的光是由各种波长的电磁波组成,

    2024年02月09日
    浏览(39)
  • 【图像融合】Dif-Fusion:基于扩散模型的红外/可见图像融合方法

    颜色在人类的视觉感知中起着重要的作用,反映了物体的光谱。然而, 现有的红外和可见光图像融合方法很少探索如何直接处理多光谱/通道数据,并实现较高的彩色保真度 。本文提出了一种 利用扩散模型diffusion来生成多通道输入数据的分布 ,提高了多源信息聚合的能力和

    2024年02月09日
    浏览(79)
  • Python读取红外图像 - 实现红外图像的读取和处理

    Python读取红外图像 - 实现红外图像的读取和处理 在许多工业、安防等领域中,红外图像无疑是一种不可或缺的重要资源。因此,能够快速、准确地读取和处理红外图像,对于工程师和科学家来说非常必要。 Python作为一种强大的编程语言,提供了丰富的图像处理库,允许我们

    2024年02月11日
    浏览(37)
  • opencv(三)边界填充、图像融合、图像阈值处理

    提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 边界填充就是将图片按一定的方法将图片的四周向外填充并将图片放大 因为opencv中的颜色通道不是RGB而是BGR,所以我们要用到之前讲到的分割将颜色通道重新整合成RGB后再用matplotlib库将其画出 BORDER_R

    2024年02月21日
    浏览(54)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包