图像融合论文阅读：IFCNN: A general image fusion framework based on convolutional neural network-Toy模板网

这篇具有很好参考价值的文章主要介绍了图像融合论文阅读：IFCNN: A general image fusion framework based on convolutional neural network。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

@article{zhang2020ifcnn,
title={IFCNN: A general image fusion framework based on convolutional neural network},
author={Zhang, Yu and Liu, Yu and Sun, Peng and Yan, Han and Zhao, Xiaolin and Zhang, Li},
journal={Information Fusion},
volume={54},
pages={99–118},
year={2020},
publisher={Elsevier}
}

论文级别：SCI A1
影响因子：18.6
📖

📖论文解读

该论文是【基于CNN】的图像融合方法。网络模型是【端到端】，适用于【多类型图像融合任务】，从【多聚焦图像融合】展开。
此外，作者还发布了新的数据集。

🔑关键词

General image fusion framework 通用图像融合框架
Convolutional neural network 卷积神经网络
Large-scale multi-focus image dataset 大规模多聚焦图像数据集
Better generalization ability 更好的泛化性能

💭核心思想

IFCNN是一个【全卷积】的【端到端】【通用】图像融合模型，模型包括：特征提取、特征融合、特征重构三部分。

输入（【多组】【3通道】图像）
- RGB->YCbCr，叠加Y通道3次作为输入
- 单通道图像，直接叠加3次变成3通道
特征提取
使用在ImageNet上预训练的ResNet101的第一个卷积层作为特征提取的第一个卷积层，但是因为该卷积层是用于分类任务的，因此添加了第二个卷积层以适应图像融合任务。
特征融合
并没有采用concat后再卷积融合的操作，而是使用元素融合规则（元素【最大】、【最小】、【平均】）。前者要求特征输入模块参数个数随输入改变，而元素融合规则不需要，可以融合任意数量的输入图像。本文使用：
- 可见光-红外、多聚焦、多模态医学：【元素最大】
- 多曝光：【元素平均】
特征重构
因为特征提取结构简单，特征抽象级别不高，所以重构也简单的使用了两层卷积
输出
引入了【感知损失】对模型进行正则化，

参考链接
[什么是图像融合？（一看就通，通俗易懂）]

🪢网络结构

作者提出的网络结构如下图所示。结构很清晰明了。
图像融合论文阅读：IFCNN: A general image fusion framework based on convolutional neural network,图像融合,论文阅读,深度学习,图像处理,人工智能
CONV1包含64个7×7的卷积核，步长为1，padding为3。（不需要再训练，直接使用固化的参数）
CONV2包含64个3×3的卷积核，步长为1，padding为1。
在FUSE中，采用了相应任务的元素融合规则，公式如下：
图像融合论文阅读：IFCNN: A general image fusion framework based on convolutional neural network,图像融合,论文阅读,深度学习,图像处理,人工智能
$f^j_{i,c_2}$ 代表了CONV2中，从第i张图像提取的第j个特征图。 $\hat {f^j}$ 代表了融合特征图的第j个通道。 $f u se$ 表示元素融合规则。
因为下采样会丢失信息，因此该网络没有进行任何下采样。整个网络中特征图和输入图像尺寸均一致。
CONV3包含64个3×3的卷积核，步长为1，padding为1。
CONV3包含3个1×1的卷积核，目的是为了将64通道的特征图压缩至3通道。
在输入的地方，RGB2YCbCr的公式为：
图像融合论文阅读：IFCNN: A general image fusion framework based on convolutional neural network,图像融合,论文阅读,深度学习,图像处理,人工智能

📉损失函数

感知损失由ResNet101最后一个卷积层提取的预测融合图像特征图与标签融合图像的均方误差构成：
图像融合论文阅读：IFCNN: A general image fusion framework based on convolutional neural network,图像融合,论文阅读,深度学习,图像处理,人工智能
$f_p$ 和 $f_g$ 分别代表预测融合图像的特征图以及融合图像ground truth的特征图，i为特征图的通道索引， $C_f$ 、 $H_f$ 、 $W_f$ 分别代表特征图的通道数、高、宽。

图像融合论文阅读：IFCNN: A general image fusion framework based on convolutional neural network,图像融合,论文阅读,深度学习,图像处理,人工智能
$I_p$ 和 $I_g$ 分别代表预测融合图像以及融合图像的ground truth，i为RGB图像通道索引。 $H_g$ 、 $W_g$ 分别为融合图像ground truth的高和宽。
总损失如下：
图像融合论文阅读：IFCNN: A general image fusion framework based on convolutional neural network,图像融合,论文阅读,深度学习,图像处理,人工智能
$\omega_1$ 和 $\omega_2$ 为权重系数，本文设置均为1.

🔢数据集

图像融合数据集链接
[图像融合常用数据集整理]

🎢训练设置

在多聚焦图像数据集上，只用 $B_loss$ 预训练5000次，batchsize64
冻结BN层参数，采用 $T_loss$ 进行60000个epoch精细训练，batchsize32（此步骤计算量较大，所以降低）

🔬实验

📏评价指标

VIFF
ISSIM
NMI
SF
AG

参考资料
[图像融合定量指标分析]

🥅Baseline

GFF,LPSR,MFCNN,MECNN

参考资料
[图像融合论文baseline及其网络模型]

🔬实验结果

图像融合论文阅读：IFCNN: A general image fusion framework based on convolutional neural network,图像融合,论文阅读,深度学习,图像处理,人工智能

更多实验结果及分析可以查看原文：
📖[论文下载地址]
💽[代码下载地址]

🚀传送门

📑图像融合相关论文阅读笔记

📑[(PMGI) Rethinking the image fusion: A fast unified image fusion network based on proportional maintenance of gradient and intensity]
📑[SDNet: A Versatile Squeeze-and-Decomposition Network for Real-Time Image Fusion]
📑[DDcGAN: A Dual-Discriminator Conditional Generative Adversarial Network for Multi-Resolution Image Fusion]
📑[FusionGAN: A generative adversarial network for infrared and visible image fusion]
📑[PIAFusion: A progressive infrared and visible image fusion network based on illumination aw]
📑[Visible and Infrared Image Fusion Using Deep Learning]
📑[CDDFuse: Correlation-Driven Dual-Branch Feature Decomposition for Multi-Modality Image Fusion]
📑[U2Fusion: A Unified Unsupervised Image Fusion Network]

📚图像融合论文baseline总结

📚[图像融合论文baseline及其网络模型]

📑其他论文

[3D目标检测综述：Multi-Modal 3D Object Detection in Autonomous Driving：A Survey]

🎈其他总结

🎈[CVPR2023、ICCV2023论文题目汇总及词频统计]

✨精品文章总结

✨[图像融合论文及代码整理最全大合集]
✨[图像融合常用数据集整理]

如有疑问可联系：420269520@qq.com;
码字不易，【关注，收藏，点赞】一键三连是我持续更新的动力，祝各位早发paper，顺利毕业~文章来源地址https://www.toymoban.com/news/detail-772600.html

到了这里，关于图像融合论文阅读：IFCNN: A general image fusion framework based on convolutional neural network的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！