图像去雨、去雪、去雾论文学习记录

这篇具有很好参考价值的文章主要介绍了图像去雨、去雪、去雾论文学习记录。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

All_in_One_Bad_Weather_Removal_Using_Architectural_Search

这篇论文发表于CVPR2020,提出一种可以应对多种恶劣天气的去噪模型,可以同时进行去雨、去雪、去雾操作。但该部分代码似乎没有开源。
提出的问题:
当下的模型只能针对一种恶劣天气进行处理,无法适用于多种复杂恶劣天气
目前的去噪数据集都是人为制作的,与真实数据具有差异。
图像去雨、去雪、去雾论文学习记录,学习

创新点1:多合一去噪模型

该方法整体结构如下图所示,其基于对抗神经网络模型进行设计,包含一个生成器(Generator)与一个判别器(Discriminator)。于以往只能处理一种恶劣天气噪声不同,本文提出一种多合一去噪模型,可以同时完成去雨、去雪、去雾操作。

图像去雨、去雪、去雾论文学习记录,学习
在生成器中,主要包含三个特征提取模块(雨雪雾 FE,Feature Exactor),一个特征选择模块(Feature Search)以及一个解码器模块(Decoder),判别器则进行判断生成的图像是否为真,并将结果返回到生成器,计算损失,并通过反向传播更新生成器中的参数。

生成器含有多个任务的编码器,每个编码器与特定的恶劣天气类型相关,通过神经架构搜索来优化从各个编码器中提取的图像特征,并将这些特征转换为干净的图像。即思路为:将含有雨雪雾的图像输入生成器,通过生成器中的编码器(FE)进行特征提取,将提取的特征通过神经架构搜索进行优化,选取好的特征信息,将提取的特征信息送入解码器生成干净图像,即完成去噪过程。

生成器模块

多个编码器,用于提取不同恶劣天气图像的干净特征,从而进行恢复,生成干净图像。
图像去雨、去雪、去雾论文学习记录,学习

创新点2:Feature Search模块

神经架构查询实际是找到干净的特征,将干净的特征转换为干净的图像。

图像去雨、去雪、去雾论文学习记录,学习

图像去雨、去雪、去雾论文学习记录,学习
可以看到,FeatureSearch模块中除了常规的卷积操作外,还有残差连接,自注意力机制等。
常规的去雾、去霾模型定义如下:
图像去雨、去雪、去雾论文学习记录,学习

也可以表示如下:通过1x1卷积来提取学习M,从而估计M,实现的操作如4.1所示。

图像去雨、去雪、去雾论文学习记录,学习

创新点3:多类辅助判别器

基于生成对抗网络(GNN)的判别器通过训练来判断恢复图像效果(即判断生成的图像真实性),但其不提供错误信号,对于多合一模型而言,只知道真假是远远不够的,需要直到生成的图像类型,从而使编码器根据不同类型更新参数,因此提出多类辅助判别器,用于对图像进行分类,从而在反向传播判别损失时,只更新对应判别器的参数。

图像去雨、去雪、去雾论文学习记录,学习

具体思路

雾霾图像建模

图像去雨、去雪、去雾论文学习记录,学习

其中,I(x)为有雾图像,更具体的,I(x)是在位置x的雨图像,J(x)为观察目标反射光,即去雾后的图像,A为大气光系数,t(x)为大气透射率,t(x)= e^-βd(x),其中,d(x) 为场景深度图,β 为大气光散射系数。由公式(1)式可以清晰知道,只要求得 t(x) 和 A ,便可以从有雾图像 I(x) 恢复无雾图像 J(x) 。

而含雨图像与含雾图像的物理模型极为相似,故可以定义为:

图像去雨、去雪、去雾论文学习记录,学习
其中,Ri代表第 i 层的雨线。

雨水图像建模

图像去雨、去雪、去雾论文学习记录,学习
其中I(x)是彩色雨滴图像,M(x)是二值图像掩膜。J(x)是背景图像,即干净图像,K是图像所带来的附着的雨滴,代表着模糊的影像形成光线反射的环境。

雪花图像建模

图像去雨、去雪、去雾论文学习记录,学习
其中S表示雪花,z是二元掩模,表示雪的位置。

根据上面的物理模型公式可知,不同恶劣天气噪声图像定义是不同的,这也是为何原本的模型都是一个模型处理一种恶劣天气噪声的原因,但根据公式我们也可以看到其内在联系,可以将恶劣天气噪声图像模型定义如下:
图像去雨、去雪、去雾论文学习记录,学习文章来源地址https://www.toymoban.com/news/detail-650940.html

到了这里,关于图像去雨、去雪、去雾论文学习记录的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 【电网异物检测硕士论文摘抄记录】电力巡检图像中基于深度学习的异物检测方法研究

    根据国家电力行业发展报告统计,截止到 2018 年,全国电网 35 千伏及以上的输电线路回路长度达到 189 万千米,220 千伏及以上输电线路回路长度达73 万千米。截止到 2015年,根据国家电网公司的统计 330 千伏及以上输电线路故障跳闸总数中外力破坏作为主要原因的事故占到了

    2024年02月15日
    浏览(57)
  • YOLOv8改进 | 图像去雾 | 利用图像去雾网络UnfogNet辅助YOLOv8进行图像去雾检测(全网独家首发)

    本文给大家带来的改进机制是利用 UnfogNet超轻量化图像去雾网络 ,我将该网络结合YOLOv8针对图像进行去雾检测(也适用于一些模糊场景),我将该网络结构和YOLOv8的网络进行结合同时该网络的结构的参数量非常的小,我们将其添加到模型里增加的计算量和参数量基本可以忽略

    2024年04月09日
    浏览(48)
  • 图像去雨-雨线清除-图像处理-(计算机作业附代码)

    多年来,图像去雨已经被广泛研究,使用传统方法和基于学习的方法。然而,传统方法如高斯混合模型和字典学习方法耗时,并且无法很好地处理受到严重雨滴影响的图像块。 通过考虑雨滴条状特性和角度分布,这个问题可以得到很好的解决。在本文中,通过引入任意方向的

    2024年02月12日
    浏览(50)
  • 图像去雾算法--暗通道先验去雾算法

    图像去雾: 在雾天拍摄的图像容易受雾或霾的影响,导致图片细节模糊、对比度低以至于丢失图像重要信息,为解决此类问题图像去雾算法应运而生。图像去雾算法是以满足特定场景需求、突出图片细节并增强图片质量为目的的一种图像分析与处理方法。               图

    2024年02月05日
    浏览(43)
  • 一体化模型图像去雨+图像去噪+图像去模糊(图像处理-图像复原-代码+部署运行教程)

    本文主要讲述了一体化模型进行去噪、去雨、去模糊,也就是说,一个模型就可以完成上述三个任务。实现了良好的图像复原功能! 先来看一下美女复原.jpg 具体的 : 在图像恢复任务中,需要在恢复图像的过程中保持空间细节和高级上下文信息之间的复杂平衡。 在这篇论文

    2024年02月07日
    浏览(52)
  • 图像去雾算法评价指标

    评价一个去雾算法的好坏,常常使用主观评价法和客观评价法。 主观评价即通过肉眼观察经过去雾处理的图像,从图像的纹理特征、对比度、饱和度及细节信息等多方面进行感官感受和评价。主观评价主要是通过人眼视觉系统的主观感受在确定好的评价基础上做出相应的判断

    2024年02月06日
    浏览(41)
  • [Python从零到壹] 七十三.图像识别及经典案例篇之图像去雾ACE算法和暗通道先验去雾算法实现

    十月太忙,还是写一篇吧!祝大家1024节日快乐O(∩_∩)O 欢迎大家来到“Python从零到壹”,在这里我将分享约200篇Python系列文章,带大家一起去学习和玩耍,看看Python这个有趣的世界。所有文章都将结合案例、代码和作者的经验讲解,真心想把自己近十年的编程经验分享给大家

    2024年01月17日
    浏览(49)
  • CVPR 2023 | 去雨去噪去模糊,图像low-level任务,视觉AIGC系列

    基于Transformer的方法在图像去雨任务中取得了显著的性能,因为它们可以对重要的非局部信息进行建模,这对高质量的图像重建至关重要。本文发现大多数现有的Transformer通常使用查询-键对中的所有token的相似性进行特征聚合。然而,如果查询中的token与键中的token不同,从这

    2024年02月12日
    浏览(44)
  • 目标检测算法——图像去雾开源数据集汇总(速速收藏)

    下载地址:http://m6z.cn/5IBauH RESIDE数据集包括合成和真实世界的模糊图像,称为REalistic Single Image Dehazing,RESIDE突出显示了各种数据源和图像内容,并分为五个子集,每个子集用于不同的训练或评估目的。提供了各种各样的去雾算法评估标准,从完整参考度量,无参考度量,到主

    2024年02月06日
    浏览(45)
  • 毕业设计-基于 MATLAB 的图像去雾技术研究

    目录 前言 课题背景和意义 实现技术思路 一、常用图像去雾算法  二、基于 MATLAB 的图像去雾系统  三、图像质量评价 部分源代码 实现效果图样例 最后     📅大四是整个大学期间最忙碌的时光,一边要忙着备考或实习为毕业后面临的就业升学做准备,一边要为毕业设计耗费大

    2024年02月01日
    浏览(76)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包