Low-Light Image Enhancement via Stage-Transformer-Guided Network 论文阅读笔记

这篇具有很好参考价值的文章主要介绍了Low-Light Image Enhancement via Stage-Transformer-Guided Network 论文阅读笔记。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

Low-Light Image Enhancement via Stage-Transformer-Guided Network 论文阅读笔记,论文阅读笔记,transformer,论文阅读,笔记

  • 这是TCSVT 2023年的一篇暗图增强的论文

  • 文章的核心思想是,暗图有多种降质因素,单一stage的model难以实现多降质因素的去除,因此需要一个multi-stage的model,文章中设置了4个stage。同时提出了用预设query向量来代表不同的降质因素,对原图提取的key 和value进行注意力的方法。

  • 网络结构如下图所示:
    Low-Light Image Enhancement via Stage-Transformer-Guided Network 论文阅读笔记,论文阅读笔记,transformer,论文阅读,笔记

  • 首先是预处理模块,用了孔洞卷积来提取多尺度特征图

  • 接着multi-stage部分是堆叠重复结构组成,每个结构由双支路(两个尺度,下采样至1/2)残差结构核HVSA模块组成。

  • HVSA模块如下图所示,他把特征图1x1卷积后按通道平均分为horizontal和vertical,horizontal按行切分,每行是一个token,vertical按列切分。然后按行/列进行自注意力计算,再原样拼回去1x1卷积产生HVSA的输出(作为残差特征加回 X i X_i Xi)。但这里的尺度有点奇怪,全文也没有提到这里有下采样的操作,一方面每个stage的双支路是不同分辨率,他是怎么加和到一起的,另一方面不同stage输出的结果的shape来看是一直在下采样的,不知道是不是patch merging操作没有写出来,得看代码。
    Low-Light Image Enhancement via Stage-Transformer-Guided Network 论文阅读笔记,论文阅读笔记,transformer,论文阅读,笔记

  • decoder则用预设的degradation token来作为query进行多头注意力机制,然后卷积并上采样成原图,这里同样也没有写很多细节,比如怎么上采样的以及多头注意力对图片是按pixel来算token还是按patch,按patch又是按多大的patch,统统没有说。

  • 损失函数则是三个损失的加权和,分别是MSE损失,vgg的perceptual损失和计算预测结果和GT的直方图来算直方图之间的L2损失。

  • 在LOL上训练并比较了LOL上面的结果:
    Low-Light Image Enhancement via Stage-Transformer-Guided Network 论文阅读笔记,论文阅读笔记,transformer,论文阅读,笔记

  • 这篇工作很多细节没有呈现,但是用预设的vector作为degradation query的idea还是蛮有意思的,也是第一个个人感觉把transformer和暗图增强这个任务的特殊性有结合的方法,其他的地方感觉有很多改进空间,预设vector作为degradation也有很多改进空间,感觉像是个比较除草的工作。文章来源地址https://www.toymoban.com/news/detail-577175.html

到了这里,关于Low-Light Image Enhancement via Stage-Transformer-Guided Network 论文阅读笔记的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Progressive Dual-Branch Network for Low-Light Image Enhancement 论文阅读笔记

    这是22年中科院2区期刊的一篇有监督暗图增强的论文 网络结构如下图所示: ARM模块如下图所示: CAB模块如下图所示: LKA模块其实就是放进去了一些大卷积核: AFB模块如下图所示: 这些网络结构没什么特别的,连来连去搞那么复杂没什么意思,最终预测的结果是两个支路的

    2024年02月16日
    浏览(51)
  • 低照度增强--论文阅读【《Toward Fast, Flexible, and Robust Low-Light Image Enhancement》】

    介绍一篇最近看的低照度增强方面的论文——自校准照明,文中所给的方法取得了非常不错的效果,值得我们去学习和思考。 论文名称 :Toward Fast, Flexible, and Robust Low-Light Image Enhancement(实现快速、灵活和稳健的低光照图像增强) 论文信息 :由大连理工大学2022年4月发表在

    2024年02月06日
    浏览(53)
  • 论文阅读——《Retinexformer: One-stage Retinex-based Transformer for Low-light Image Enhancement》

    本文试图从原理和代码简单介绍低照度增强领域中比较新的一篇论文——Retinexformer,其效果不错,刷新了十三大暗光增强效果榜单。 ❗ 论文名称 :Retinexformer: One-stage Retinex-based Transformer for Low-light Image Enhancement 👀 论文信息 :由清华大学联合维尔兹堡大学和苏黎世联邦理工

    2024年01月18日
    浏览(46)
  • C# OpenCvSharp DNN Low Light image Enhancement

    目录 介绍 效果 模型信息 项目 代码 下载 C# OpenCvSharp DNN Low Light image Enhancement github地址:https://github.com/zhenqifu/PairLIE     Model Properties ------------------------- --------------------------------------------------------------- Inputs ------------------------- name:input tensor:Float[1, 3, 512, 512] name:exposure

    2024年02月21日
    浏览(46)
  • Empowering Low-Light Image Enhancer through Customized Learnable Priors 论文阅读笔记

    中科大、西安交大、南开大学发表在ICCV2023的论文,作者里有李重仪老师和中科大的Jie Huang(ECCV2022的FEC CVPR2022的ENC和CVPR2023的ERL的一作)喔,看来可能是和Jie Huang同一个课题组的,而且同样代码是开源的,我很喜欢。 文章利用了MAE的encoder来做一些事情,提出了一个叫customi

    2024年02月02日
    浏览(46)
  • Kindling the Darkness: A Practical Low-light Image Enhancer论文阅读笔记

    这是ACMMM2019的一篇有监督暗图增强的论文,KinD 其网络结构如下图所示: 首先是一个分解网络分解出R和L分量,然后有Restoration-Net和Adjustment-Net分别去对R分量和L分量进一步处理,最终将处理好的R分量和L分量融合回去。这倒是很常规的流程。其中有些novel的细节,一个是分解网

    2024年02月14日
    浏览(44)
  • 论文阅读之《Kindling the Darkness: A Practical Low-light Image Enhancer》

    目录 摘要 介绍 已有方法回顾 普通方法 基于亮度的方法 基于深度学习的方法 基于图像去噪的方法 提出的方法 2.1 Layer Decomposition Net 2.2 Reflectance Restoration Net 2.3 Illumination Adjustment Net 实验结果 总结 Kindling the Darkness: A Practical Low-light Image Enhancer(KinD) ACM MM 2019 Yonghua Zhang, Jiaw

    2024年02月05日
    浏览(59)
  • 论文详读:Beyond Brightening Low-light Images (Kind++)

    文章地址:Beyond Brightening Low-light Images (tju.edu.cn) github:GitHub - zhangyhuaee/KinD_plus: Beyond Brightening Low-light Images 目录 一、简介 二、方法 网络整体结构: 分解网络 网络结构 损失函数: 总损失 反射网络 网络结构 损失函数 反射图的调整 光照网络 网络结构和损失函数 与伽马变化

    2024年02月04日
    浏览(41)
  • 【对比度增强】Learning Tone Curves for Local Image Enhancement(LTMNet)

    LTMNet这篇文章借鉴了CLAHE算法,所有步骤与CLAHE一致,不同之处在于LTMNet中局部映射曲线是通过CNN预测得到,而CLAHE中是通过直方图均衡化而得。关于CLAHE,【数字图像处理】直方图均衡化这篇博客有简单介绍。 论文:Learning Tone Curves for Local Image Enhancement 代码:https://github.co

    2023年04月23日
    浏览(46)
  • Generative Diffusion Prior for Unified Image Restoration and Enhancement 论文阅读笔记

    这是CVPR2023的一篇用diffusion先验做图像修复和图像增强的论文 之前有一篇工作做了diffusion先验(Bahjat Kawar, Michael Elad, Stefano Ermon, and Jiaming Song, “Denoising diffusion restoration models,” arXiv preprint arXiv:2201.11793, 2022. 2, 4, 6, 7),但这个模型只能做线性的退化,对于暗图增强这种非线性

    2024年02月15日
    浏览(49)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包