COMO-ViT论文阅读笔记

这篇具有很好参考价值的文章主要介绍了COMO-ViT论文阅读笔记。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

Low-Light Image Enhancement with Illumination-Aware Gamma Correction and Complete Image Modelling Network

COMO-ViT论文阅读笔记,论文阅读笔记,论文阅读,笔记

  • 这是一篇美团、旷视、深先院、华为诺亚方舟实验室、中国电子科技大学 五个单位合作的ICCV2023的暗图增强论文,不过没有开源代码。

  • 文章的贡献点一个是提出了Global Gamma Correction Module 和 Local Gamma Correction Module相结合的illumination adaptive gamma correction模块,一个是提出了COMO-ViT的网络结构。整体流程如下图所示
    COMO-ViT论文阅读笔记,论文阅读笔记,论文阅读,笔记

  • 流程分为3个stage,首先是对暗图 I I I进行卷积pooling全连接sigmoid,产生进行全局gamma校正的参数实现gamma校正。这里把gamma校正展开成泰勒公式以加速运算
    COMO-ViT论文阅读笔记,论文阅读笔记,论文阅读,笔记
    COMO-ViT论文阅读笔记,论文阅读笔记,论文阅读,笔记

  • 第二个stage则是把gamma校正后的图片和原图一起送进第二阶段的网络提取特征,并且用到了空间注意力机制,然后将两个特征加到一起作为融合后的特征送进第三阶段的网络。

  • 第三阶段则两个分支,一个transformer分支进行non-overlapping window内部的self-attention,一个CNN分支补充transformer分支因为window之间没有交互的缺点,把CNN的特征和transformer的特征加在一起,再送进一个global的transformer做window之间的注意力,输出作为送进下一层的特征。多个这样的操作后,卷积sigmoid得到local gamma 校正的参数,进行local 的gamma校正:

  • 损失函数如下:
    COMO-ViT论文阅读笔记,论文阅读笔记,论文阅读,笔记

  • 最后是在LOLv2-Real上达到了22.2的PSNR(没有和LLFlow比哈哈哈):
    COMO-ViT论文阅读笔记,论文阅读笔记,论文阅读,笔记文章来源地址https://www.toymoban.com/news/detail-707614.html

总结

  • 个人感觉,泰勒展开应该是没有加速效果的,不仅没有开源,也没有给这个的消融实验;同时呢,只给PSNR和SSIM是很少见的,LPIPS LOE FID NIQE都没有给,比PSNR也没有和LLFlow(25.42的PSNR)比。感觉发ICCV有点。。。

到了这里,关于COMO-ViT论文阅读笔记的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 论文笔记:InternImage—基于可变形卷积的视觉大模型,超越ViT视觉大模型,COCO 新纪录 64.5 mAP!

    Title:InternImage: Exploring Large-Scale Vision Foundation Models with Deformable Convolutions Paper Link:https://arxiv.org/abs/2211.05778 Code Link:https://github.com/OpenGVLab/InternImage 拿到文章之后先看了一眼在ImageNet1k上的结果,确实很高,超越了同等大小下的VAN、RepLKNet、ConvNext等先进的大核注意力CNN模型,

    2024年02月05日
    浏览(27)
  • 论文阅读:Vary论文阅读笔记

    论文:Vary: Scaling up the Vision Vocabulary for Large Vision-Language Models Paper | Github | Demo 许久不精读论文了,内心一直想找个专门的时间来细细品读自己感兴趣的论文。现在想来,无异于是自己骗自己了,因为根本就不存在那个专门的时间。所以改变最好的时候就是现在。 因为自己一

    2024年01月19日
    浏览(35)
  • 论文阅读:Vary-toy论文阅读笔记

    论文:Small Language Model Meets with Reinforced Vision Vocabulary Paper | Github | Demo 说来也巧,之前在写论文阅读:Vary论文阅读笔记文章时,正好看到了Vary-toy刚刚发布。 这次,咱也是站在了时代的前沿,这不赶紧先睹为快。让我看看相比于Vary,Vary-toy做了哪些改进? 从整体结构来看,仍

    2024年01月25日
    浏览(43)
  • [论文阅读笔记18] DiffusionDet论文笔记与代码解读

    扩散模型近期在图像生成领域很火, 没想到很快就被用在了检测上. 打算对这篇论文做一个笔记. 论文地址: 论文 代码: 代码 首先介绍什么是扩散模型. 我们考虑生成任务, 即encoder-decoder形式的模型, encoder提取输入的抽象信息, 并尝试在decoder中恢复出来. 扩散模型就是这一类中的

    2023年04月08日
    浏览(45)
  • 论文阅读:Segment Anything之阅读笔记

    引言 论文:Segment Anything是Meta出的图像语义分割的算法。这个算法因其强大的zero-shot泛化能力让人惊艳,这不抽空拿来学习了一下。 该算法的代码写得很清楚、简洁和规范,读来让人赏心悦目。推荐去看源码,很有意思。 本篇文章,将以问答形式来解读阅读过程中遇到的困

    2024年02月13日
    浏览(25)
  • LIME论文阅读笔记

    这是暗图增强领域一篇经典的传统方法论文,发表在TIP这个顶刊 文章基于的是这样一个公式: L = R ⋅ T L=Rcdot T L = R ⋅ T 其中, L L L 是暗图, R R R 是反射分量, T T T 是illumination map,并且对于彩色图像来说,三通道都共享相同的illumination map。我们可以使用各种方法估计 T

    2024年02月09日
    浏览(33)
  • 论文阅读笔记(一)

    发表年份: 2016 主要贡献: 提出了Multimodal Opinion-level Sentiment Intensity (MOSI) 数据集 提出了多模态情绪分析未来研究的基线 提出了一种新的多模态融合方式 在这些在线意见视频中研究情绪主要面临的挑战和解决方法: 挑战 解决方法 这些视频的不稳定性和快节奏性。演讲者经

    2023年04月09日
    浏览(35)
  • GPT-3 论文阅读笔记

    GPT-3模型出自论文《Language Models are Few-Shot Learners》是OpenAI在2020年5月发布的。 论文摘要翻译 :最近的工作表明,通过对大量文本进行预训练,然后对特定任务进行微调(fine-tuning),在许多NLP任务和基准测试上取得了实质性的进展。虽然这种方法在架构上通常与任务无关,但它

    2024年02月12日
    浏览(27)
  • 论文阅读笔记整理(持续更新)

    FAST 2021 Paper 泛读笔记 针对LSM树同时优化读写性能的问题,现有方法通过压缩提升读性能,但会导致读放大或写放大。作者利用新存储硬件的性能,随机读和顺序读性能相近,因此提出构建逻辑排序视图优化范围查询,因为减少了真正的压缩操作,同时减少了写放大。 ATC 2

    2024年01月23日
    浏览(36)
  • PointMixer论文阅读笔记

    MLP-mixer是最近很流行的一种网络结构,比起Transformer和CNN的节构笨重,MLP-mixer不仅节构简单,而且在图像识别方面表现优异。但是MLP-mixer在点云识别方面表现欠佳,PointMixer就是在保留了MLP-mixer优点的同时,还可以很好的处理点云问题。PointMixer可以很好的处理intra-set, inter-set

    2024年02月19日
    浏览(27)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包