SRDiff: Single Image Super-Resolution with Diffusion Probabilistic Models 论文笔记

9月前作者：Unsunshine_Bigboy_? 分类：Toy博客阅读(50) 违法举报

这篇具有很好参考价值的文章主要介绍了SRDiff: Single Image Super-Resolution with Diffusion Probabilistic Models 论文笔记。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

前言

由于大多数基于卷积神经网络或者Attention机制的超分辨模型大部分都是PSNR主导的，即用PSNR作为损失函数进行训练，这会导致超分辨图像过度平滑的问题，也就是超分辨后的图像高频信息不能很好保留，并且超分辨的图像较为固定，对于超分辨这种不适定问题来说不太合适。另外一种超分辨模型是基于GAN进行图像生成，会存在训练困难、模型不稳定的问题。于是论文提出了基于扩散模型的超分辨模型，具有特点如下：①对于一张输入低分辨率的图片可以产生多种高分辨率的结果，并且很好地保留了高频信息；②非常容易训练；③可以灵活地进行图像处理、内容融合、潜在空间内插。

网络模型

区别于DDPM的无条件生成模型，SRDiff是一种条件生成模型，需要以输入的低分辨率图像作为条件，然后生成高分辨率的图片。模型整体分为两个阶段，一个是训练阶段，另外一个是推理阶段，这个是和DDPM的原理是一样的。其中，只有噪声的估计这一步骤中需要神经网络，用的也是Unet的模型。

SRDiff: Single Image Super-Resolution with Diffusion Probabilistic Models 论文笔记

上图是SRDiff模型的整体结构，中间部分为Unet的噪声估计模型，具体分为如下两个阶段进行分析。

训练阶段

SRDiff: Single Image Super-Resolution with Diffusion Probabilistic Models 论文笔记

SRDiff: Single Image Super-Resolution with Diffusion Probabilistic Models 论文笔记

上图分别是训练阶段的伪代码和流程图，XL是低分辨率输入图片，XH是对应的原始高分辨率图片，Xe是经过预训练模型后的初始预测高分辨率图片，up(XL)是直接对低分辨率进行bicubic上采样后的图片，Xr是上采样图片和真实高分辨率XH相减之后的高频信息图片，然后随机采样噪声的ε计算得到Xt的噪声图，然后和估计噪声计算损失，对噪声估计网络进行训练。

推理阶段

SRDiff: Single Image Super-Resolution with Diffusion Probabilistic Models 论文笔记

SRDiff: Single Image Super-Resolution with Diffusion Probabilistic Models 论文笔记

以上是推理阶段的伪代码和流程图，Xe、初始随机采样的噪声图Xt和t作为Unet的输入计算得到第t步估计得到的噪声t，然后加入随机采样的扰动Z，计算得到Xt-1的噪声图，以此循环直至得到X0，最后X0和上采样的XL进行相加最后得到高分率图片Xsr。

实验

CelebA和DIV2K上的超分实验

SRDiff: Single Image Super-Resolution with Diffusion Probabilistic Models 论文笔记

SRDiff: Single Image Super-Resolution with Diffusion Probabilistic Models 论文笔记

消融实验

SRDiff: Single Image Super-Resolution with Diffusion Probabilistic Models 论文笔记

扩展实验

SRDiff: Single Image Super-Resolution with Diffusion Probabilistic Models 论文笔记

上图是扩展实验，左图为内容融合，在不同T时将第一幅图的眼睛融合到第二个人的脸上，随着t增大效果也看起来更加协调。右图为潜在空间插值实验，对于给定的LR图像，SRDiff可以通过潜在空间内插来操纵其预测，该方法将两个SR预测的潜伏期进行线性内插，并生成一个新的SR预测。

总结

本文是基于扩散模型提出的超分辨方法，通过算法来看其实本质上是通过用图像的噪声来对高频信息进行预测，最后再和上采用图进行相加，得到的即为高分辨率图片。在一些数据集上取得了不错的效果，并且该模型在图像的内容融合上和潜在空间插值可以取得不错的效果。文章来源地址https://www.toymoban.com/news/detail-514992.html

到了这里，关于SRDiff: Single Image Super-Resolution with Diffusion Probabilistic Models 论文笔记的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：

领支付宝红包赞助服务器费用

论文笔记 | 【CVPR-2023】Activating More Pixels in Image Super-Resolution Transformer

抛砖引玉了，如有不同意见欢迎讨论。在超分Transformer中激活更多像素。澳门大学、中科大、上海人工智能实验室的，董超老师的团队。 CVPR2023。 LAM：一种为SR任务设计的归因方法，能显示模型在进行超分辨率重建的过程中哪些像素起到了作用。一般来说，被利用像素的范围

2024年02月11日
浏览(47)
BSRN网络——《Blueprint Separable Residual Network for Efficient Image Super-Resolution》论文解读

目录摘要：网络架构：具体流程： BSConv： ESDB——Efficient Separable Distillation Block： Blueprint Shallow Residual Block (BSRB)： ESA和CCA：实验： BSRN的实现细节： BSRN-S（比赛）的实现细节：不同卷积分解的效果： ESA和CCA的有效性: 不同激活函数对比： BSRN的有效性：和SOTA方法的

2024年02月05日
浏览(47)
阅读RFDN-Residual Feature Distillation Network for Lightweight Image Super-Resolution

Residual Feature Distillation Network for Lightweight Image Super-Resolution Abstract. 单图像超分辨率（SISR）的最新进展探索了卷积神经网络（CNN）的力量，以获得更好的性能。尽管基于cnn的方法取得了巨大的成功，但为了解决高计算量的问题，人们提出了各种快速和轻量级的CNN模型。信息蒸馏

2024年02月10日
浏览(44)
论文阅读 Self-Supervised Burst Super-Resolution

这是一篇 ICCV 2023 的文章，主要介绍的是用自监督的方式进行多帧超分的学习 Abstract 这篇文章介绍了一种基于自监督的学习方式来进行多帧超分的任务，这种方法只需要原始的带噪的低分辨率的图。它不需要利用模拟退化的方法来构造数据，而且模拟退化的方法又可能存在域

2024年01月18日
浏览(57)
论文阅读《Spherical Space Feature Decomposition for Guided Depth Map Super-Resolution》

论文地址：https://openaccess.thecvf.com/content/ICCV2023/papers/Zhao_Spherical_Space_Feature_Decomposition_for_Guided_Depth_Map_Super-Resolution_ICCV_2023_paper.pdf 源码地址： https://github.com/Zhaozixiang1228/GDSR-SSDNet GDSR是一种多模态图像处理的热门话题，它的目的是利用同一场景中的高分辨率（HR）RGB图像中

2024年01月16日
浏览(43)
high-resolution image synthesis with latent diffusion models

如何通俗理解扩散模型？ - 知乎泻药。实验室最近人人都在做扩散，从连续到离散，从CV到NLP，基本上都被diffusion洗了一遍。但是观察发现，里面的数学基础并不是模型应用的必须。其实大部分的研究者都不需要理解扩散模型的数学本质，更需要的是对… https://zhuanlan.zhihu.

2023年04月19日
浏览(68)
Temporal Modulation Network for Controllable Space-Time Video Super-Resolution阅读笔记

Temporal Modulation Network for Controllable Space-Time Video Super-Resolution 可控时空视频超分辨率的时间调制网络论文：https://arxiv.org/pdf/2104.10642v2.pdf 代码：https://github.com/CS-GangXu/TMNet 研究机构：南开、中科院、腾讯优图本篇笔记主要对整篇论文从头到尾进行阅读分析，本文内容有点多，

2023年04月14日
浏览(39)
4、High-Resolution Image Synthesis with Latent Diffusion Models

github地址 diffusion model明显的缺点是耗费大量的时间、计算资源，为此，论文将其应用于强大的预训练自编码器的潜在空间，这是首次允许在复杂性降低和细节保存之间达到一个近乎最佳的点，极大地提高了视觉保真度。通过在模型架构中引入交叉注意层，将扩散模型转化为

2024年02月12日
浏览(44)
论文阅读--High-Resolution Image Synthesis with Latent Diffusion Models

High-Resolution Image Synthesis with Latent Diffusion Models论文阅读 Abstract Introduction Diffusion model相比GAN可以取得更好的图片生成效果，然而该模型是一种自回归模型，需要反复迭代计算，因此训练和推理代价都很高。论文提出一种在潜在表示空间（latent space）上进行diffusion过程的方法，

2024年01月17日
浏览(64)
【论文笔记】SINE: SINgle Image Editing with Text-to-Image Diffusion Models

声明不定期更新自己精度论文，通俗易懂，初级小白也可以理解涉及范围：深度学习方向，包括 CV、NLP 论文标题：SINE: SINgle Image Editing with Text-to-Image Diffusion Models 论文链接： https://www.semanticscholar.org/paper/SINE%3A-SINgle-Image-Editing-with-Text-to-Image-Zhang-Han/a6ad30123bef4b19ee40c3d63cfabf00

2024年02月13日
浏览(56)