图像复原模型
退化模型
原图像为f(x, y)，经过退化函数h(x, y)在加上噪声n(x. y)得到退化图像g(x, y)。
整个过程可以描述为：
g
(
x
,
y
)
=
h
(
x
,
y
)
∗
f
(
x
,
y
)
+
n
(
x
,
y
)
\mathrm{g}(\mathrm{x}, \mathrm{y})=\mathrm{h}(\mathrm{x}, \mathrm{y}) * \mathrm{f}(\mathrm{x}, \mathrm{y})+\mathrm{n}(\mathrm{x}, \mathrm{y})
g(x,y)=h(x,y)∗f(x,y)+n(x,y)
模糊模型
-
高斯模糊
它是一种图像模糊滤波器，它使用高斯函数来计算应用于每个像素的变换
G ( x ) = 1 2 π σ e ( − x ) 2 2 σ 2 G(x)=\frac{1}{\sqrt{2 \pi \sigma}} e^{\frac{(-x)^{2}}{2 \sigma^{2}}} G(x)=2πσ1e2σ2(−x)2 -
运动模糊
由于相机失焦和拍摄照片时角度的变化，图像中会出现运动模糊。
-
矩形模糊
这在具有特定矩形区域的图像中模糊。图像中的模糊可以基于此在任何部分进行识别，它可以是圆形和矩形的。
-
散焦模糊
当相机不正确地聚焦在图像上时，图像中会出现模糊。 图像介质的分辨率取决于散焦量。 如果图像的容差较大，则图像的分辨率较低。 为了获得良好的图像分辨率，应尽量减少图像中的散焦。
噪声模型
噪声是图像中不必要的变化。它会导致图像可见性的变化。与数字信号相关的数字图像通常会被多种类型的噪声破坏，其中一些最常见的噪声是高斯噪声，盐和胡椒噪声 (冲动噪声)，均匀噪声，布朗噪声，逆f噪声。这些噪声由以下公式表示。
-
高斯噪声
频率分布函数：
Gaussian = 1 2 π σ e ( g − u ) 2 2 σ 2 \text { Gaussian }=\frac{1}{\sqrt{2 \pi \sigma}} e^{\frac{(g-u)^{2}}{2 \sigma^{2}}} Gaussian =2πσ1e2σ2(g−u)2
其中，g = gray level
u = mean
σ \sigma σ = standard deviation -
椒盐噪声
P D F salt and pepper = { A for g = a ( "peeper" ) B for g = b ( " salt" ) PDF_{\text {salt and pepper }}=\left\{\begin{array}{c} A \text { for } g=a(\text { "peeper" }) \\ B \text { for } g=b(" \text { salt" }) \end{array}\right. PDFsalt and pepper ={A for g=a( "peeper" )B for g=b(" salt" ) -
均匀噪声
P ( z ) = { 1 b − a if a ≤ z ≤ b 0 otherwise P(z)=\left\{\begin{array}{cc} \frac{1}{b-a} & \text { if } a \leq z \leq b \\ 0 & \text { otherwise } \end{array}\right. P(z)={b−a10 if a≤z≤b otherwise -
布朗噪声
W ( t ) = ∫ 0 t d w ( t ) W(t)=\int_{0}^{t} d w(t) W(t)=∫0tdw(t)
#图像复原的不同方面
自适应光学图像复原去模糊主要有两类方法，一类是点扩散函数，通过反卷积算法对降质图像进行解卷积，得到较清晰的复原图像；另一类则是在点扩散函数未知或只具备少量点扩散函数先验知识的情况下，通过盲复原算法估计原图像。在非盲复原算法中，点扩散函数估计值与真实值之间的偏差会直接影响图像恢复效果;在盲复原算法中，一个相对准确的点扩散函数估计值作为迭代算法的初始估计，将会加快算法收敛、减小计算量，取得事半功倍的效果。因此，快速准确的点扩散函数估计方法，对于图像复原有着重要的理论和现实意义。
非盲图像复原
计算点扩散函数，通过解卷积算法对降质图像进行解卷积，得到较清晰的复原图像。
##Blind Image Restoration(盲图像复原)
图像复原/复原(image restoration)的目标是通过退化观察(degraded observation)来重建原始(理想的)图像。恢复过程是许多图像处理应用的关键。理想情况下，影像复原的目标是撤销(undo)图像采集和处理过程中的图像退化过程。如果退化很严重，可能无法完全恢复原来的景象，但部分恢复可能是合理的。
图像采集过程中典型的退化形式包括模糊和噪声。模糊可能来自，例如，传感器运动或失焦相机。在这种情况下，模糊函数(称为点扩展函数, point-spread function, PSF)必须在影像复原之前就知道。当这种模糊功能是未知的，影像复原问题被称为盲影像复原(blind image restoration)。
盲影像复原是利用图像处理的部分信息，甚至是原始图像的部分信息，来估计原始图像和点扩散函数的过程。现有提出的各种方法取决于特定的退化和图像模型。
运动模糊
图像复原算法
均值滤波(Median filter)
中值滤波多用于去除椒盐噪声。
自适应滤波(Adaptive filter)
多用于去除斑点噪声。
线性滤波(Linear filter)
多用于锐化，光滑和边缘增强。
Blind Deconvolution
在图像处理中，**盲反卷积(Blind Deconvolution)**是一种反卷积技术，它允许在存在一个不确定或未知的点扩展函数(PSF)的情况下，从单个或一组“模糊”图像中恢复目标场景。常规线性和非线性反卷积技术利用已知的PSF。对于盲反旋积，PSF是根据图像或图像集估计而出的，并进一步去卷积。盲反卷积的大部分工作开始于20世纪70年代早期，并用于天文成像和医学成像
IBD (Iterative Blind Deconvolution)
基于傅里叶变换，具有较强的抗噪特性，这种方法需要一点或者甚至不需要PSF的先验知识。主要缺点是反复卷积不一定能收敛，但是相比原图一定有效果。
##NAS-RIF (Nonnegative and Support Constraints Recursive Inverse Filtering)
盲反卷积是一种从模糊图像中估计(The aim of blind Deconvolution is to reconstruct a reliable estimated image from a blurred image. )
这种方法主要是最小化图像域和像素的非负信息，具体可行的解法是使用优化的方法。这种方法的优点在于不需要计算PSF。
##Super-resolution restoration algorithm Based on gradient adaptive interpolation
插值的像素值受像素的局部梯度的影响，主要是在图像的边缘区域。它对插值像素的影响越大，像素的局部梯度就越小。该方法涉及三个子任务: ，融合和去模糊。首先，我们利用频域配准算法来估计低分辨率图像的运动。根据运动，将低分辨率图像映射到均匀的高分辨率网格，然后使用基于梯度的自适应插值来形成高分辨率图像。最后，应用维纳滤波器来减少系统引起的模糊和噪声的影响。该算法的主要优点是计算复杂度低。
Deconvolution Using a Sparse Prior
反卷积问题公式化为给定的观测值确定了原始图像的最大后验估计。
算法 [7] 将反卷积问题公式化为给定的观测值确定了原始图像的最大后验估计。此外，该算法利用了先验的图像导数稀疏的空间域。使用迭代重加权最小二乘法求解得到的非凸优化问题。尽管该算法不是针对中毒观察而设计的，但已相当成功地应用于原始图像。通过选择允许足够次数的迭代的平滑度权重参数，我们可以获得更好的结果。
Block-matching
块匹配用于查找包含高相关性的块，因为其精度会因噪声的存在而显著降低。我们利用块相似性度量在局部2D变换域中执行粗略的初始去噪。在这种方法中，图像被分成块，并从每个块中去除噪声或模糊
LPA-ICI algorithm
PA-ICI算法对图像的平滑度和不规则性以及模糊算子具有非线性和空间自适应性。 仿真实验证明了所提出的反卷积技术的效率和良好的性能。
维纳滤波
维纳滤波器包括噪声的退化函数和统计特性到恢复过程中。 该方法将图像和噪声视为随机过程，目标是找到未损坏图像 f 的估计函数，使维纳滤波器最小化均方误差。 假设图像和噪声不相关； 一个或另一个的均值为零，并且退化图像中的灰度级是估计的线性函数。 [2]
Lucy-Richardson Algorithm Techniques
图像恢复方法分为两种，一种是盲的，另一种是非盲的反卷积。 非盲反卷积是一种已知 PSF 的反卷积。 Richardson-Lucy 反卷积算法已在医学成像和天文学领域变得流行。 最初它是在 1970 年代早期由 Lucy 和 Richardson 从 byes 定理中发现的。 在 1980 年代初期，它被 Verdi 作为一种算法重新提供，用于解决发射断层扫描成像问题，其中中毒统计占主导地位。 Lucy Richardson 是非线性迭代方法。 在过去的二十年中，这种方法作为恢复工具得到了更多的认可，其结果比使用线性方法获得的效果更好。
Deconvolutionusing Regularized Filter(DRF)
正则化滤波反卷积是另一类非盲反卷积技术。 当在恢复的图像上应用平滑度等约束并且已知关于噪声的有限信息时，有效地使用正则化反卷积。 退化的图像实际上是通过使用正则化滤波器的约束最小二乘恢复来恢复的。 在正则化过滤中，应用恢复需要较少的先验信息。 当统计数据不可用时，正则化可能是一个有用的工具。 此外，该框架可以扩展以适应图像边缘、空间变化的噪声和其他挑战。
Neural Network Approach(使用神经网络的方法)
用深度学习的方法来解决图像复原问题，从开始的使用神经网络估计模糊核进行反卷积，再到后面端到端的图像复原方法。
评价准则
MSE(均方误差)
统计参数是预测数据和原始数据对应点误差的平方和的均值，MSE越小表示待评估的质量越好，其被定义为：
M
S
E
=
1
N
∑
i
N
(
x
i
−
y
i
)
2
MSE=\frac{1}{N} \sum_{i}^{N}\left(x_{i}-y_{i}\right)^{2}
MSE=N1i∑N(xi−yi)2
M S E = 1 m n ∑ 0 m − 1 ∑ 0 n − 1 ∥ f ( i , j ) − g ( i , j ) ∥ 2 MSE=\frac{1}{m n} \sum_{0}^{m-1} \sum_{0}^{n-1}\|f(i, j)-g(i, j)\|^{2} MSE=mn10∑m−10∑n−1∥f(i,j)−g(i,j)∥2
PSNR(峰值信噪比, Peak signal to noise ratio)
PSNR将MSE换成了信号处理的db(分贝)表达形式，PSNR越大表示待评估的质量越好。
P
N
S
R
=
10
log
10
L
2
M
S
E
PNSR=10 \log _{10} \frac{L^{2}}{MSE}
PNSR=10log10MSEL2
所以PSNR与MSE没有什么本质上的不同，只是数字上看起来更加有区分度一些（从数学上讲这算不得什么根本性的东西，但从人的辨识度来讲，这个优势还是挺明显的）。由于PSNR公式将MSE放在了分母上，所以在进行图像质量评估时，PSNR数值越大表明待评估的图像质量越好，这一点与MSE相反。PSNR公式中的L是一个常数，它表示图像数据类型的最大动态范围。比如对于float型的图像数据，其取值范围是[0, 1]，所以L=1。对于uint8类型的图像数据，其取值范围是[0, 255]，所以L=255。一般情况下L就这两种情况，至于HDR（High Dynamic Range，宽动态范围）的图像，则根据图像的位深另算。
SSIM
SE与PSNR的问题是，在计算每个位置上的像素差异时，其结果仅与当前位置的两个像素值有关，与其它任何位置上的像素无关。这也就是说，这种计算差异的方式仅仅将图像看成了一个个孤立的像素点，而忽略了图像内容所包含的一些视觉特征，特别是图像的局部结构信息。而图像质量的好坏极大程度上是一个主观感受，其中结构信息对人主观感受的影响非常之大。
因此，采用这种方式计算出来的差异有时不能很好地反映图像质量。这就是SSIM（Structural Similarity，结构相似性）所希望要解决的问题。
理念
SSIM是为了解决上述提到的MSE与PSNR的问题而提出的，所以SSIM在理念上，与后面二者最重要最根本的一个不同是，SSIM计算两张图像在每个位置上的差异时，不是在该位置上从两张图中各取一个像素，而是各取了一个区域的像素。个人认为这是大道，而具体的计算方法属于小道，不过也是设计精良的小道。
概念准备
在具体的计算方面，SSIM认为两个图像块之间的差异由以下几个部分组成：
亮度，对应于均值
对比度，对应于方差或标准差
结构，对应于余弦相似度
图像的亮度是图像像素值大小的一种描述。图像的对比度是图像像素值在整个动态范围内分布情况的一种描述。图像像素值在动态范围内分布地越宽广，对比度就越好；反之图像像素值分布地越紧凑，对比度就差。而这种分布范围的描述恰恰就对应于方差或标准差的概念。
图像的结构指的是像素间相对位置以及比例关系的描述，它与图像像素值的绝对大小反而没什么关系。比如考虑这样一个简单的图像，图像中只画了一个正方形，如果不考虑数值类型的截断问题的话，那么我们对这张图像乘以任意数值，得到结果仍然是一个结构一模一样的正方形。这正是余弦相似度所表达的概念，余弦相似度又称为余弦夹角，是对两个向量方向差异的一种度量，它不考虑向量的大小。图像结构就可以看作是图像在向量空间中的方向。
这三个维度的信息形成了一种互补的关系，在三者的共同约束下形成了对图像质量的描述。比如余弦相似度可以描述图像结构的差异程度，但是它却无法保证图像绝对数值的差异，比如向量（1, 2, 3），（2, 4, 6），（3, 6, 9）三者两两之间的余弦相似度均为1，但是它们的数值大小和方差却各不相同。反过来看，图像的均值和方差相同的情况下也无法保证图像的结构相同，因为即使我们将图像的像素位置完全打乱，其均值和方差也会保持完全不变，但是结构却发生了翻天覆地得变化。
公式理解
假设一个图像块的像素数目为N，其中的元素记为 x i x_i xi（向量的维度不影响公式的理解，并且可以与原文保持一致）。那么图像块的均值、标准差（无偏）分别为：
均值：
μ
x
=
1
N
∑
i
N
x
i
\mu_{x}=\frac{1}{N} \sum_{i}^{N} x_{i}
μx=N1i∑Nxi
标准差：
σ
x
=
(
1
N
−
1
∑
i
N
(
x
i
−
μ
x
)
2
)
1
/
2
\sigma_{x}=\left(\frac{1}{N-1} \sum_{i}^{N}\left(x_{i}-\mu_{x}\right)^{2}\right)^{1 / 2}
σx=(N−11i∑N(xi−μx)2)1/2
假设我们有另外一个图像块，像素数目也为N，其中的元素记为
y
i
y_i
yi，那么两个图像块减去均值后的余弦相似度公式为：
s
(
x
,
y
)
=
∑
i
N
(
x
i
−
μ
x
)
(
y
i
−
μ
y
)
(
∑
i
N
(
x
i
−
μ
x
)
2
)
1
/
2
(
∑
i
N
(
y
i
−
μ
y
)
2
)
1
/
2
=
1
N
−
1
∑
i
N
(
x
i
−
μ
x
)
(
y
i
−
μ
y
)
(
1
N
−
1
∑
i
N
(
x
i
−
μ
x
)
2
)
1
/
2
(
1
N
−
1
∑
i
N
(
y
i
−
μ
y
)
2
)
1
/
2
=
σ
x
y
σ
x
σ
y
\begin{aligned} s(x, y) &=\frac{\sum_{i}^{N}\left(x_{i}-\mu_{x}\right)\left(y_{i}-\mu_{y}\right)}{\left(\sum_{i}^{N}\left(x_{i}-\mu_{x}\right)^{2}\right)^{1 / 2}\left(\sum_{i}^{N}\left(y_{i}-\mu_{y}\right)^{2}\right)^{1 / 2}} \\ &=\frac{\frac{1}{N-1} \sum_{i}^{N}\left(x_{i}-\mu_{x}\right)\left(y_{i}-\mu_{y}\right)}{\left(\frac{1}{N-1} \sum_{i}^{N}\left(x_{i}-\mu_{x}\right)^{2}\right)^{1 / 2}\left(\frac{1}{N-1} \sum_{i}^{N}\left(y_{i}-\mu_{y}\right)^{2}\right)^{1 / 2}} \\ &=\frac{\sigma_{x y}}{\sigma_{x} \sigma_{y}} \end{aligned}
s(x,y)=(∑iN(xi−μx)2)1/2(∑iN(yi−μy)2)1/2∑iN(xi−μx)(yi−μy)=(N−11∑iN(xi−μx)2)1/2(N−11∑iN(yi−μy)2)1/2N−11∑iN(xi−μx)(yi−μy)=σxσyσxy
其中
σ
x
y
\sigma_{xy}
σxy表示协方差：
σ
x
y
=
1
N
−
1
∑
i
N
(
x
i
−
μ
x
)
(
y
i
−
μ
y
)
\sigma_{x y}=\frac{1}{N-1} \sum_{i}^{N}\left(x_{i}-\mu_{x}\right)\left(y_{i}-\mu_{y}\right)
σxy=N−11i∑N(xi−μx)(yi−μy)
三原则：
本文所讨论的图像质量评估均指有**标签（Ground Truth）**情况下的图像质量评估，此时待评估图像的质量使用它与标签的相似度进行衡量。
作者认为，相似度指标的设计均应满足以下三个原则：
- 对称性（Symmetry）：SSim(X, Y) = SSim(Y, X)
- 存在边界（Boundedness）：SSim(X,Y)≤1
- 最大值条件唯一（Unique maximum）：当且仅当X=Y时，SSim(X,Y)=1成立 。X=Y的离散形式是：对于所有的i=0,1,2,…,N，均有 x i = y i x_i = y_i xi=yi
以上三个条件很容易理解。
- 对称性不必讲了，很显然应该如此。
- 我们通常对相似程度的衡量，最高就是100%，这也就是边界定为1的原因。
- 当相似度为100%时，应当，也只能是两张图完全一样的情况。
亮度、对比度、结构的相似度指标设计
在文章中，亮度和对比度的相似度指标设计使用了相同的原则，均使用了我们高中时期学的一个很简单的不等式关系：
a
2
+
b
2
≥
2
a
b
a^{2}+b^{2} \geq 2 a b
a2+b2≥2ab
当且仅当a=b时上式的等号关系成立。
将 a 2 + b 2 a^2 + b^2 a2+b2放到分母上，并将亮度（均值）和对比度（标准差）代入其中，即可得到亮度和对比度的相似度指标。
亮度的相似度：
l
(
x
,
y
)
=
2
μ
x
μ
y
μ
x
2
+
μ
y
2
=
stabilization
2
μ
x
μ
y
+
C
1
μ
x
2
+
μ
y
2
+
C
1
l(x, y)=\frac{2 \mu_{x} \mu_{y}}{\mu_{x}^{2}+\mu_{y}^{2}} \stackrel{\text { stabilization }}{=} \frac{2 \mu_{x} \mu_{y}+C_{1}}{\mu_{x}^{2}+\mu_{y}^{2}+C_{1}}
l(x,y)=μx2+μy22μxμy= stabilization μx2+μy2+C12μxμy+C1
对比度的相似度：
c
(
x
,
y
)
=
2
σ
x
σ
y
σ
x
2
+
σ
y
2
=
stabilization
2
σ
x
σ
y
+
C
2
σ
x
2
+
σ
y
2
+
C
2
c(x, y)=\frac{2 \sigma_{x} \sigma_{y}}{\sigma_{x}^{2}+\sigma_{y}^{2}} \stackrel{\text { stabilization }}{=} \frac{2 \sigma_{x} \sigma_{y}+C_{2}}{\sigma_{x}^{2}+\sigma_{y}^{2}+C_{2}}
c(x,y)=σx2+σy22σxσy= stabilization σx2+σy2+C22σxσy+C2
结构的相似度则直接借用了余弦相似度的概念，前面我们已经写过了，现在直接将其罗列如下：
s
(
x
,
y
)
=
σ
x
y
σ
x
σ
y
=
stabilization
σ
x
y
+
C
3
σ
x
σ
y
+
C
3
s(x, y)=\frac{\sigma_{x y}}{\sigma_{x} \sigma_{y}} \stackrel{\text { stabilization }}{=} \frac{\sigma_{x y}+C_{3}}{\sigma_{x} \sigma_{y}+C_{3}}
s(x,y)=σxσyσxy= stabilization σxσy+C3σxy+C3
上面的
C
1
,
C
2
,
C
3
C_1, C_2, C_3
C1,C2,C3是常数，用来使计算更加稳定，防止分母出现过小的情况。一般来说，这几个常数相比较
μ
,
σ
\mu, \sigma
μ,σ等变量应当是一个小值。
最终公式
有了以上三个公式后，作者将SSIM定义成了如下形式：
S
S
I
M
(
x
,
y
)
=
[
L
(
x
,
y
)
]
α
[
c
(
x
,
y
)
]
β
[
s
(
x
,
y
)
]
γ
S S I M(x, y)=[L(x, y)]^{\alpha}[c(x, y)]^{\beta}[s(x, y)]^{\gamma}
SSIM(x,y)=[L(x,y)]α[c(x,y)]β[s(x,y)]γ
α,β,γ用于调节三部分的权重。在实际计算时， 通常取
a
l
p
h
a
=
β
=
γ
=
1
alpha = \beta = \gamma = 1
alpha=β=γ=1。再令
C
3
=
C
2
/
2
C_3 = C_2 / 2
C3=C2/2，然后将（4）（5）（6）代入上式，（5）的分子和（6）的分母可以消去，于是可得：
其中，
C
1
=
(
K
1
L
)
2
C
2
=
(
K
2
L
)
2
C_{1}=\left(K_{1} L\right)^{2} \\ C_{2}=\left(K_{2} L\right)^{2}
C1=(K1L)2C2=(K2L)2
上式就是最终用于计算SSIM的公式。
公式（8）（9）之所以这样写，是为了抵消掉图像数值类型的影响。根据文章，在实际计算时，取 K 1 = 0.01 , K 2 = 0.03 K_1=0.01, K_2=0.03 K1=0.01,K2=0.03。
**特别注意：**按照上述方法，我们计算得到了一个图像块的SSIM值，在实际计算时，一个图像块通常取成正方形，然后将该SSIM值赋给图像块的中心位置。然后滑动这个正方形块，可以得到其他所有位置的SSIM值，于是我们就得到了一个SSIM图。然而在实际中，我们对两张图像进行计算得到的通常是一个SSIM值，这个值在文章中称为mean SSIM（MSSIM），计算方法是对SSIM图取平均：
图像中越亮的地方表明损失越小，越暗的地方表明损失越大。
程序
可参见参考文献[2]
参考文献
[1] Rani S, Jindal S, Kaur B. A brief review on image restoration techniques[J]. International Journal of Computer Applications, 2016, 150(12): 30-33.文章来源：https://www.toymoban.com/news/detail-452654.html
[2] 图像质量评估指标：MSE，PSNR，SSIM_拜阳的博客-CSDN博客_图像mse文章来源地址https://www.toymoban.com/news/detail-452654.html
到了这里，关于图像复原(去模糊)基本内容以及评价标准的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
