MSE 均方误差及其梯度
mse 表达式
M
S
E
=
1
n
∑
i
=
0
n
(
y
i
−
o
i
)
2
MSE= \frac{1}{n} \sum_{i=0}^{n} (y^{i}-o^{i})^2
MSE=n1i=0∑n(yi−oi)2
其中n为输出节点数，真值为 y , 模型输出为 o
mse 对 第 j 个 o 求偏导
∂
M
S
E
∂
o
j
=
1
n
∑
i
=
0
n
∂
(
y
i
−
o
i
)
2
∂
o
j
\frac{\partial MSE}{\partial o^j} = \frac{1}{n} \sum_{i=0}^{n} \frac{\partial (y^{i}-o^{i})^2}{\partial o^j}
∂oj∂MSE=n1i=0∑n∂oj∂(yi−oi)2
∂
M
S
E
∂
o
j
=
2
n
∑
i
=
0
n
(
y
i
−
o
i
)
∂
(
y
i
−
o
i
)
∂
o
j
\frac{\partial MSE}{\partial o^j} = \frac{2}{n} \sum_{i=0}^{n} (y^{i}-o^{i})\frac{\partial (y^{i}-o^{i})}{\partial o^j}
∂oj∂MSE=n2i=0∑n(yi−oi)∂oj∂(yi−oi)
∂
M
S
E
∂
o
j
=
2
n
∑
i
=
0
n
(
y
i
−
o
i
)
(
−
1
)
∂
(
o
i
)
∂
o
j
\frac{\partial MSE}{\partial o^j} = \frac{2}{n} \sum_{i=0}^{n} (y^{i}-o^{i})(-1)\frac{\partial (o^{i})}{\partial o^j}
∂oj∂MSE=n2i=0∑n(yi−oi)(−1)∂oj∂(oi)文章来源：https://www.toymoban.com/news/detail-440210.html
考虑到
∂
(
o
i
)
∂
o
j
\frac{\partial (o^{i})}{\partial o^j}
∂oj∂(oi)
仅当j = i 时才为 1，其它点都为 0，也就是说， 偏导数只与第j号节点相关，与其它节点无关， 因此上式中的求和符号可以去掉。 均方误差函数的导数可以推导为：
∂
M
S
E
∂
o
j
=
2
n
(
o
i
−
y
i
)
\frac{\partial MSE}{\partial o^j} = \frac{2}{n} (o^{i} - y^{i})
∂oj∂MSE=n2(oi−yi)文章来源地址https://www.toymoban.com/news/detail-440210.html
到了这里，关于MSE 均方误差及其梯度的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
