深度学习与微积分
总结来说,深度学习的核心在于优化;优化的重点在于降低损失值;降低损失值需要通过反向梯度下降;而微积分,判断的就是梯度下降的方向和大小。
铺开来说,深度学习的核心目标是通过优化过程来训练模型,以便在给定输入数据时能够产生准确的预测。而为了评估模型的性能并指导优化过程,我们定义了一个 损失函数。它量化了模型的预测与真实值之间的不一致程度。
优化过程的关键在于找到一组模型参数,使得损失函数的值最小。这通常通过 梯度下降 算法实现,其中 “梯度” 就是损失函数对模型参数的导数。梯度指向损失增加最快的方向,因此,为了最小化损失函数,我们选择与梯度相反的方向进行更新,这就是所谓的 “反向梯度下降”。
在这个过程中,导数(或者说梯度)的重要性在于:
- 方向:导数指示了损失函数下降最快的方向,即梯度的反方向是损失减少的方向。
- 大小:导数的绝对值表示了损失函数在该方向上下降的速率,即参数更新的大小。
因此,通过计算损失函数对每个参数的导数(梯度),我们可以调整模型参数,以减少损失函数的值,从而训练出性能更好的模型。而自动微分,使得这个过程变得自动化和高效。开发者可以专注于模型结构和数据处理,而不必手动计算复杂的导数。关于自动微分,将在后续博文单开章节进行阐述。
在本篇文章中,我们将关注于微积分的一些核心概念,特别是 偏导数 和 链式法则 这两个关键原理。
偏导数
深度学习函数依赖于许多变量。在博文微积分(上)中,只单纯讨论了导数与微分之于深度学习的重要性。但是实践上看,我们需要将微分的思想推广到多元函数上。
e
.
g
.
e.g.
e.g. 假设
y
=
f
(
x
1
,
x
2
,
.
.
.
,
x
n
)
y = f(x_1, x_2, ..., x_n)
y=f(x1,x2,...,xn) 是一个具有
n
n
n 个变量的函数,
y
y
y 关于第
i
i
i 个参数
x
i
x_i
xi 的偏导数为:
d
y
d
x
i
=
lim
h
→
0
f
(
x
1
,
.
.
.
,
x
i
−
1
,
x
i
+
h
,
x
i
+
1
,
.
.
.
,
x
n
)
−
f
(
x
1
,
.
.
.
,
x
i
,
.
.
.
,
x
n
)
h
\frac {dy} {dx_i}=\lim _{h \to 0} \frac {f(x_1, ..., x_{i-1}, x_i+h, x_{i+1}, ..., x_n) - f(x_1, ..., x_i, ..., x_n)} {h}
dxidy=h→0limhf(x1,...,xi−1,xi+h,xi+1,...,xn)−f(x1,...,xi,...,xn)
而为了计算 d y d x i \frac {dy} {dx_i} dxidy,我们可以简单地将 x 1 , . . . , x i − 1 , x i + 1 , . . . , x n x_1, ..., x_{i-1}, x_{i+1}, ..., x_n x1,...,xi−1,xi+1,...,xn 看作常数,并计算 y y y 关于 x i x_i xi 的导数。
链式法则
在深度学习中,神经网络由多个层组成,每个层的输出又作为下一层的输入。链式法则允许我们将复杂的导数问题分解为多个简单的导数问题。通过链式法则,我们可以从输出层的损失函数反向传播梯度到网络的每一层,从而计算出每个权重的偏导数。
链式传播简单公式:
d
y
d
x
=
d
y
d
x
d
u
d
x
\frac {dy} {dx}=\frac {dy} {dx} \frac {du} {dx}
dxdy=dxdydxdu
关于链式法则的实践,将在后续博文中进行展现。
如有任何疑问,请联系或留言。文章来源:https://www.toymoban.com/news/detail-833683.html
2024.2.14文章来源地址https://www.toymoban.com/news/detail-833683.html
到了这里,关于【深度学习】S2 数学基础 P4 微积分(下)偏导数与链式法则的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!