【深度学习】S2 数学基础 P4 微积分(下)偏导数与链式法则

这篇具有很好参考价值的文章主要介绍了【深度学习】S2 数学基础 P4 微积分(下)偏导数与链式法则。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

深度学习与微积分

总结来说,深度学习的核心在于优化;优化的重点在于降低损失值;降低损失值需要通过反向梯度下降;而微积分,判断的就是梯度下降的方向和大小。

铺开来说,深度学习的核心目标是通过优化过程来训练模型,以便在给定输入数据时能够产生准确的预测。而为了评估模型的性能并指导优化过程,我们定义了一个 损失函数。它量化了模型的预测与真实值之间的不一致程度。

优化过程的关键在于找到一组模型参数,使得损失函数的值最小。这通常通过 梯度下降 算法实现,其中 “梯度” 就是损失函数对模型参数的导数。梯度指向损失增加最快的方向,因此,为了最小化损失函数,我们选择与梯度相反的方向进行更新,这就是所谓的 “反向梯度下降”。

在这个过程中,导数(或者说梯度)的重要性在于:

  • 方向:导数指示了损失函数下降最快的方向,即梯度的反方向是损失减少的方向。
  • 大小:导数的绝对值表示了损失函数在该方向上下降的速率,即参数更新的大小。

因此,通过计算损失函数对每个参数的导数(梯度),我们可以调整模型参数,以减少损失函数的值,从而训练出性能更好的模型。而自动微分,使得这个过程变得自动化和高效。开发者可以专注于模型结构和数据处理,而不必手动计算复杂的导数。关于自动微分,将在后续博文单开章节进行阐述。

在本篇文章中,我们将关注于微积分的一些核心概念,特别是 偏导数 和 链式法则 这两个关键原理。


偏导数

深度学习函数依赖于许多变量。在博文微积分(上)中,只单纯讨论了导数与微分之于深度学习的重要性。但是实践上看,我们需要将微分的思想推广到多元函数上。

e . g . e.g. e.g. 假设 y = f ( x 1 , x 2 , . . . , x n ) y = f(x_1, x_2, ..., x_n) y=f(x1,x2,...,xn) 是一个具有 n n n 个变量的函数, y y y 关于第 i i i 个参数 x i x_i xi 的偏导数为:
d y d x i = lim ⁡ h → 0 f ( x 1 , . . . , x i − 1 , x i + h , x i + 1 , . . . , x n ) − f ( x 1 , . . . , x i , . . . , x n ) h \frac {dy} {dx_i}=\lim _{h \to 0} \frac {f(x_1, ..., x_{i-1}, x_i+h, x_{i+1}, ..., x_n) - f(x_1, ..., x_i, ..., x_n)} {h} dxidy=h0limhf(x1,...,xi1,xi+h,xi+1,...,xn)f(x1,...,xi,...,xn)

而为了计算 d y d x i \frac {dy} {dx_i} dxidy,我们可以简单地将 x 1 , . . . , x i − 1 , x i + 1 , . . . , x n x_1, ..., x_{i-1}, x_{i+1}, ..., x_n x1,...,xi1,xi+1,...,xn 看作常数,并计算 y y y 关于 x i x_i xi 的导数。


链式法则

在深度学习中,神经网络由多个层组成,每个层的输出又作为下一层的输入。链式法则允许我们将复杂的导数问题分解为多个简单的导数问题。通过链式法则,我们可以从输出层的损失函数反向传播梯度到网络的每一层,从而计算出每个权重的偏导数。

链式传播简单公式:
d y d x = d y d x d u d x \frac {dy} {dx}=\frac {dy} {dx} \frac {du} {dx} dxdy=dxdydxdu

关于链式法则的实践,将在后续博文中进行展现。


如有任何疑问,请联系或留言。

2024.2.14文章来源地址https://www.toymoban.com/news/detail-833683.html

到了这里,关于【深度学习】S2 数学基础 P4 微积分(下)偏导数与链式法则的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 高等数学:微积分(下)

    导数说完了就可以说微分了。还是看图中过A点的切线,其与竖直虚线相交于C点。其中CD段的距离可以表示为 C D = k ⋅ Δ x CD = k cdot Delta x\\\\ C D = k ⋅ Δ x 这里的系数k是一个不为零的常数。原因很简单,假设这条切线与x轴的夹角为 θ theta θ (图中没有画出),那么根据三角函

    2024年02月12日
    浏览(54)
  • 【机器学习/深度学习】数学基础——矩阵求导

    A矩阵对B矩阵求导,实质是矩阵A中的每个元素对矩阵B中的每个元素进行求导。 广义上,矩阵可以认为是一个单独的标量(矩阵中只有一个元素)、一个向量(m 1矩阵或者1 n矩阵)。那么矩阵对矩阵求导实际上可以分为以下几种: 标量对向量求导 向量对标量求导 向量对向量

    2024年02月04日
    浏览(45)
  • 强化学习的数学基础:从动态规划到深度学习

    强化学习(Reinforcement Learning, RL)是一种人工智能技术,它旨在让智能体(agent)在环境(environment)中学习如何做出最佳决策,以最大化累积奖励(cumulative reward)。强化学习的核心思想是通过在环境中与智能体与环境的交互来学习,而不是通过传统的监督学习(supervised le

    2024年02月01日
    浏览(47)
  • 深度学习的数学基础:从线性代数到随机过程

    深度学习是人工智能领域的一个重要分支,它主要通过模拟人类大脑中的神经网络来进行数据处理和学习。深度学习的核心技术是神经网络,神经网络由多个节点组成,这些节点之间有权重和偏置的连接。通过对这些节点进行训练,我们可以使神经网络具有学习和推理的能力

    2024年03月18日
    浏览(90)
  • 图形学基础--深入浅出的微积分书籍 《普林斯顿微积分读本》和《托马斯微积分》

           话说程序员有三大浪漫,图形学,编译原理,操作系统,说到这里,可能搞深度学习的要跳出来反驳. 这三大浪漫正确与否其实并不重要,重要的是这种说法侧面反映了学习图形学的难度. 图形学之所以有难度,是因为它有一定的数学门槛. 一提到数学,大家脑海中肯

    2024年02月13日
    浏览(53)
  • 【人工智能的数学基础】深度学习中的不确定性(Uncertainty)

    使用贝叶斯深度学习建模深度学习中的不确定性. paper:What Uncertainties Do We Need in Bayesian Deep Learning for Computer Vision? 现有的深度学习方法大多只能给出特定的预测结果,而不能给出结果的不确定性程度。 深度学习中输出结果的不确定性主要有两种: 偶然不确定性 是由数据中的

    2024年02月07日
    浏览(56)
  • 深度学习·理论篇(2023版)·第002篇深度学习和计算机视觉中的基础数学知识01:线性变换的定义+基于角度的线性变换案例(坐标变换)+点积和投影+矩阵乘法的几何意义+图形化精讲

    💕 恭喜本博客浏览量达到两百万,CSDN内容合伙人,CSDN人工智能领域实力新星~ 🧡 本文章为2021版本迭代更新版本,在结合有效知识的基础上对文章进行合理的增加,使得整个文章时刻顺应时代需要 🧡 本专栏将通过系统的深度学习实例,从可解释性的角度对深度学习的原理

    2023年04月08日
    浏览(50)
  • 【机器学习】P18 反向传播(导数、微积分、链式法则、前向传播、后向传播流程、神经网络)

    反向传播(back propagation)是一种用于训练神经网络的算法,其作用是计算神经网络中每个参数对损失函数的影响,从而进行参数更新,使得神经网络的预测结果更加准确。 具体来说,反向传播算法首先通过 前向传播 计算神经网络的预测结果,并与实际结果进行比较,得到

    2024年02月04日
    浏览(58)
  • 机器学习的数学基础(上)

    []{#_Toc405731550 .anchor} 目录 机器学习的数学基础 1 高等数学 1 线性代数 9 概率论和数理统计 19 高等数学 1.导数定义: 导数和微分的概念 f ′ ( x 0 ) = lim ⁡ Δ x → 0   f ( x 0 + Δ x ) − f ( x 0 ) Δx f\\\'(x_{0}) = lim_{Delta x rightarrow 0},frac{f(x_{0} + Delta x) - f(x_{0})}{text{Δx}} f ′ ( x 0 ​

    2023年04月26日
    浏览(39)
  • 零基础学习数学建模——(一)什么是数学建模

    本篇博客将详细介绍什么是数学建模。 ​ 本人在本科阶段获得过国赛省一、mathorcup数学建模一等奖、五一杯数学建模一等奖、华数杯数学建模一等奖、亚太杯数学建模一等奖和两次美赛一等奖。自己在数学建模这条路上摸爬滚打了几年,现在想借助博客分享自己在数学建模

    2024年01月25日
    浏览(53)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包