【机器学习/深度学习】数学基础——矩阵求导

这篇具有很好参考价值的文章主要介绍了【机器学习/深度学习】数学基础——矩阵求导。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

矩阵求导的实质

A矩阵对B矩阵求导,实质是矩阵A中的每个元素对矩阵B中的每个元素进行求导。

分子布局和分母布局

广义上,矩阵可以认为是一个单独的标量(矩阵中只有一个元素)、一个向量(m1矩阵或者1n矩阵)。那么矩阵对矩阵求导实际上可以分为以下几种:

  • 标量对向量求导
  • 向量对标量求导
  • 向量对向量求导

求导结果的形状是很难界定的。比如说,标量对一个列向量求导,得到的向量的形状是行向量呢,还是列向量呢?
这就有一个分子布局和分母布局的说法。简单来说,如果是分子布局,结果的形状就跟着分子走。如果是分母布局,结果的形状就跟着分母走。
一般,在机器学习或者深度学习之中,我们遇到的情况大部分都是一个标量对一个向量求导,或者一个向量对一个标量求导。这时候通常会采用混合布局。即:

  • 标量对向量求导:采用分母布局,结果形状跟着分母走。
  • 向量对标量求导:采用分子布局,结果形状跟着分子走。
  • 向量对向量求导:这种看情况,分子布局和分母布局都是有可能出现的。

例如,以下图片中,均是分子布局,第一张图片中,y向量中的每一个元素都对x进行求导。第二张图片中,y向量的每一个元素都对x向量的每一个元素进行求导。
矩阵求导是对每一个元素求导吗,深度学习,机器学习,深度学习,矩阵,线性代数
矩阵求导是对每一个元素求导吗,深度学习,机器学习,深度学习,矩阵,线性代数

链式求导法则

标量中有链式求导法则,向量求导中同样存在链式求导。可以把一些运算式变成中间变量,之后一步步进行简单求导。
矩阵求导是对每一个元素求导吗,深度学习,机器学习,深度学习,矩阵,线性代数

计算机在计算矩阵求导时,一般不会采用定义法去求导,而是使用链式求导法则。链式求导法则在计算机中是采用计算图的方式体现的。
矩阵求导是对每一个元素求导吗,深度学习,机器学习,深度学习,矩阵,线性代数
计算图分为前向累积和反向累积。如上图所示即为前向累积,将上图中的箭头反向一下,就是反向累积。前向累积和反向累积有什么区别呢?前向累积从自变量开始一步步通过中间变量向因变量求导,反向累积从最上层的中间变量开始(其实就是因变量),一步步向自变量求导。计算图的节点表示中间变量(因变量也会用中间变量表示)或者自变量。

  • 对于前向累积而言,每一条有向边表示后一个节点对前一个节点求导,并且把结果存储在后一个节点中。
  • 对于反向累积而言,每一条有向边表示前一个节点对后一个节点求导,并且把结果存储在后一个节点中。

两者其实是一样的。在高等数学里,我们手算多元复合函数求偏导的时候,也会用到计算图,同时采用的是反向累积求导。
矩阵求导是对每一个元素求导吗,深度学习,机器学习,深度学习,矩阵,线性代数

常用矩阵求导公式

最后,是一些常用的矩阵求导公式。
图片出处:https://blog.csdn.net/weixin_40994552/article/details/123804543

向量对向量求导

矩阵求导是对每一个元素求导吗,深度学习,机器学习,深度学习,矩阵,线性代数

标量对向量求导

矩阵求导是对每一个元素求导吗,深度学习,机器学习,深度学习,矩阵,线性代数
矩阵求导是对每一个元素求导吗,深度学习,机器学习,深度学习,矩阵,线性代数

向量对标量求导

矩阵求导是对每一个元素求导吗,深度学习,机器学习,深度学习,矩阵,线性代数文章来源地址https://www.toymoban.com/news/detail-765101.html

到了这里,关于【机器学习/深度学习】数学基础——矩阵求导的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 【深度学习】S2 数学基础 P6 概率论

    机器学习本质上,就是做出预测。而概率论提供了一种量化和表达不确定性水平的方法,可以帮助我们量化对某个结果的确定性程度。 在一个简单的图像分类任务中; 如果我们非常确定图像中的对象是一只猫,那么我们可以说标签为 “猫” 的概率是 1,即 P ( y = “猫” )

    2024年02月20日
    浏览(40)
  • 机器学习——支持向量机(数学基础推导篇【未完】)

    在一个周日下午,夏天的雨稀里哗啦地下着 我躺在床上,捧着ipad看支持向量机 睡了好几个觉…支持向量机太好睡了 拉格朗日乘数法太好睡了 几何函数太好睡了 在我看来,支持向量机是目前学下来,最难以理解的内容 希望日后不要太难…脑子不支持的 支持向量积的原理,

    2024年02月12日
    浏览(95)
  • 深度学习的数学基础:从线性代数到随机过程

    深度学习是人工智能领域的一个重要分支,它主要通过模拟人类大脑中的神经网络来进行数据处理和学习。深度学习的核心技术是神经网络,神经网络由多个节点组成,这些节点之间有权重和偏置的连接。通过对这些节点进行训练,我们可以使神经网络具有学习和推理的能力

    2024年03月18日
    浏览(91)
  • 一、机器学习前的数学基础知识

    你说春天太短 还未来得及看见自己 就要粉碎成灯红酒绿的夏 那就开花呀 开他妈的 1.1 求和 假设现在我们要在纸上写下1加到100的简单求和运算: 1 + 2 +3 + 4 + 5 + ........ + 99 + 100 使用求和符号简化(读作“西格玛”): 对于不明确要加到多少的情况:  对集合使用求和符号:

    2024年02月16日
    浏览(63)
  • 机器学习的数学基础:从线性代数到梯度下降

    机器学习是人工智能的一个重要分支,它涉及到计算机程序自动化地学习或者预测事物的行为。机器学习的核心是算法,算法需要数学来支持。在本文中,我们将从线性代数到梯度下降的数学基础来讨论机器学习算法的核心。 机器学习的数学基础包括线性代数、微积分、概率

    2024年02月21日
    浏览(47)
  • 最优化计算方法(刘浩洋)本科生学习数学基础矩阵论部分

    一、前言   题主大二,正在学矩阵论(刚开始),同时学最优化方法一课,记录部分矩阵知识,可能需要部分线性代数基础。分享最近网课看到的学习路线。 跳过简单的部分,从向量开始记录。 二、笔记 2.1向量的定义         n个有次序的数所组成的数组,通常用 表示 2

    2023年04月22日
    浏览(42)
  • 【人工智能的数学基础】深度学习中的不确定性(Uncertainty)

    使用贝叶斯深度学习建模深度学习中的不确定性. paper:What Uncertainties Do We Need in Bayesian Deep Learning for Computer Vision? 现有的深度学习方法大多只能给出特定的预测结果,而不能给出结果的不确定性程度。 深度学习中输出结果的不确定性主要有两种: 偶然不确定性 是由数据中的

    2024年02月07日
    浏览(58)
  • 【深度学习】S2 数学基础 P4 微积分(下)偏导数与链式法则

    总结来说 ,深度学习的核心在于优化;优化的重点在于降低损失值;降低损失值需要通过反向梯度下降;而微积分,判断的就是梯度下降的方向和大小。 铺开来说 ,深度学习的核心目标是通过优化过程来训练模型,以便在给定输入数据时能够产生准确的预测。而为了评估模

    2024年02月21日
    浏览(53)
  • 【人工智能的数学基础】瑞利商在机器学习中的应用

    Rayleigh Quotient and Generalized Rayleigh Quotient. 瑞利商的定义 瑞利商的性质 广义瑞利商 瑞利商在机器学习中的应用 对于一个 Hermitan 矩阵

    2024年02月07日
    浏览(64)
  • 【人工智能的数学基础】机器学习中的假设检验(Hypothesis Test)

    Hypothesis Test in Machine Learning. 在统计学中,总体分布往往是未知的,只能从中进行有限的抽样从而获得部分样本的信息。有时需要对总体的特征做出某种假设,如何判断该假设是正确的还是错误的?需要借助 假

    2024年02月07日
    浏览(48)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包