深度学习-必备的数学知识-线性代数5

这篇具有很好参考价值的文章主要介绍了深度学习-必备的数学知识-线性代数5。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

深度学习

必备的数学知识

线性代数

在数学中,分解通常指的是将一个复杂的对象或结构分解为更简单的部件或组件。这个概念在许多数学领域都有应用。在线性代数中,矩阵分解是常见的一个主题,我们通过分解矩阵来发现它不明显的性质。
矩阵有许多种的分解方式:LU分解、QR分解、特征分解、奇异值分解等
这篇文章将会讲解其中的两种分解方式:特征分解、奇异值分解。

特征分解

矩阵的特征分解是指将矩阵分解成一组特征向量和一组特征值。
满足
A v = λ v \mathbf{A}\mathbf{v}=\lambda\mathbf{v} Av=λv
的向量 v \mathbf{v} v称为右特征向量(right eigenvector),特征向量与矩阵相乘相当于对于它自身进行缩放。标量 λ \lambda λ称为特征值(eigenvalue)。需要注意的是,特征向量是非零向量。
满足
v T A = v λ \mathbf{v}^T\mathbf{A}=\mathbf{v}\lambda vTA=vλ
的特征向量称为左特征向量(left eigenvector);
在线性代数中,我们通常讨论的是右特征向量。
矩阵分解的目标是将找到一组线性无关的特征向量作为新的基(基是一个向量空间中的一组线性无关的向量,它们可以组合起来生成整个向量空间)。在这个基下,原矩阵可以被表示为一个 d i a g ( v ) diag(\mathbf{v}) diag(v)。其中 v \mathbf{v} v是由特征值组成的向量。
并不是所有的矩阵都可以进行特征分解,主要是因为并不是每一个矩阵都由足够的线性无关的特征向量来构成一个完整的基。有些矩阵的特征分解还涉及到了复数。但是如果一个矩阵是对称的,那么它总是可以被特征分解,这桑因为对称矩阵总是可以找到一个由其特征向量构成的正交基。
对于每一个实对称矩阵,可以将它分解成实特征向量和实特征值:
A = Q Λ Q T \mathbf{A}=\mathbf{Q}\mathbf{\Lambda}\mathbf{Q}^T A=QT
其中矩阵 Q \mathbf{Q} Q是由特征向量为列向量组成的正交矩阵,矩阵 Λ \mathbf{\Lambda} Λ是以特征值为对角元素的对角矩阵。特征向量 Q : , i Q_{:,i} Q:,i对应的特征值是 Λ i , i \Lambda_{i,i} Λi,i
让我们详细看一下这个式子。这个式子分两步运算:
第一步:计算 Q Λ \mathbf{Q}\mathbf{\Lambda} ,这一步将 A \mathbf{A} A 从原来的坐标系转换到特征向量构成的新坐标系中的对角矩阵。
第二步:计算( Q Λ \mathbf{Q}\mathbf{\Lambda} ) Q T \mathbf{Q}^T QT 。乘以 Q T \mathbf{Q}^T QT是将第一步得到的新坐标转换为原来的坐标。
特征分解可以被视为一种坐标系的转换。在特征分解中,我们找到一组新的基向量(即特征向量),这些基向量定义了一个新的坐标系。在这个新的坐标系中,原矩阵被表示为一个对角矩阵,其对角线上的元素是特征值。这个对角矩阵在新的坐标系中更容易处理,因为它只在对角线上有非零元素。所以,特征分解可以被看作是从原坐标系到特征向量定义的新坐标系的转换。
通过特征分解我们可以知道很多关于矩阵的信息:

  • 矩阵是奇异的,当且仅当它含有零特征值
  • 实对称矩阵的特征分解可以用于优化二次方程 f ( x ) = x T A x f(x)=x^T\mathbf{A}x f(x)=xTAx,其中现在 ∣ ∣ x ∣ ∣ 2 = 1 ||x||_2=1 ∣∣x2=1。如果 x \mathbf{x} x等于 A \mathbf{A} A的某个特征向量时, f f f将返回对应的特征值。在限制条件下,函数 f f f的最大值是最大特征值,最小值是最小特征值。

如果一个矩阵的所有特征值都是正数,则称为正定(positive definite);所有特征值都是非负数,则称为半正定(positive semidefinite);所有特征值都是负数,则称为负定(negative definite);所有特征值都是非正数,则称为半负定(negative semidefinite)。

奇异值分解

奇异值分解(singular value decomposition,SVD)是将矩阵分解成奇异向量(singular)和奇异值(singular value)。每一个实数矩阵都有一个奇异值分解。奇异值分解可以让我们得到一些与特征分解相同的信息。
我们将矩阵 A \mathbf{A} A分解成三个矩阵的乘积
A = U D V T \mathbf{A}=\mathbf{U}\mathbf{D}\mathbf{V}^T A=UDVT
矩阵 U \mathbf{U} U V \mathbf{V} V被定义为正交矩阵,矩阵 V \mathbf{V} V是对角矩阵。
如果 A \mathbf{A} A是一个m行n列的矩阵,则 U \mathbf{U} U是一个m行m列的方阵, D \mathbf{D} D是一个m行n列的矩阵, V \mathbf{V} V是一个n行n列的方阵。
矩阵 U U U的列向量称为左奇异向量(left singular vector),它是 A A T \mathbf{A}\mathbf{A}^T AAT的特征向量;矩阵 V \mathbf{V} V的列向量被称为右奇异向量(right singular vector) ,它是 A T A \mathbf{A}^T\mathbf{A} ATA的特征向量;矩阵 D \mathbf{D} D的对角元素称为矩阵 A \mathbf{A} A的奇异值(singular value),非零奇异值是 A T A \mathbf{A}^T\mathbf{A} ATA特征值的平方根,同时也是 A A T \mathbf{A}\mathbf{A}^T AAT的平方根。文章来源地址https://www.toymoban.com/news/detail-787797.html

到了这里,关于深度学习-必备的数学知识-线性代数5的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 深度学习的数学基础:从线性代数到随机过程

    深度学习是人工智能领域的一个重要分支,它主要通过模拟人类大脑中的神经网络来进行数据处理和学习。深度学习的核心技术是神经网络,神经网络由多个节点组成,这些节点之间有权重和偏置的连接。通过对这些节点进行训练,我们可以使神经网络具有学习和推理的能力

    2024年03月18日
    浏览(91)
  • 深度学习基础知识(三)-线性代数的实现

    1.标量使用 标量由只有一个元素的张量表示,标量可以做最简单的计算。 结果: 2.向量使用 向量:将标量值组成的列表就是向量 结果: 访问张量的长度 只有一个轴的张量,形状只有一个元素 创建一个二维矩阵5行4列,然后将矩阵做转置,轴对称的一个转置 结果:其实就是把

    2024年02月10日
    浏览(59)
  • 李沐 《动手学深度学习》预备知识 线性代数与微积分

    李沐《动手学深度学习》预备知识 张量操作与数据处理 教材:李沐《动手学深度学习》 标量(scalar) 仅包含一个数值被称为标量,标量由只有一个元素的张量表示。 向量 向量可以被视为标量值组成的列表,向量由一维张量表示。一般来说,张量可以具有任意长度,取决于

    2024年01月20日
    浏览(66)
  • <2>【深度学习 × PyTorch】pandas | 数据预处理 | 处理缺失值:插值法 | networkx模块绘制知识图谱 | 线性代数初步

      你永远不可能真正的去了解一个人,除非你穿过ta的鞋子,走过ta走过的路,站在ta的角度思考问题,可当你真正走过ta走过的路时,你连路过都会觉得难过。有时候你所看到的,并非事实真相,你了解的,不过是浮在水面上的冰山一角。—————《杀死一只知更鸟》   🎯

    2024年02月01日
    浏览(48)
  • 线性代数 | 机器学习数学基础

    前言 线性代数 (linear algebra)是关于向量空间和线性映射的一个数学分支。它包括对线、面和子空间的研究,同时也涉及到所有的向量空间的一般性质。 本文主要介绍 机器学习 中所用到的线性代数 核心基础概念 ,供读者学习阶段查漏补缺或是 快速学习参考 。 线性代数

    2024年01月21日
    浏览(68)
  • 陶哲轩必备助手之人工智能数学验证+定理发明工具LEAN4 [线性代数篇2]矩阵乘积的行列式变形(下篇)

    视频链接,求个赞哦: 陶哲轩必备助手之人工智能数学验证+定理发明工具LEAN4 [线性代数篇2]矩阵乘积的行列式变形(下篇)_哔哩哔哩_bilibili import Mathlib.LinearAlgebra.Matrix.Determinant import Mathlib.GroupTheory.Perm.Fin import Mathlib.GroupTheory.Perm.Sign import Mathlib.Data.Real.Sqrt import Mathlib.Data.Li

    2024年01月23日
    浏览(51)
  • 陶哲轩必备助手之人工智能数学验证+定理发明工具LEAN4 [线性代数篇2]矩阵乘积的行列式变形(上篇)

    视频链接: 陶哲轩必备助手之人工智能数学验证+定理发明工具LEAN4 [线性代数篇2]矩阵乘积的行列式变形(上篇)_哔哩哔哩_bilibili import Mathlib.LinearAlgebra.Matrix.Determinant import Mathlib.GroupTheory.Perm.Fin import Mathlib.GroupTheory.Perm.Sign import Mathlib.Data.Real.Sqrt import Mathlib.Data.List.Perm -- 本文

    2024年02月03日
    浏览(44)
  • 深度学习笔记之线性代数

    一、向量 在数学表示法中,向量通常记为粗体小写的符号(例如, x , y , z )当向量表示数据集中的样本时,它们的值具有一定的现实意义。例如研究医院患者可能面临的心脏病发作风险,用一个向量表示一个患者,其分量为最近的生命特征、胆固醇水平、每天运动时间等

    2024年02月08日
    浏览(49)
  • 【学习笔记】(数学)线性代数-矩阵的概念和特殊矩阵

    由 m × n mtimes n m × n 个数按一定的次序排成的 m m m 行 n n n 列的矩形数表成为 m × n mtimes n m × n 的矩阵,简称 矩阵 (matrix)。 横的各排称为矩阵的 行 ,竖的各列称为矩阵的 列 。 元素为实数的称为 实矩阵 ,一般情况下我们所讨论的矩阵均为实矩阵。 1 行 n n n 列的矩阵称为

    2024年02月09日
    浏览(45)
  • 动手学深度学习4 线性代数

    视频 :https://www.bilibili.com/video/BV1eK4y1U7Qy/?spm_id_from=autoNextvd_source=eb04c9a33e87ceba9c9a2e5f09752ef8 课件 :https://courses.d2l.ai/zh-v2/assets/pdfs/part-0_5.pdf 本节主要是介绍线性代数中 向量 矩阵的一些定义及计算规则。 1. 简单操作 一些简单的数学公式。 c = a + b c = a · b c = sin a 2. 标量的长度

    2024年02月01日
    浏览(45)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包