线性代数高级--二次型--特征值与特征向量--特征值分解--多元函数的泰勒展开

这篇具有很好参考价值的文章主要介绍了线性代数高级--二次型--特征值与特征向量--特征值分解--多元函数的泰勒展开。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

目录

二次型

概念

示例  

性质和特点

特征值与特征向量

概念

示例 

注意

 性质和特点

 特征值分解

注意

多元函数的泰勒展开 

回顾一元函数泰勒展开

 多元函数的泰勒展开


二次型

概念

二次型是一个关于向量的二次多项式,通常用矩阵表示。

考虑一个n维向量x = [x₁, x₂, ..., xn],对应的二次型可以表示为:

Q(x) = xᵀA𝑥

其中,xᵀ表示向量x的转置,A是一个n×n的实对称矩阵。

线性代数高级--二次型--特征值与特征向量--特征值分解--多元函数的泰勒展开

示例  

二次型可以使用向量与矩阵相乘的形式表示 

线性代数高级--二次型--特征值与特征向量--特征值分解--多元函数的泰勒展开

为了研究方便,二次型使用x^T^Ax的形式表示,其中,中间的矩阵A为对称矩阵 

线性代数高级--二次型--特征值与特征向量--特征值分解--多元函数的泰勒展开

性质和特点

  1. 对称性:如果系数矩阵A是对称矩阵,即Aᵀ = A,那么二次型Q(x)是对称的,即Q(x) = Q(xᵀ)。

  2. 标准形式:通过合适的线性变换,可以将任何二次型转化为标准形式。标准形式是指二次型只包含平方项,而没有交叉项和常数项。通过正交变换可以实现这样的转化。

  3. 矩阵特征值:二次型的矩阵A的特征值与二次型的正负定性相关。如果A的所有特征值都大于零,则二次型是正定的;如果所有特征值都小于零,则二次型是负定的;如果特征值既有正又有负,则二次型是不定的。

  4. 几何意义:二次型在几何上表示为一个二次曲面或椭圆抛物面。二次型的正负定性与曲面的凸凹性和极值点的性质相关。

  5. 应用:二次型在优化问题、矩阵理论、统计学、物理学等领域中有广泛的应用。它们在最小二乘问题、二次规划、协方差矩阵分析、精确度矩阵等方面发挥重要作用。

特征值与特征向量

概念

设A是n阶方阵,如果数λ和n维非零向量x使关系式Ax = λx成立,那么,λ称为方阵A

的特征值;非零向量x称为A的属于特征值λ的特征向量。

示例 

线性代数高级--二次型--特征值与特征向量--特征值分解--多元函数的泰勒展开

则数3为方阵[4 -2,1 1]的特征值;非零向量(2,1)为方阵[4 -2,1 1]的属于特征值3的特征向量。

注意

  • 特征值与特征向量是针对方阵而言的
  • 特征向量是非零向量
  • 同一个特征值λ对应无穷多个特征向量

 性质和特点

  1. 特征向量:特征向量v是与特征值λ关联的非零向量。它表示在矩阵A的作用下,保持在该方向上只发生伸缩变化而不改变方向。

  2. 特征值:特征值λ是与特征向量v关联的标量。它表示特征向量v在矩阵A的作用下发生的伸缩比例。特征值可以是实数或复数。

  3. 特征空间:特征空间是由所有与特定特征值关联的特征向量所张成的向量空间。对于特定特征值λ,特征空间包含所有满足A·v = λ·v的特征向量v。

  4. 特征分解:特征分解是将一个矩阵分解为特征向量和特征值的形式。对于一个可对角化的矩阵,可以表示为 A = P·D·P⁻¹,其中P是由特征向量组成的矩阵,D是对角矩阵,其对角线上的元素是矩阵A的特征值。

  5. 特征值与矩阵性质:特征值与矩阵的很多性质和行为密切相关。例如,特征值的个数等于矩阵的秩;矩阵的特征值之和等于其主对角线上元素之和(迹);特征值的乘积等于矩阵的行列式。

 特征值分解

特征值分解是将一个矩阵分解成下面的形式:

线性代数高级--二次型--特征值与特征向量--特征值分解--多元函数的泰勒展开

其中Q是这个矩阵A的特征向量组成的矩阵,Σ是一个对角矩阵(只有对角线上有非0元

素的矩阵称为对角矩阵),对角线的值是由矩阵所有特征值构成的。

其中,Q是这个矩阵A的特征向量组成的矩阵,Σ是一个对角矩阵,每一个对角线元素

就是一个特征值,里面的特征值是由大到小排列的,这些特征值所对应的特征向量就是描述

这个矩阵变化方向(从主要的变化到次要的变化排列)。也就是说矩阵A的信息可以由其特

征值和特征向量表示。

对于矩阵为高维的情况下,那么这个矩阵就是高维空间下的一个线性变换。可以想象,

这个变换也同样有很多的变换方向,我们通过特征值分解得到的前N个特征向量,那么就对

应了这个矩阵最主要的N个变化方向。我们利用这前N个变化方向,就可以近似这个矩阵

(变换)。

注意

  • 特征值分解可以得到特征值与特征向量
  • 特征值表示的是这个特征到底有多重要,而特征向量表示这个特征是什么
  • 特征值分解是针对于方阵而言

多元函数的泰勒展开 

回顾一元函数泰勒展开

函数 f(x)在含 x~k~ 的某个开区间 (a,b)内具有直到 n 阶导数,则对任意的 x∈(a,b)有

线性代数高级--二次型--特征值与特征向量--特征值分解--多元函数的泰勒展开

其中,x~0~是泰勒公式的展开点,R~n~(x)是泰勒公式的余项。

展开二项的形式为:

线性代数高级--二次型--特征值与特征向量--特征值分解--多元函数的泰勒展开

 多元函数的泰勒展开

f(x~k~)是标量,而且是个常数;不过注意(x-x~k~)是个向量,然后T转置这里是把梯度和

(x-x~k~)做内积;二次项的内积,是和 hessian 矩阵做内积。

线性代数高级--二次型--特征值与特征向量--特征值分解--多元函数的泰勒展开

 多元函数泰勒展开是非常有用的,例如在推导梯度下降法,牛顿法的时候会用的到的。文章来源地址https://www.toymoban.com/news/detail-509311.html

到了这里,关于线性代数高级--二次型--特征值与特征向量--特征值分解--多元函数的泰勒展开的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 线性代数 第六章 二次型

    一、矩阵表示 称为二次型的秩。只含有变量的平方项,所有混合项系数全是零,称为标准形;平方项的系数为1、-1或0,称为规范形。 二次型的标准形不唯一,可以用不用的坐标变换化二次型为标准形;二次型的规范形唯一。 可以用正交变换先把二次型化为标准形,然后再做

    2024年02月06日
    浏览(35)
  • 线性代数 --- 特征值与特征向量

    Part I:特征值,特征向量的意义与性质         已知任意向量x,现有矩阵A对x进行操作后,得到新的向量Ax。这就好比是自变量x与函数f(x)的关系一样,向量x通过类似“函数”的处理得到了一个新的向量Ax。这个新的向量可能和原向量x方向相同,也可能不同(事实上大多都不同

    2024年03月10日
    浏览(38)
  • 线性代数——特征值和特征向量

    学习高等数学和线性代数需要的初等数学知识 线性代数——行列式 线性代数——矩阵 线性代数——向量 线性代数——线性方程组 线性代数——特征值和特征向量 线性代数——二次型 本文大部分内容皆来自李永乐老师考研教材和视频课。 设 A = [ a i j ] A=[a_{ij}] A = [ a ij ​

    2024年02月15日
    浏览(33)
  • 线性代数(六)| 二次型 标准型转换 正定二次型 正定矩阵

    和第五章有什么样的联系 首先上一章我们说过对于对称矩阵,一定存在一个正交矩阵Q,使得$Q^{-1}AQ=B $ B为对角矩阵 那么这一章中,我们讲到,二次型写成矩阵后本质上就是一个对称矩阵,而我们想把它变的标准型,不就正好是一个对角矩阵,那么实际上我们的这个化标准型

    2024年02月03日
    浏览(32)
  • 线性代数基础 | 特征值和特征向量

    一、特征值和特征向量的定义 A. 特征值的定义和性质 特征值(eigenvalue)是线性代数中一个重要的概念,用于描述线性变换对于某个向量的伸缩效应。在本文中,我们将深入讨论特征值的定义和性质。 首先,我们考虑一个线性变换(或者说一个方阵)A。对于一个非零向量v,

    2024年02月16日
    浏览(31)
  • 线性代数 --- 特征值与特征向量(下)

    Eigen Values Eigen Vectors Part III:如何求解特征向量与特征值 对于一般矩阵A,如何找到他的特征值与特征向量? Step I: Find λ first! 首先,我们有方程: 但这里有两个未知数,因此我们把上面的方程改写一下:         这个齐次方程的解就是矩阵(A-I)的零空间,抛开平凡解全0向

    2024年03月14日
    浏览(35)
  • 线性代数|证明:矩阵不同特征值对应的特征向量线性无关

    定理 1 设 λ 1 , λ 2 , ⋯   , λ m lambda_1,lambda_2,cdots,lambda_m λ 1 ​ , λ 2 ​ , ⋯ , λ m ​ 是方阵 A boldsymbol{A} A 的 m m m 个特征值, p 1 , p 2 , ⋯   , p m boldsymbol{p}_1,boldsymbol{p}_2,cdots,boldsymbol{p}_m p 1 ​ , p 2 ​ , ⋯ , p m ​ 依次是与之对应的特征向量,如果 λ 1 , λ 2 , ⋯   , λ

    2024年02月07日
    浏览(45)
  • 线性代数-二次型及其正定性

    二次型:含有n个变量的二次齐次多项式 二次型矩阵:x T Ax,其中A为实对称矩阵 任给一个实二次型,就唯一确定一个实对称矩阵;反之,任给一个实对称矩阵,也可以唯一确认一个实二次型,因此,实二次型与实对称矩阵之间存在一一对应关系, 称实对称矩阵A为二次型f的矩阵,二次型f称为

    2024年02月08日
    浏览(39)
  • 线性代数基础【5】特征值和特征向量

    一、特征值和特征向量的理论背景 在一个多项式中,未知数的个数为任意多个,且每一项次数都是2的多项式称为二次型,二次型分为两种类型:即非标准二次型及标准二次型 注意: ①二次型X^T AX为非标准二次型的充分必要条件是A^T=A 但A为非对角矩阵;二次型 X^TAX为标准二次型的充

    2024年01月20日
    浏览(39)
  • 线性代数——特征值与特征向量的性质

    (1)设A为方阵,则A与 A T A^{T} A T 有相同的特征值。 此处用到了两个关键性质,一:单位阵的转置为其本身,二:转置并不改变行列式的值。 (2): 设n阶方阵A=( a i j a_{ij} a ij ​ )的n个特征值为 λ 1 lambda_{1} λ 1 ​ , λ 2 lambda_{2} λ 2 ​ ,… λ n lambda_{n} λ n ​ ,则 λ 1 + λ

    2024年02月04日
    浏览(35)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包