线性代数 --- 矩阵的QR分解,A=QR

这篇具有很好参考价值的文章主要介绍了线性代数 --- 矩阵的QR分解,A=QR。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

矩阵的QR分解,格拉姆施密特过程的矩阵表示

        首先先简单的回顾一下Gram-Schmidt正交化过程的核心思想。即,如何把一组线性无关的向量构造成一组标准正交向量,或者说,如何把一般的线性无关矩阵A变成标准正交矩阵Q。


        给定一组线性无关的向量a,b,c,我们希望构造出一组相互垂直的单位向量q1,q2,q3。

第一步:

        得到这组正交向量中的第一个向量A,这就是说,我们令新的正交向量中的第一个向量A与向量a的方向相同,且大小相同。(这里我们用到了矩阵A中的向量a

第二步:

        现在,A已经确定了,第二个向量B必须垂直于A。我们令b减去b在A上的投影Pb,得到我们想要的第二个向量B。a,b与A,B不同,但都在同一个平面内。

注意:向量B一定不等于0,因为B是b在a(A)上的投影/分量之外的分量e。如果a,b线性相关,则b在a上投影后再无其他分量。这与a,b线性无关这一事实相左。(这里我们用到了矩阵A中的向量b)

线性代数 --- 矩阵的QR分解,A=QR,Linear Algebra,线性代数,格拉姆施密特,QR分解,标准正交,gram schmidt,linear algebra,矩阵分解

第三步:

        现在我们基于c去找第三个向量C,C必须垂直于A,B所张成的平面,即A,B所在的子空间。我们令c减去c在这个平面上的投影Pc(注意:c在A,B所构建的子空间上的投影,等于向量c分别在A和B上的投影之和),得到向量C。(这里我们用到了矩阵A中的向量c

线性代数 --- 矩阵的QR分解,A=QR,Linear Algebra,线性代数,格拉姆施密特,QR分解,标准正交,gram schmidt,linear algebra,矩阵分解

        如果矩阵A中还有第四个,第五个向量d,e,f,g......的话,我们只需在这个基础上重复上述过程就能找到新的正交向量D,E,F,G......。

第四步:

当我们把前面的正交向量A,B,C全部找完以后,让他们分别除以各自的长度,最终得到一组标准正交向量q1,q2,q3。这最后一步被称为向量的归一化。

线性代数 --- 矩阵的QR分解,A=QR,Linear Algebra,线性代数,格拉姆施密特,QR分解,标准正交,gram schmidt,linear algebra,矩阵分解


下面给出了gram-schmidt正交过程的一个实例,已知一组线性无关的向量a,b,c:

第一步:令A=a得到

第二步:从b中减去b在A上的投影得到

第三步:从c中减去c在AB平面上的投影得到

线性代数 --- 矩阵的QR分解,A=QR,Linear Algebra,线性代数,格拉姆施密特,QR分解,标准正交,gram schmidt,linear algebra,矩阵分解

第四步:归一化

一般而言,A,B,C往往会含有分数。而几乎所有的q1,q2,q3都会包含根号。

结论:

        任何一个线性无关的向量组a1,a2,...,an都可以用Gram-schmidt正交化过程转化成一个正交向量组A1,A2,...,An:首先令A1=a1,然后使每个Ai与前面的A1,A2,...,Ai-1均正交

对每个i而言,由原来a1,a2,...,ai所张成的子空间也由A1,A2,...,Ai所张成。对所有Ai归一化后最终得到的向量组qi是一组标准正交向量


QR分解

        正如我们在高斯消元法看到的,通过对矩阵A的一系列消元,最终的得到了消元矩阵U。事后,我把每一步的消元过程记录下来并以矩阵的形式表示得到了上三角矩阵L,得到了矩阵A的LU分解。Gram-schmidt正交化过程也相仿,通过一系列计算把矩阵A变成了标准正交矩阵Q,应当也能找到一个方法把这个过程记录下来,并用矩阵的形式表示。

        LU分解的精髓在于,通过矩阵L我们能把计算结果U还原回去,这里也一样。要知道怎么把Gram-Schmidt正交化最终得到的结果q1,q2,q3还原回去?

根据我们刚才的例子,有:

线性代数 --- 矩阵的QR分解,A=QR,Linear Algebra,线性代数,格拉姆施密特,QR分解,标准正交,gram schmidt,linear algebra,矩阵分解

如果用q1,q2,q3来表示a,b,c则有如下方程组:

线性代数 --- 矩阵的QR分解,A=QR,Linear Algebra,线性代数,格拉姆施密特,QR分解,标准正交,gram schmidt,linear algebra,矩阵分解

结合上述左右两个方程组,最终得到如下方程组:

线性代数 --- 矩阵的QR分解,A=QR,Linear Algebra,线性代数,格拉姆施密特,QR分解,标准正交,gram schmidt,linear algebra,矩阵分解

记作:QR方程组

上面的这个用q1,q2,q3的线性组合来表示a,b,c的方程组用矩阵的形式可写作:

        原来的矩阵A被分解成了一个标准正交矩阵Q和一个上三角矩阵R的乘积,得到了线性代数中和LU分解同样重要,同样有用的另一个分解,QR分解

        矩阵R对角线上的元素正好是正交向量A,B,C的长度。现在我们再回过头去看看上面的QR方程组,可以看到QR方程组把a,b,c这三个矩阵A中的列向量表示成了q1,q2,q3的线性组合。且,a是q1的线性组合(相应的权重系数在R的第一列),不涉及q2,q3。b是q1,q2的线性组合(相应的权重系数在R的第二列),不涉及q3。只有c是q1,q2,q3的线性组合(相应的权重系数在R的第三列)。这也是为什么R是一个上三角矩阵的原因。又因为R对角线上的元素都是正的,因而是可逆的,由此,得出了关于QR分解的重要结论:

        任何由一组线性无关的列向量所组成的矩阵A都可以分解为A=QR的形式。Q的列向量一组标准正交向量,R是一个可逆的上三角矩阵。如果原矩阵A是方阵,则矩阵Q和矩阵R也是方阵,同时方阵矩阵Q也顺理成章的成为了标准正交矩阵。


QR分解的一般形式:

        在之前的例子中,我基于一个实例得到了A的QR分解。并且发现向量a,b,c是单位正交向量q1,q2,q3的线性组合。现在我们已经发现了a,b,c与q1,q2,q3之间的联系,只需重新用q1,q2,q3来表示a,b,c(即:把原始向量中的a,b,c用q1,q2,q3的线性组合来表示)就能找到矩阵A与矩阵Q之间的联系---矩阵R。

第一步

线性代数 --- 矩阵的QR分解,A=QR,Linear Algebra,线性代数,格拉姆施密特,QR分解,标准正交,gram schmidt,linear algebra,矩阵分解

首先,我们知道合成a与q1方向相同(a与q2,q3无关),且a在q1上的投影就是a,建立了q1与a的关系

又因为,我们已知q1为单位向量,所以上式可简化为:

第二步:b等于b在q1,q2上的投影之和(与q3无关)

线性代数 --- 矩阵的QR分解,A=QR,Linear Algebra,线性代数,格拉姆施密特,QR分解,标准正交,gram schmidt,linear algebra,矩阵分解

线性代数 --- 矩阵的QR分解,A=QR,Linear Algebra,线性代数,格拉姆施密特,QR分解,标准正交,gram schmidt,linear algebra,矩阵分解

根据q1,q2的长度为1,得到:

 线性代数 --- 矩阵的QR分解,A=QR,Linear Algebra,线性代数,格拉姆施密特,QR分解,标准正交,gram schmidt,linear algebra,矩阵分解

第三步:c等于c在q1,q2,q3这三个向量上的投影之和

线性代数 --- 矩阵的QR分解,A=QR,Linear Algebra,线性代数,格拉姆施密特,QR分解,标准正交,gram schmidt,linear algebra,矩阵分解

线性代数 --- 矩阵的QR分解,A=QR,Linear Algebra,线性代数,格拉姆施密特,QR分解,标准正交,gram schmidt,linear algebra,矩阵分解

  根据q1,q2,q3的长度都为1,得到: 

    线性代数 --- 矩阵的QR分解,A=QR,Linear Algebra,线性代数,格拉姆施密特,QR分解,标准正交,gram schmidt,linear algebra,矩阵分解

至此,已经得到了a,b,c基于q1,q2,q3的线性组合,用方程表示如下:

线性代数 --- 矩阵的QR分解,A=QR,Linear Algebra,线性代数,格拉姆施密特,QR分解,标准正交,gram schmidt,linear algebra,矩阵分解

将上述方程写成矩阵的形式,即得到了著名的QR分解的矩阵表达式:

线性代数 --- 矩阵的QR分解,A=QR,Linear Algebra,线性代数,格拉姆施密特,QR分解,标准正交,gram schmidt,linear algebra,矩阵分解

A=QR是gram-schmidt正交化过程的nutshell。等式两边同时乘以Q的逆矩阵,得到:


QR分解的应用

用QR分解求解一般线性方程组:

1,将A=QR代入Ax=b,得到QRx=b。

2,等式两边同时乘以,并利用,得到

3,令,得到。

4,先用正向迭代法算出y,然后用反向迭代法算出x。

用QR分解求解正规方程:

1,当方程组Ax=b无解时,两边同时乘以得到正规方程。

2,代入A=QR后,

3,正规方程可简化为,等式两边同时乘以的逆得到


  (全文完)

作者 --- 松下J27

参考文献(鸣谢):

1,Introduction to Linear Algebra,Fifth Edition - Gilbert Strang

2,线性代数及其应用,候自新,南开大学出版社 1990

3,Linear Algebra and Its Applications, Second Edition, Gilbert Strang, 1980

4,Linear Algebra and Its Applications, Fourth Edition, Gilbert Strang, 2005

5,Gram-Schmidt 正交化與 QR 分解 | 線代啟示錄

线性代数 --- 矩阵的QR分解,A=QR,Linear Algebra,线性代数,格拉姆施密特,QR分解,标准正交,gram schmidt,linear algebra,矩阵分解

(配图与本文无关)

版权声明:文中的部分图片,文字或者其他素材,可能来自很多不同的网站和说明,在此没法一一列出,如有侵权,请告知,立即删除。欢迎大家转载,但是,如果有人引用或者COPY我的文章,必须在你的文章中注明你所使用的图片或者文字来自于我的文章,否则,侵权必究。 ----松下J27文章来源地址https://www.toymoban.com/news/detail-718981.html

到了这里,关于线性代数 --- 矩阵的QR分解,A=QR的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • MIT - 线性代数-LU_LDU分解|单位矩阵

    U为消元结果(行变换),L为行变换矩阵的逆矩阵 D为主元(Pivot)A的主对角线元素,在这里为2、3,U为对D做列变换使其得到LU中的U 为什么要写成A=LU而不是E21A=U呢?因为A=LU中L只包含行变换信息,E21A=U还有额外的数字 2×2 2 3×3 3×2=6 4×4 4×3×2=24 结论:单位矩阵的逆=转置矩阵(

    2024年01月23日
    浏览(34)
  • 线性代数 --- LU分解(Gauss消元法的矩阵表示)

                     首先, LU分解实际上就是用矩阵的形式来记录的高斯消元的过程 。其中,对矩阵A进行高斯消元后的结果为矩阵U,是LU分解后的两个三角矩阵中其中之一。U是一个上三角矩阵,U就是上三角矩阵upper triangle的首字母的大写。         高斯消元的每一步都

    2024年02月02日
    浏览(42)
  • 【线性代数/机器学习】矩阵的奇异值与奇异值分解(SVD)

    我们知道,对于一个 n × n ntimes n n × n 的矩阵 A A A ,如果 A A A 有 n n n 个线性无关的特征向量,则 A A A 可以相似对角化,即存在可逆矩阵 P P P 使得 A = P Λ P − 1 A=PLambda P^{-1} A = P Λ P − 1 ,其中 Λ Lambda Λ 是 A A A 的特征值组成的对角阵。 P P P 的列实际上就是 A A A 的特征向

    2024年02月10日
    浏览(32)
  • 线性代数 --- Gram-Schmidt, 格拉姆-施密特正交化(上)

            在前面的几个最小二乘的文章中,实际上已经看到Gram-Schmidt正交化的影子。在我个人看来,Gram-Schmidt正交化更像是专门为了简化最小二乘计算而量身定制的一种算法。下面,我会从最小二乘的经典应用 --- \\\"拟合直线\\\"开始,慢慢引出Gram-Schmidt的核心思想 —— 那就是,

    2024年02月10日
    浏览(32)
  • 线性代数 --- Gram-Schmidt, 格拉姆-施密特正交化(下)

            到目前为止,我们都是在反复强调“对于无解的方程组Ax=b而言,如果矩阵A是标准正交矩阵的话,就怎么怎么好了。。。。”。因为,不论是求投影还是计算最小二乘的正规方程,他们都包含了的逆的计算。只有当A为标准正交矩阵Q时,就不再需要计算的逆了,这时,

    2024年02月13日
    浏览(39)
  • 04 MIT线性代数-矩阵的LU分解 Factorization into A=LU

    目的: 从矩阵的角度理解高斯消元法, 完成 LU 分解得到 A = LU U 为上三角阵(Upper triangular matrix),  L 为下三角阵(Lower triangular matrix), 通过分解得到对角阵 D (diagonal matrix) 设定一组消元矩阵,其中 E31 为单位阵 I ,其它两个消元矩阵如下: row3 -5 newrow2 = row3 -5( row2 -2 row1 )= row3 -

    2024年02月07日
    浏览(27)
  • 矩阵分解是计算机科学中的一个重要研究领域,涉及到向量空间理论、线性代数、密码学等领域。以下是100篇热门博客文

    作者:禅与计算机程序设计艺术 矩阵分解是计算机科学中的一个重要研究领域,涉及到向量空间理论、线性代数、密码学等领域。在机器学习和深度学习等领域中,矩阵分解被广泛应用。本文将介绍矩阵分解的相关原理、实现步骤以及应用示例。 2.1 基本概念解释 矩阵分解是

    2024年02月15日
    浏览(39)
  • [Eigen中文文档] 线性代数与分解

    文档总目录 英文原文(Linear algebra and decomposition) 本节说明如何求解线性系统,计算各种分解,如 LU 、 QR 、 SVD 、 特征分解 …… 求解基本线性系统 问题 :有一个方程组,写成矩阵方程如下: A x = b Ax = b A x = b 其中 A A A 和 b b b 是矩阵(作为一种特殊情况, b b b 也可以是一个

    2024年02月07日
    浏览(32)
  • 数值线性代数:奇异值分解SVD

    本文记录计算矩阵奇异值分解SVD的原理与流程。 注1:限于研究水平,分析难免不当,欢迎批评指正。 设列满秩矩阵,若的特征值为,则称为矩阵的奇异值。 设,则存在正交矩阵与,使得 其中,,,即为矩阵的奇异值。 考虑下述两种情形: 情形1: 其中, 由此可以看出,

    2024年02月15日
    浏览(41)
  • 线性代数高级--二次型--特征值与特征向量--特征值分解--多元函数的泰勒展开

    目录 二次型 概念 示例   性质和特点 特征值与特征向量 概念 示例  注意  性质和特点  特征值分解 注意 多元函数的泰勒展开  回顾一元函数泰勒展开  多元函数的泰勒展开 概念 二次型是一个关于向量的二次多项式,通常用矩阵表示。 考虑一个n维向量x = [x₁, x₂, ...,

    2024年02月11日
    浏览(41)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包