由黑塞(Hessian)矩阵引发的关于正定矩阵的思考

这篇具有很好参考价值的文章主要介绍了由黑塞(Hessian)矩阵引发的关于正定矩阵的思考。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

最近看论文,发现论文中有通过黑塞(Hessian)矩阵提高电驱系统稳定性的应用。所以本篇主要从Hessian矩阵的性质出发,对其中正定矩阵的判定所引发的想法进行记录。

(其实看论文出现黑塞很惊奇,因为前不久刚读了作家黑塞的《德米安:彷徨少年时》,所以在这一领域的黑塞也做个记录吧。。)


首先,我理解的Hessian矩阵是对一个多元函数求最优的方法,百度百科上这样记载的:

hessian矩阵是否正定,课程学习,矩阵,线性代数,学习,数据分析,Powered by 金山文档

图1 百度百科上关于Hessian矩阵的表述图

我们最关注的是求极小值求最优的问题,所以,对正定矩阵的判定是一个重点。

我们已知的“如何判定一个矩阵为正定矩阵?”有以下几点:

  1. 矩阵特征值均大于0;

  1. 各阶行列主子式均大于0;

  1. 主元(pivots)均大于0,其中主元的乘积就是行列式的值;

  1. 二次型hessian矩阵是否正定,课程学习,矩阵,线性代数,学习,数据分析,Powered by 金山文档恒大于0。

前三点都比较容易理解,问题就是计算量大。我们重点关注第四点,举个例子:(来源MIT 18.06 linear algebra)

矩阵A表示为:

hessian矩阵是否正定,课程学习,矩阵,线性代数,学习,数据分析,Powered by 金山文档

其二次型表示为:

hessian矩阵是否正定,课程学习,矩阵,线性代数,学习,数据分析,Powered by 金山文档

现在问题转化成了,“如何判定这个二次型恒为正呢?”有以下几点:

  1. 一阶导数=0,二阶导数>0;

  1. 配方,hessian矩阵是否正定,课程学习,矩阵,线性代数,学习,数据分析,Powered by 金山文档>0;

  1. 矩阵A正定,其二次型恒为正(这。。世界是一个圆嘛。。)

联系起来,其实质就是:

  1. 特征向量表明主轴的方向,特征值表明轴的长度,>0正方向走,<0反方向走;

  1. 求二阶导数大于0就等价于在求行列式的值大于0;

  1. 配方就是在消元,即求A的LU分解,配方项前的系数2、2,就是主元大于0。


最后总结一下:用空间力来想,看下图,在一个xyz的三维空间内,令z=1即上述二次型式子=1。如果横切后得到的是椭圆,即函数在空间上为一个开口向上的碗状,则证明二次型存在极小值且矩阵正定;如果横切后得到的是双曲线,即函数在空间上为马鞍形,则证明二次型存在鞍点但不存在极小值点且矩阵不是正定的。这也就是为什么说:

椭圆与正定相关,双曲线与正定无关。

同样的,扩展到四维,切出来的三次型就是一个三维橄榄球了。。

hessian矩阵是否正定,课程学习,矩阵,线性代数,学习,数据分析,Powered by 金山文档
hessian矩阵是否正定,课程学习,矩阵,线性代数,学习,数据分析,Powered by 金山文档

为了便于观察,所绘制三维图与例子里的非同一函数


如果此篇文章对您有帮助,记得评论区告诉我: )

您的点赞和收藏是对写作者最大的鼓励!文章来源地址https://www.toymoban.com/news/detail-741635.html

到了这里,关于由黑塞(Hessian)矩阵引发的关于正定矩阵的思考的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 优化问题解决:Hessian 矩阵与凸性函数的算法

    优化问题是计算机科学和数学中的一个重要领域,它涉及到寻找一个函数的最大值或最小值。在机器学习、数据挖掘和人工智能等领域,优化问题是非常常见的。这篇文章将讨论如何使用 Hessian 矩阵 和凸性函数来解决这些问题。 Hessian 矩阵是一种二阶微分矩阵,它用于表示一

    2024年02月22日
    浏览(44)
  • 高维数据处理:Hessian 矩阵与凸性函数的挑战

    高维数据处理是现代数据科学和机器学习领域中的一个重要话题。随着数据规模的增加,数据的维度也在不断增加,这为数据处理和分析带来了巨大挑战。在高维空间中,数据之间的相关性和结构变得复杂且难以理解。因此,研究高维数据处理的方法和技术成为了一项紧迫的

    2024年02月20日
    浏览(36)
  • 深入探讨:Hessian 矩阵在凸性优化中的重要作用

    凸性优化是一种广泛应用于计算机科学、数学、经济学等领域的优化方法。它主要解决的问题是在一个凸函数空间中找到一个局部最小值或全局最小值。凸性优化的一个关键步骤是通过计算函数的二阶导数来确定函数在某一点的凸性或凹性。这里的二阶导数通常表示为 Hessi

    2024年02月19日
    浏览(38)
  • Hessian 矩阵汉语叫什么名字,是什么意思,是用来干什么的?

    问题描述:Hessian 矩阵汉语叫什么名字,是什么意思,是用来干什么的? 问题解答: Hessian 矩阵的汉语名字是“黑塞矩阵”或“海森矩阵”。 这个名字的来源是对德国数学家Ludwig Hessian(海森)的姓氏的翻译。Hessian 矩阵是一个方阵,其中的元素是一个函数的二阶偏导数,用

    2024年01月22日
    浏览(51)
  • 数学学习——最优化问题引入、凸集、凸函数、凸优化、梯度、Jacobi矩阵、Hessian矩阵

    例如:有一根绳子,长度一定的情况下,需要如何围成一个面积最大的图像?这就是一个最优化的问题。就是我们高中数学中最常见的最值问题。 最优化问题的一般形式是: m i n ​ f ( x ) x ∈ C min​f(x) \\\\ x in C min ​ f ( x ) x ∈ C 其中, f f f 是目标函数, A A A 是约束条件,

    2024年02月15日
    浏览(42)
  • 有限差法(Finite Difference)求梯度和Hessian Matrix(海森矩阵)的python实现

    有限差方法求导, Finite Difference Approximations of Derivatives ,是数值计算中常用的求导方法。数学上也比较简单易用。本文主要针对的是向量值函数,也就是 f ( x ) : R n → R f(x):mathbb{R^n}rightarrow mathbb{R} f ( x ) : R n → R 当然,普通的标量值函数是向量值函数的一种特例。 本文采

    2024年02月03日
    浏览(39)
  • 【图像处理】海森矩阵(Hessian Matrix)及用例(基于Steger的中心提取_含代码)

    Hess矩阵是一个多元函数的二阶偏导数构成的方阵,描述了函数的 局部曲率 。Hess矩阵经常用在牛顿法中求多元函数的极值问题,将目标函数在某点领域内进行二阶泰勒展开,其中的二阶导数就是Hess矩阵。 应用在图像中,将图像中在某点领域内进行泰勒展开:   F ( x 1 + Δ x

    2023年04月08日
    浏览(40)
  • 数学分析(十七)-多元函数微分学4-泰勒公式与极值问题4-极值问题2:充分条件【 f在稳定点P₀处二阶连续偏导数的(Hesse) 黑塞矩阵:①正定矩阵➔极小值;②负定矩阵➔极大值;③不定矩阵➔无极值】

    为了讨论二元函数 f f f 在点 P 0 ( x 0 , y 0 ) P_{0}left(x_{0}, y_{0}right) P 0 ​ ( x 0 ​ , y 0 ​ ) 取得极值的充分条件, 我们假定 f f f 具有二阶连续偏导数, 并记 H f ( P 0 ) = ( f x x ( P 0 ) f x y ( P 0 ) f y x ( P 0 ) f y y ( P 0 ) ) = ( f x x f x y f y x f y y ) P 0 boldsymbol{H}_{f}left(P_{0}right)=left(begin{a

    2024年04月13日
    浏览(48)
  • 由面试题“Redis是否为单线程”引发的思考

    博主 默语带您 Go to New World. ✍ 个人主页—— 默语 的博客👦🏻 《java 面试题大全》 《java 专栏》 🍩惟余辈才疏学浅,临摹之作或有不妥之处,还请读者海涵指正。☕🍭 《MYSQL从入门到精通》数据库是开发者必会基础之一~ 🪁 吾期望此文有资助于尔,即使粗浅难及深广,亦

    2024年04月16日
    浏览(35)
  • Hessian反序列化分析

    RPC全称为 Remote Procedure Call Protocol (远程调用协议),RPC和之前学的RMI十分类似,都是远程调用服务,它们不同之处就是RPC是通过标准的二进制格式来定义请求的信息,这样跨平台和系统就更加方便 RPC协议的一次远程通信过程如下: 客户端发起请求,并按照RPC协议格式填充信

    2024年04月11日
    浏览(55)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包