- 1、梯度：梯度是导数对多元函数的推广，它是多元函数对各个自变量偏导数形成的向量。
- 一元函数 f ( x ) = 3 x 2 + 6 x f(x)=3x^2+6x f(x)=3x2+6x，它的导数（梯度）为 ▽ f ( x ) = f ′ ( x ) = 6 x + 6 ▽f(x)=f^{'}(x)=6x+6 ▽f(x)=f′(x)=6x+6，当梯度为0时， x = − 1 x=-1 x=−1为极值点；
- 多元函数 f ( x , y ) = x 2 − 2 x 2 y + y 2 f(x,y)=x^2-2x^2y+y^2 f(x,y)=x2−2x2y+y2，对其x和y分别求偏导形成向量为 ▽ f ( x , y ) = f ′ ( x , y ) = ( 2 x − 4 x y , 2 y − 2 x 2 y ) T ▽f(x,y)=f^{'}(x,y)=(2x-4xy,2y-2x^2y)^T ▽f(x,y)=f′(x,y)=(2x−4xy,2y−2x2y)T，梯度为0时，极值点为(0,0)或(1,1/2)或(-1,1/2)。
- 2、Hessian矩阵：虽然找到了极值点，但我们不知道它是极大值点还是极小值点，因此这里引入Hessian矩阵（二阶倒数），判断依据：如果Hessian矩阵正定，函数有极小值；如果Hessian矩阵负定，函数有极大值；如果Hessian矩阵不定，则不是极值点（鞍点）；正定矩阵的判定参考：这里。
- 还是多元函数 f ( x , y ) = x 2 − 2 x 2 y + y 2 f(x,y)=x^2-2x^2y+y^2 f(x,y)=x2−2x2y+y2，对其x和y分别求偏导形成向量为 ▽ f ( x , y ) = f ′ ( x , y ) = ( 2 x − 4 x y , 2 y − 2 x 2 y ) T ▽f(x,y)=f^{'}(x,y)=(2x-4xy,2y-2x^2y)^T ▽f(x,y)=f′(x,y)=(2x−4xy,2y−2x2y)T，梯度为0时，极值点为(0,0)或(1,1/2)或(-1,1/2)。Hessian矩阵为
[ 2 x y − 4 x − 4 x y 2 − 2 x 2 ] \begin{bmatrix} 2xy&-4x\\ -4xy&2-2x^2\\ \end{bmatrix} [2xy−4xy
文章来源地址https://www.toymoban.com/news/detail-405661.html
文章来源：https://www.toymoban.com/news/detail-405661.html
到了这里，关于机器学习之重要迭代算法梯度下降法的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
