简述
牛顿法常用来求解无约束非线性规划问题，它利用目标函数的二次泰勒展开式构造搜索方向。无约束非线性规划问题： m i n f ( x ) , x ∈ R n min f(x),\quad x \in R^n minf(x),x∈Rn。如果目标函数 f ( x ) f(x) f(x)在 R n R^n Rn上具有连续的二阶偏导数，其中Hessian矩阵正定(记作 G ( x ) = ∇ 2 f ( x ) G(x)=\nabla^2f(x) G(x)=∇2f(x))，可用牛顿法求解，其收敛速度很快。
正定矩阵（Positive Definite Matrix）是一种
实对称矩阵，对于所有的非零向量x，都有 x T A x > 0 x^TAx > 0 xTAx>0，其中A为n阶方阵，x为n维向量。文章来源：https://www.toymoban.com/news/detail-830877.html
原理
在基本迭代公式 x k + 1 = x k + α k d k x^{k+1}=x^k+\alpha ^kd^k xk+1=xk+αkdk中，每次迭代的起始点 x k x^k xk处用一个适当的二次函数来近似该点处的目标函数，用 x k x^k xk指向二次函数极小点的方向来构造搜索方向 d k d^k dk。
假设经过 k k k次迭代之后得到 x k x^k xk，将函数 f ( x ) f(x) f(x)在 x k x^k xk处按照泰勒公式展开，取二次近似多项式：
f ( x ) ≈ f ( x k ) + ∇ f ( x k ) T ( x − x k ) + 1 2 ( x − x k ) T ∇ 2 f ( x k ) ( x − x k ) （ 1 ） f(x)\approx f(x^k)+\nabla f(x^k)^T(x-x^k)+\frac{1}{2}(x-x^k)^T\nabla^2 f(x^k)(x-x^k) \quad \quad \quad \quad （1） f(x)≈f(xk)+∇f(xk)T(x−xk)+21(x−xk)T∇2f(xk)(x−xk)文章来源地址https://www.toymoban.com/news/detail-830877.html
到了这里，关于人工智能之数学基础【牛顿法】的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
