机器学习——正规方程-Toy模板网

这篇具有很好参考价值的文章主要介绍了机器学习——正规方程。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

之前我们使用梯度下降算法求代价函数J(θ)的最小值，而梯度下降算法是通过一步步不断地迭代来收敛到全局最小值，如下

机器学习——正规方程,机器学习,机器学习,人工智能,算法

而正规方程则是另一种求解J(θ)最小值的方法，并且正规方程不需要通过迭代，而是一次性得到θ的最优值

正规方程的基本概念如下（省略证明过程，记住这个公式就行）

机器学习——正规方程,机器学习,机器学习,人工智能,算法

机器学习——正规方程,机器学习,机器学习,人工智能,算法文章来源地址https://www.toymoban.com/news/detail-833659.html

梯度下降算法需要不断尝试不同的学习率α，直到选择到一个合适的值，这是一个额外的工作；而正规方程不需要选择学习率；
梯度下降算法是一个迭代算法，需要通过不断地迭代得到θ的最优值；正规方程不需要迭代，基本是一次性可以得到θ的最优值；
梯度下降算法在特征变量很多的情况下，也能运行的很好，哪怕有几百万个特征向量，但是正规方程需要进行矩阵的运算，所以当特征变量很多的时候，正规方程的计算速度不一定比梯度下降的迭代要快；
那么特征数量n多少算大呢？一般如果n超过一万，就考察使用梯度下降或其他算法，如果n在一万以内，可以使用正规方程；
对于线性回归这个特定的模型，正规方程法是一个比梯度下降算法更快的替代算法，但是正规方程不一定适用于其他的学习算法，而梯度下降算法的使用范围比正规方程更广泛。所以还是要根据具体的算法，具体的问题以及特征量的数量来进行最终选择；

到了这里，关于机器学习——正规方程的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！