原理
最小二乘法由勒让德（A.M.Legendre）于1805年在其著作《计算彗星轨道的新方法》中提出，主要思想是最小化误差二次方和寻找数据的最佳匹配函数，利用最小二乘法求解未知参数，使得理论值与观测值之差（即误差，或称为残差）的二次方和达到最小，即：
E = ∑ i = 1 n ϵ i 2 = ∑ i = 1 n ( y i − y ^ ) 2 E=\sum_{i=1}^{n}\epsilon_i^2=\sum_{i=1}^{n}(y_i-\hat{y})^2 E=i=1∑nϵi2=i=1∑n(yi−y^)2
其中， y ^ \hat{y} y^是样本数据； y i y_i yi是假设拟合函数。
示例
下面是一个简单的例子：
假设通过观测或实验得到一组 ( x , y ) (x,y) (x,y)数据： ( 1 , 6 ) , ( 3 , 5 ) , ( 5 , 7 ) , ( 6 , 12 ) (1,6),(3,5),(5,7),(6,12) (1,6),(3,5),(5,7),(6,12)。目标是用一条与这几个点最匹配的直线来表示出这些数据之间的关系。文章来源：https://www.toymoban.com/news/detail-833200.html
通过分析数据可知，这些点差不多分布在一条直线上，因此可以利用线性式子： y = a x + b y=ax+b y=ax+b表示它们之间的关系，设方程组如下：
{ 6 = a + b 5 = 3 a + b 7 = 5 a + b 12 = 6 a + b \begin {cases} 6=a+b\\5=3a+b\\7=5a+b\\12=6a+b \end {cases} ⎩
⎨
⎧6=a+b5=3a+b7=5a+b12=6a+b
这样就需确定参数 a 和 b a和b a和b的值，通常这样的 a 和 b a和b a和b是不存在的，也就是找不到一条直线穿过所有的点。我们希望能找到一条线与这些点距离最近的线。
假设有某个方法可以确定 a 和 b a和b a和b，则按 y = a x + b y=ax+b y=ax+b，给出一个x便可以计算出一个 y y y，记作 y i = a x i + b y_i=ax_i+b yi=axi+b。 y i y_i yi称为 y y y的估计值，它们之间的差(通常称为残差) ϵ k = y i − y \epsilon_k=y_i-y ϵk=yi−y无疑是衡量被确定的参数 a 和 b a和b a和b（也就是近似多项式 y = a x + b y=ax+b y=ax+b）好坏的重要标志。
可以规定许多原则来确定参数 a a a和 b b b，例如：文章来源地址https://www.toymoban.com/news/detail-833200.html
- 使残差绝对值中最大的一个达到最小，即 T = m a x ( ∣ ϵ k ∣ ) T=max(|\epsilon_k|) T=max(∣ϵk∣)。
- 使残差绝对值之和达到最小，即 ∑ i = 1 k ∣ ϵ k ∣ \sum_{i=1}^{k}|\epsilon_k| ∑i=1k∣ϵk∣为最小。
- 使残差的二次方和达到最小，即 ∑ i = 1 k ϵ k 2 \sum_{i=1}^{k}\epsilon_k^2 ∑
到了这里，关于人工智能之数学基础【最小二乘法】的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
