最小二乘估计心得

这篇具有很好参考价值的文章主要介绍了最小二乘估计心得。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

基本思想

存在一组观察值 ( x i , y i ) (x_i, y_i) (xi,yi),其中 y i y_i yi x i x_i xi之间满足一定的线性关系,如
y = a 0 f 0 ( x ) + a 1 f 1 ( x ) + . . . + a m − 1 f m − 1 ( x ) y = a_0 f_0(x) + a_1 f_1(x) + ... + a_{m-1} f_{m-1}(x) y=a0f0(x)+a1f1(x)+...+am1fm1(x)
其中 f i ( x ) f_i(x) fi(x)是已知的, a i a_i ai未知。
由于测量过程中存在一定的误差,所以导致测量得到的 y i y_i yi具有一定的误差,即
y i = a 0 f 0 ( x i ) + a 1 f 1 ( x i ) + . . . + a m − 1 f m − 1 ( x i ) + e i y_i = a_0 f_0(x_i) + a_1 f_1(x_i) + ... + a_{m-1} f_{m-1}(x_i) + e_i yi=a0f0(xi)+a1f1(xi)+...+am1fm1(xi)+ei
假设,我们由 n n n组观察值,将其写为矩阵的形式
y ⃗ = H a ⃗ + e ⃗ \vec{y} = H\vec{a} + \vec{e} y =Ha +e
y ⃗ \vec{y} y e ⃗ \vec{e} e 为一个 n × 1 n\times1 n×1的向量, a ⃗ \vec{a} a m × 1 m\times 1 m×1的向量, H H H为一个已知的 n × m n\times m n×m的矩阵
( f 0 ( x 0 ) f 1 ( x 0 ) . . . f m − 1 ( x 0 ) f 0 ( x 1 ) f 1 ( x 1 ) . . . f m − 1 ( x 1 ) . . . . . . . . . . . . f 0 ( x n − 1 ) f 1 ( x n − 1 ) . . . f m − 1 ( x n − 1 ) ) \begin{pmatrix} f_0(x_0) & f_1(x_0) & ... & f_{m-1}(x_0) \\ f_0(x_1) & f_1(x_1) & ... & f_{m-1}(x_1) \\ ... & ... & ... & ... \\ f_0(x_{n-1}) & f_1(x_{n-1}) & ... & f_{m-1}(x_{n-1})\end{pmatrix} f0(x0)f0(x1)...f0(xn1)f1(x0)f1(x1)...f1(xn1)............fm1(x0)fm1(x1)...fm1(xn1)
由于测量误差满足高斯分布,由最大似然估计可得,选取使得 ∣ y ⃗ − H a ⃗ ∣ 2 |\vec{y} - H\vec{a}|^2 y Ha 2达到最小值的 a ^ \hat{a} a^就是最真实 a ⃗ \vec{a} a 的最优估计。

最小二乘估计表达式推导过程

令代价函数 L ( a ⃗ ) = ∣ y ⃗ − H a ⃗ ∣ 2 L(\vec{a}) = |\vec{y} - H\vec{a}|^2 L(a )=y Ha 2,将 L ( a ⃗ ) L(\vec{a}) L(a ) a ⃗ \vec{a} a 进行求导可得
∂ L ( a ⃗ ) ∂ a ⃗ = − 2 H T y ⃗ + 2 H T H a ⃗ \frac{\partial{L(\vec{a})}}{\partial{\vec{a}}} = -2H^T\vec{y} + 2H^TH\vec{a} a L(a )=2HTy +2HTHa
令其为零可得
a ^ = ( H T H ) − 1 H T y ⃗ \hat{a} = (H^TH)^{-1}H^T\vec{y} a^=(HTH)1HTy

举例说明

利用matlab生成一组数据,满足如下的表达式
y = a 0 f 0 ( x ) + a 1 f 1 ( x ) + a 2 f 2 ( x ) + e ( x ) y = a_0 f_0(x) + a_1 f_1(x) + a_2 f_2(x)+e(x) y=a0f0(x)+a1f1(x)+a2f2(x)+e(x)
其中 a 0 = 1 a_0 = 1 a0=1 , a 1 = 2 a_1 = 2 a1=2, a 2 = 10 a_2 = 10 a2=10, f 0 ( x ) = x f_0(x) = x f0(x)=x, f 1 ( x ) = e x f_1(x) = e^x f1(x)=ex, f 2 ( x ) = x 2 f_2(x) = x^2 f2(x)=x2 e ( x ) e(x) e(x)服从标准正态分布

% 测试LSM算法
% f0 = 1; f1 = e^x; f2 = x^2
% a0 = 1; a1 = 2; a2 = 10
t = 0 : 0.01 : 3;
f0 = ones(1, length(t));
f1 = exp(t);
f2 = t.^2;
% f1 = t;
% f2 = t.^2;

a0 = 1;
a1 = 2;
a2 = 10;

H = [f0' f1' f2'];
y = a0*f0 + a1*f1 + a2*f2 + randn(1, length(t));
y = y';

est_a = inv(H'*H)*H'*y;

plot(y);
hold on
plot(est_a' * [f0;f1;f2]);
legend('带有噪声的观测量', '估计得到的观测量')

得到的结果如下:
最小二乘估计心得得到的 a ^ = [ 0.9807 , 1.9565 , 10.0977 ] \hat{a} = [0.9807, 1.9565, 10.0977] a^=[0.9807,1.9565,10.0977],可以看到能够较好地估计原理论值 a ⃗ = [ 1 , 2 , 10 ] \vec{a} = [1, 2, 10] a =[1,2,10]文章来源地址https://www.toymoban.com/news/detail-474082.html

到了这里,关于最小二乘估计心得的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 最小二乘问题,,而不是方法

    最小二乘是一大类问题,而不是一个简单的方法 适用于 :线性(非线性)方程组问题,如果观测带有噪声,我们需要建立最小二乘模型。如果噪声符合高斯分布,即最小二乘问题的解对应于原问题的最大似然解。 如果方程组是线性的(很好将测量值和待估计值分离),我们

    2023年04月08日
    浏览(44)
  • 最小二乘问题和非线性优化

    转载自此处,修正了一点小错误。 在求解 SLAM 中的最优状态估计问题时,我们一般会得到两个变量,一个是由传感器获得的实际观测值 z boldsymbol{z} z ,一个是根据目前估计的状态量和观测模型计算出来的预测值 h ( x ) h(boldsymbol{x}) h ( x ) 。求解最优状态估计问题时通常我们

    2024年02月13日
    浏览(40)
  • uwb最小二乘空间定位+python模拟

    传统最小二乘空间定位原理 假设UWB定位系统里有n个基站。基站坐标设为 ( x i , y i , z i ) (x_{i},y_{i},z_{i}) ( x i ​ , y i ​ , z i ​ ) (i=1,2,3…),标签坐标为(x,y,z),标签到基站的距离设为 d i ( i = 1 , 2 , 3... ) d_{i}(i=1,2,3...) d i ​ ( i = 1 , 2 , 3... ) 可得以下关系式 { ( x − x 1 ) 2 + ( y − y

    2024年02月19日
    浏览(43)
  • 偏最小二乘(PLS)原理分析&Python实现

    目录 1  偏最小二乘的意义 2​ ​​​​​​PLS实现步骤 3 弄懂PLS要回答的问题 4 PLS的原理分析 4.1 自变量和因变量的主成分求解原理 4.1.1 确定目标函数 4.1.2 投影轴w1和v1的求解 4.2 求解回归系数 5 第3章问题解答 5.1 PCA原理 5.2 为什么要对X、Y标准化? 5.3 如何求自变量和因

    2024年01月20日
    浏览(42)
  • 数学建模常用模型(九) :偏最小二乘回归分析

    偏最小二乘回归(Partial Least Squares Regression,PLS Regression)是一种常用的统计建模方法,用于解决多元线性回归中自变量间高度相关的问题。在偏最小二乘回归中,通过将原始自变量转换为一组新的综合变量(称为主成分或潜在变量),然后再使用这些主成分进行回归分析,从

    2024年02月16日
    浏览(48)
  • 【算法系列】非线性最小二乘求解-梯度下降法

    ·【算法系列】卡尔曼滤波算法 ·【算法系列】非线性最小二乘求解-直接求解法 ·【算法系列】非线性最小二乘求解-梯度下降法 ·【算法系列】非线性最小二乘-高斯牛顿法  ·【算法系列】非线性最小二乘-列文伯格马夸尔和狗腿算法  文章目录 系列文章 文章目录 前言 一、

    2024年02月16日
    浏览(43)
  • 26 用lsqnonlin求解最小二乘问题(matlab程序)

    1. 简述        函数语法 x = lsqnonlin(fun,x0) 函数用于: 解决非线性最小二乘(非线性数据拟合)问题 解决非线性最小二乘曲线拟合问题的形式 变量x的约束上下限为ub和lb, x = lsqnonlin(fun,x0)从x0点开始,找到fun中描述的函数的最小平方和。函数fun应该返回一个向量(或数组),而不

    2024年02月15日
    浏览(58)
  • 代理模型:最小二乘支持向量回归(LSSVR)--- MATLAB程序

    写在开头:       代理模型是工程问题中常用的一个优化方法。当实际问题计算量很大、不容易求解时,可以使用计算量较小、求解迅速的简化模型来替代原模型,加速优化过程。代理模型采用一个数据驱动的、自下而上的办法来建立:首先,通过抽样得到有限个样本点【输

    2024年02月08日
    浏览(48)
  • KDE窗宽选择中的最小二乘交错间定法

    窗宽参数的选择方法, 一般有经验法, 插入法, 交错鉴定法等方法. 以下介绍最小二乘交错鉴定法, 并将其作为本文的窗宽选择方法. 最小二乘交错鉴定法(Least-squares cross-validation,LSCV)是是基于这样的思想, 即选取的窗宽参数值能够最小化估计函数的积分平方误差. 以下先考虑单变

    2024年02月10日
    浏览(34)
  • 线性代数Python计算:线性方程组的最小二乘解

    给定ℝ上无解线性方程组 A x = b boldsymbol{Ax}=boldsymbol{b} Ax = b ,构造 A T A boldsymbol{A}^text{T}boldsymbol{A} A T A 及 A T b boldsymbol{A}^text{T}boldsymbol{b} A T b ,然后调用博文《线性方程组的通解》定义的mySolve函数,解方程组 A T A x = A T b boldsymbol{A}^text{T}boldsymbol{Ax}=boldsymbol{A}^text{T

    2023年04月08日
    浏览(59)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包