最大似然估计法和Zero Forcing算法的思考

这篇具有很好参考价值的文章主要介绍了最大似然估计法和Zero Forcing算法的思考。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。


本篇文章是学习了B站UP主 乐吧的数学 之后的笔记总结,老师讲的非常好,大家有兴趣的可以关注一波!

一、Zero Forcing 算法思想

那么 Maximum Likelihood(ML) 算法是最优的检测,这个最优指的是使错误率最低(假定发送的 x 是等概率出现的),从最低错误率的角度出发,同时假定在每个天线处的高斯白噪声是独立同分布的,那么,这个 ML 算法的公式为:
X ^ = argmin ⁡ X ∈ X M t ∥ Y − H X ∥ 2 (1) \hat{X}=\operatorname{argmin}_{X \in \mathcal{X}^{M_{t}}}\|Y-H X\|^{2}\tag1 X^=argminXXMtYHX2(1)

遍历 X X X 的所有可能取值,找到是公式 (1) 最小的。

因为公式 (1) 的计算量非常大,在实际中是不可行的。那么对公式 (1) 放开条件,让 X 的取值,不仅限于星座图中的值,而是任何值,那么,这个就是 zero forcing(ZF) 算法的出发点,则公式 (1) 就变成
X ^ = argmin ⁡ X ∥ Y − H X ∥ 2 (2) \hat{X}=\operatorname{argmin}_{X}\|Y-H X\|^{2}\tag2 X^=argminXYHX2(2)

注意 argmin 的下表中的 X ,没有做任何限制。公式 (2) 就是一个无约束的最优化问题,我们令:
f ( X ) = ∥ Y − H X ∥ 2 (3) f(X)=\|Y-H X\|^{2}\tag3 f(X)=YHX2(3)

接下来对公式 (3) 做进一步的推导(我们约定所有的向量都是列向量):

f ( X ) = ∥ Y − H X ∥ 2 = ( Y − H X ) H ( Y − H X ) = ( Y H − X H H H ) ( Y − H X ) = Y H Y − Y H H X − X H H H Y + X H H H H X (4) \begin{aligned} f(X) & =\|Y-H X\|^{2} \\ & =(Y-H X)^{H}(Y-H X) \\ & =\left(Y^{H}-X^{H} H^{H}\right)(Y-H X) \\ & =Y^{H} Y-Y^{H} H X-X^{H} H^{H} Y+X^{H} H^{H} H X \end{aligned}\tag4 f(X)=YHX2=(YHX)H(YHX)=(YHXHHH)(YHX)=YHYYHHXXHHHY+XHHHHX(4)

把公式 (4) 对 X X X 求导,公式 (4) 实际上是一个数, X X X 是一个向量,这个求导的过程,实际上就是对 (4) 用 X X X 的每个分量分别求一次导数并令其等于 0,得到 N N N ( 假如 X X X N N N 维的列向量) 个方程,联合起来可以求解出 X 的每个分量。用矩阵形式来写就是

∂ Y H H X ∂ X = H H Y \frac{\partial Y^{H} H X}{\partial X}=H^{H} Y XYHHX=HHY

∂ X H H H Y ∂ X = H H Y \frac{\partial X^{H} H^{H} Y}{\partial X}=H^{H} Y XXHHHY=HHY

∂ X H H H H X ∂ X = 2 H H H X \frac{\partial X^{H} H^{H} H X}{\partial X}=2 H^{H} H X XXHHHHX=2HHHX


0 − H H Y − H H Y + 2 H H H X = 0 0-H^{H} Y-H^{H} Y+2 H^{H} H X=0 0HHYHHY+2HHHX=0

进一步推导

H H H X = H H Y H^{H} H X=H^{H} Y HHHX=HHY

最后:
X ~ = ( H H H ) − 1 H H Y (5) \tilde{X}=\left(H^{H} H\right)^{-1} H^{H} Y\tag5 X~=(HHH)1HHY(5)

如果 H H H 是方阵且可逆,公式 (5) 可以写成:

X ~ = H − 1 ( H H ) − 1 H H Y = H − 1 Y \begin{aligned} \tilde{X} & =H^{-1}\left(H^{H}\right)^{-1} H^{H} Y \\ & =H^{-1} Y \end{aligned} X~=H1(HH)1HHY=H1Y

这样得出的值,就是检测后的估计值,即用 Zero Forcing 算法估计出来的值。下面我们这个值用 X ~ \tilde{X} X~ 来表示。

Y = H X + W Y=H X+W Y=HX+W 代入

X ~ = ( H H H ) − 1 H H ( H X + W ) = X + ( H H H ) − 1 H H W = X + H − 1 W = X + W ~ \begin{aligned}\tilde{X}&=\left(H^{H} H\right)^{-1} H^{H}(H X+W)\\ &=X+\left(H^{H} H\right)^{-1} H^{H} W\\ &=X+H^{-1}W\\ &=X+\tilde{W} \end{aligned} X~=(HHH)1HH(HX+W)=X+(HHH)1HHW=X+H1W=X+W~

然后,再做解调检测

X ^ = argmin ⁡ X ∈ X M t ∥ X ~ − X ∥ 2 (7) \begin{aligned} \hat{X}=\operatorname{argmin}_{X \in \mathcal{X}^{M_{t}}}\|\tilde{X}-X\|^{2} \end{aligned}\tag7 X^=argminXXMtX~X2(7)

X ∈ X M t X \in \mathcal{X}^{M_{t}} XXMt 是因为输出信号是从 M t M_t Mt 个天线中传输出来的信号。

我们将最大似然估计的算法拿下来比较一下

X ^ = argmin ⁡ X ∈ X M t ∥ Y − H X ∥ 2 \hat{X}=\operatorname{argmin}_{X \in \mathcal{X}^{M_{t}}}\|Y-H X\|^{2} X^=argminXXMtYHX2

会发现其实这是两种思想方法,一个是在发送信号端进行比较,一个是在接收端进行比较。同时误差的来源都是接收端附加的噪声 W W W但是Zero Forcing的优越处在于 X ~ \tilde{X} X~ 的值只要计算一次,就可以与 X ∈ X M t X \in \mathcal{X}^{M_{t}} XXMt 中的值进行比较,计算量会减小。

二、MMSE

G = ( H H H + σ 2 I ) − 1 H H G=\left(H^{H} H+\sigma^{2} I\right)^{-1} H^{H} G=(HHH+σ2I)1HH

即:

X ~ = G Y = G H X + G W = ( H H H + σ 2 I ) − 1 H H H X + ( H H H + σ 2 I ) − 1 H H W \tilde{X}=G Y=G H X+G W=\left(H^{H} H+\sigma^{2} I\right)^{-1} H^{H} H X+\left(H^{H} H+\sigma^{2} I\right)^{-1} H^{H} W X~=GY=GHX+GW=(HHH+σ2I)1HHHX+(HHH+σ2I)1HHW

噪声小的时候,应该类似于 Zero Forcing,当噪声比较大时,接近 Matched Filter

这里有一个有趣的现象,当噪声比较小的时候,MMSE 还是比 ZF 要好。有人专门对这个现象进行了理论分析,感兴趣的可以去阅读文献:

Y. Jiang, M. K. Varanasi and J. Li, “Performance Analysis of ZF and MMSE Equalizers for MIMO Systems: An In-Depth Study of the High SNR Regime,” in IEEE Transactions on Information Theory, vol. 57, no. 4, pp. 2008-2026, April 2011, doi: 10.1109/TIT.2011.2112070.

三、MIMO检测中 Zero Forcing 算法比 Maximum Likelihood 差的思考

我们假设这里 H H H 是方阵并且是可逆的

X ~ = H − 1 Y \tilde{X}=H^{-1} Y X~=H1Y

Zero Forcing 算法于是有:

X ^ = argmin ⁡ X ∈ X M t ∥ X ~ − X ∥ 2 = argmin ⁡ X ∈ X M t ∥ H − 1 Y − X ∥ 2 = argmin ⁡ X ∈ X M t ∥ H − 1 ( Y − H X ) ∥ 2 \begin{aligned} \hat{X} & =\operatorname{argmin}_{X \in \mathcal{X}^{M_{t}}}\|\tilde{X}-X\|^{2} \\ & =\operatorname{argmin}_{X \in \mathcal{X}^{M_{t}}}\left\|H^{-1} Y-X\right\|^{2} \\ & =\operatorname{argmin}_{X \in \mathcal{X}^{M_{t}}}\left\|H^{-1}(Y-H X)\right\|^{2} \end{aligned} X^=argminXXMtX~X2=argminXXMt H1YX 2=argminXXMt H1(YHX) 2

这里假定 H H H 是方阵且可逆的,则 H H H 的逆矩阵也可以做 S V D SVD SVD 分解:
H − 1 = U Σ V H H^{-1}=U \Sigma V^{H} H1=UΣVH

则公式变为

∥ H − 1 ( Y − H X ) ∥ 2 = ∥ U Σ V H ( Y − H X ) ∥ 2 \left\|H^{-1}(Y-H X)\right\|^{2}=\left\|U \Sigma V^{H}(Y-H X)\right\|^{2} H1(YHX) 2= UΣVH(YHX) 2

我们把 看成一个向量,则矩阵 U U U 因为是单位正交矩阵,所以,是一个刚性旋转,不改变被作用的向量的长度,因此 公式可以继续推导为:

∥ H − 1 ( Y − H X ) ∥ 2 = ∥ Σ V H ( Y − H X ) ∥ 2 \left\|H^{-1}(Y-H X)\right\|^{2}=\left\|\Sigma V^{H}(Y-H X)\right\|^{2} H1(YHX) 2= ΣVH(YHX) 2

公式 (8) 中,我们把 Y − H X Y- HX YHX 看成一个向量,记为 Z Z Z,则 V H V^H VH 是对这个向量 Z Z Z 做旋转,不改变向量长度,旋转后的向量记为 Z ^ \hat{Z} Z^, 则矩阵 Σ \Sigma Σ,是对向量各个分量进行缩放:
Σ = [ λ 1 ⋯ λ N ] \Sigma=\left[\begin{array}{lll} \lambda_{1} & & \\ & \cdots & \\ & & \lambda_{N} \end{array}\right] Σ= λ1λN

情况一: 所有特征值都相等

λ 1 = ⋯ = λ N = λ \lambda_{1}=\cdots=\lambda_{N}=\lambda λ1==λN=λ 时,公式可以写成:

∥ H − 1 ( Y − H X ) ∥ 2 = ∥ Σ V H ( Y − H X ) ∥ 2 = ∥ λ I V H ( Y − H X ) ∥ 2 = λ 2 ∥ V H ( Y − H X ) ∥ 2 \left\|H^{-1}(Y-H X)\right\|^{2}=\left\|\Sigma V^{H}(Y-H X)\right\|^{2}=\left\|\lambda I V^{H}(Y-H X)\right\|^{2}=\lambda^{2}\left\|V^{H}(Y-H X)\right\|^{2} H1(YHX) 2= ΣVH(YHX) 2= λIVH(YHX) 2=λ2 VH(YHX) 2

因为 V H V^H VH 是单位正交的矩阵,因此,是一个刚性旋转,不改变后面向量的长度,因此公式可以写成:

∥ H − 1 ( Y − H X ) ∥ 2 = λ 2 ∥ ( Y − H X ) ∥ 2 \left\|H^{-1}(Y-H X)\right\|^{2}=\lambda^{2}\|(Y-H X)\|^{2} H1(YHX) 2=λ2(YHX)2

这种情况下, Zero Forcing 算法就与 Maximum Likelihood 算法的性能一致。

情况二:噪声非常小,趋近于 0

公式中,一定能找到一个 X X X 向量,使得 Y − H X Y - HX YHX 0 0 0 向量,因为是 0 0 0 向量,所以,这个就是最小值,不可能找到另外一个向量 X ′ X' X ,使得结果比 0 小。所以,在噪声为 0 0 0 的情况下,Zero Forcing 算法就与 Maximum Likelihood 算法的性能一致。

情况三:特征值不全都相等,也含有噪声
∥ H − 1 ( Y − H X ) ∥ 2 = ∥ Σ V H ( Y − H X ) ∥ 2 = ∥ [ λ 1 Z ^ 1 ⋯ λ N Z ^ N ] ∥ 2 = λ 1 2 ∥ Z ^ 1 ∥ 2 + ⋯ + λ 1 N ∥ Z ^ N ∥ 2 \begin{aligned} \left\|H^{-1}(Y-H X)\right\|^{2} & =\left\|\Sigma V^{H}(Y-H X)\right\|^{2} \\ & =\left\|\left[\begin{array}{c} \lambda_{1} \hat{Z}_{1} \\ \cdots \\ \lambda_{N} \hat{Z}_{N} \end{array}\right]\right\|^{2} \\ & =\lambda_{1}^{2}\left\|\hat{Z}_{1}\right\|^{2}+\cdots+\lambda_{1}^{N}\left\|\hat{Z}_{N}\right\|^{2} \end{aligned} H1(YHX) 2= ΣVH(YHX) 2= λ1Z^1λNZ^N 2=λ12 Z^1 2++λ1N Z^N 2

公式上面公式中第一个等号那里,相当于对向量 Y − H X Y-HX YHX 先做旋转,然后再在各个维度上做缩放,例如都是都是逆时针旋转一个固定角度,两个维度分别是放大三倍和缩小一倍(以二维向量为例子,方便画图理解),则不同的向量,即使长度相同,但是角度不同,经过旋转和缩放后,长度将会不同。

下图蓝色是初始向量,旋转后变成绿色向量,然后经过 X 轴放大3倍, Y 轴缩小 1/3 ,变成右边紫色向量。

最大似然估计法和Zero Forcing算法的思考

从上面两个实例可以看出,旋转缩放前,第一个图的原始向量要比第二个图的原始向量要短,但是做了同样的旋转缩放后,第一个图的结果向量反而比第二个图的结果向量要长,可见,旋转缩放后,会改变向量长度的大小关系,进而影响 Zero Forcing 算法达不到 Maximum Likelihood 算法的效果,即可能找到的不是最优解。

另一个直观的解释就是,接收端的噪声往往是各向同性的高斯噪声,经过 H − 1 W H^{-1}W H1W 之后的噪声会变成各向异性的噪声,从而降低了系统性能。

最大似然估计法和Zero Forcing算法的思考文章来源地址https://www.toymoban.com/news/detail-408915.html

到了这里,关于最大似然估计法和Zero Forcing算法的思考的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 似然与极大似然估计

    在统计学中, 似然性(likelihood) ”和“ 概率 ”有明确的区分: 概率,用于在已知一些参数的情况下,预测接下来在观测上所得到的结果; 似然性,则是用于在已知某些观测所得到的结果时,对有关事物之性质的参数进行估值。 以高斯分布为例,其可以用参数μ和σ来描述。

    2024年02月14日
    浏览(47)
  • 极大似然估计

    重新梳理一下,之前对极大似然估计的看法还是太浅了。极大似然估计比较简单,关键是弄清思想。 之前说到极大似然估计,就会直接举例子说明,例如之前的文章关于GMM中的数学基础中就提到过。 例一,有两个完全一样的箱子,箱子甲中有99个黑球,1个白球,箱子乙中有

    2023年04月09日
    浏览(42)
  • 二项分布的极大似然估计

    笔记来源:Maximum Likelihood for the Binomial Distribution, Clearly Explained!!! P ( x ∣ n , p ) P(x|n,p) P ( x ∣ n , p ) 计算二项分布的极大似然估计 L ( p ∣ n , x ) L(p|n,x) L ( p ∣ n , x )

    2024年02月11日
    浏览(58)
  • 正态分布的极大似然估计

    笔记来源:Maximum Likelihood For the Normal Distribution, step-by-step!!! 1.1.1 μ值对正态分布的影响 1.1.2 σ值对正态分布的影响 极大似然估计提供了一种给定观察数据来评估模型参数的方法 【引用自:一文搞懂极大似然估计】 P(所求 | 已知)、L(所求 | 已知) 概率是已知模型和参数,推数据

    2024年02月02日
    浏览(87)
  • 最小二乘法,极大似然估计,交叉熵的公式推导

    最小二乘法、极大似然估计和交叉熵是常用的三种损失函数。 最小二乘法是一种回归问题中常用的损失函数,用于衡量预测值与实际值之间的误差平方和。它常用于线性回归问题中,目标是最小化预测值与真实值之间的均方误差(MSE)。 极大似然估计(Maximum Likelihood Estima

    2024年02月08日
    浏览(41)
  • 【人工智能】— 逻辑回归分类、对数几率、决策边界、似然估计、梯度下降

    考虑二分类问题,其中每个样本由一个特征向量表示。 直观理解:将特征向量 x text{x} x 映射到一个实数 w T x text{w}^Ttext{x} w T x 一个正的值 w T x text{w}^Ttext{x} w T x 表示 x text{x} x 属于正类的可能性较高。 一个负的值 w T x text{w}^Ttext{x} w T x 表示 x text{x} x 属于负类的可能性

    2024年02月09日
    浏览(46)
  • 机器学习强基计划4-2:通俗理解极大似然估计和极大后验估计+实例分析

    机器学习强基计划聚焦深度和广度,加深对机器学习模型的理解与应用。“深”在详细推导算法模型背后的数学原理;“广”在分析多个机器学习模型:决策树、支持向量机、贝叶斯与马尔科夫决策、强化学习等。 🚀详情:机器学习强基计划(附几十种经典模型源码合集) 某

    2023年04月11日
    浏览(43)
  • 【混合时变参数系统参数估计算法】使用范数总和正则化和期望最大化的混合时变参数系统参数估计算法(Matlab代码实现)

     💥💥💞💞 欢迎来到本博客 ❤️❤️💥💥 🏆博主优势: 🌞🌞🌞 博客内容尽量做到思维缜密,逻辑清晰,为了方便读者。 ⛳️ 座右铭: 行百里者,半于九十。 📋📋📋 本文目录如下: 🎁🎁🎁 目录 💥1 概述 📚2 运行结果 🎉3 参考文献 🌈4 Matlab代码实现 文献来

    2024年02月10日
    浏览(44)
  • 最大似然法

    任务描述 本关任务:理解最大似然法的基本原理并解决实际问题。 相关知识 为了完成本关任务,你需要: 理解极大似然原理; 理解并掌握极大似然法的数学模型。 极大似然原理 最大似然法是建立在极大似然原理的基础上的一个统计方法。极大似然原理可以这么描述:一个

    2024年02月09日
    浏览(71)
  • 【算法思考记录】动态规划入门!力扣2606. 找到最大开销的子字符串【Python3、动态规划】

    原题链接 动态规划(Dynamic Programming,简称 DP)是一种通过将原问题分解为相互重叠的子问题并只解决一次的方法来解决问题的算法优化技术。动态规划通常用于优化递归问题,通过存储子问题的解来避免重复计算,从而显著提高算法的效率。 动态规划的基本思想是将原问题

    2024年02月03日
    浏览(42)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包