快速搞懂无偏估计及样本方差中的n-1-Toy模板网

这篇具有很好参考价值的文章主要介绍了快速搞懂无偏估计及样本方差中的n-1。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

期望EX，方差DX
我们知道任一样本和总体是同分布的，所以任一样本的期望即总体期望（均值），任一样本的方差即总体方差。所以对于任一样本X，有： $\mu ,E(cX) = cEX,E(c) = c\\DX = E{(X - EX)^2}\\{\rm{ = }}E({X^2} - 2X\mu + {\mu ^2})\\{\rm{ }} = E{X^2} - {\mu ^2} = {\sigma ^2}\\D(c) = 0,D(cX) = {c^2}DX$ 其中， $\mu ,c,{\sigma ^2}$ 均为常数。由于样本是随机选取的，所以这里隐含了一个假设：两个不同的样本X和Y相互独立，此时 $EX Y = EXE Y$ 。
设 ${\bar X}$ 为样本均值，则有： $E\bar X = \frac{1}{n}\sum\limits_{i = 1}^n {E{X_i}} = \mu ,D\bar X = \frac{1}{{{n^2}}}\sum\limits_{i = 1}^n {D{X_i}} = \frac{{{\sigma ^2}}}{n}\\D\bar X = E{(\bar X - E\bar X)^2} = E{{\bar X}^2} - {\mu ^2}\\E{{\bar X}^2} = {\mu ^2} + D\bar X = {\mu ^2} +\frac{{{\sigma ^2}}}{n}$ 设 ${S^2} = \frac{1}{n}\sum\limits_{i = 1}^n {{{(X_i - \mu )}^2}}$ 为样本方差，则 $E{S^2} = \frac{1}{n}\sum\limits_{i = 1}^n {E{{(X_i - \mu )}^2}} = {\sigma ^2}$ 。
估计量
我们已经知道样本均值的期望等于总体均值，样本方差的期望等于总体方差。然而，在现实中，样本的总体均值一般难以求得，这就需要求总体的估计（量）了。统计学中的估计量是对整体样本的一个估计量，比如要统计一百万人的平均身高，一个个统计是不现实的，此时可以用样本均值来代替这一百万人（总体）身高的平均值，即：随机抽取一些人，比如100个，那么就可以用这100个人的身高的平均值来代替总体均值。然而，它是有条件的，只有当样本均值的期望等于总体均值时，才可用样本均值来代替总体均值，此时的样本均值称为总体的一个无偏估计，若该样本均值的期望不等于总体均值则是有偏估计。方差同理，当一个样本方差的期望等于总体方差时，该样本方差是总体的一个无偏估计，否则是有偏估计。
总体方差的无偏估计
我们知道在现实中，样本的总体均值一般难以求得，所以理论上的样本方差不适用，只能用样本均值来代替样本方差中的 $\mu$ ，而为了使新的样本方差仍然是总体方差的无偏估计，我们有： $E{S^2} = E\frac{1}{m}\sum\limits_{i = 1}^n {{{(X_i - \bar X)}^2}} = {\sigma ^2}$ 所以： $E\frac{1}{m}\sum\limits_{i = 1}^n {{{({X_i} - \bar X)}^2}} = \frac{1}{m}\sum\limits_{i = 1}^n {E{{({X_i} - \bar X)}^2}} \\{\rm{ }} = \frac{1}{m}\sum\limits_{i = 1}^n {[E{X_i}^2 - 2E({X_i}\frac{1}{n}\sum\limits_{j = 1}^n {{X_j}} ) + E{{\bar X}^2}]}$ 由两个不同样本之间相互独立，得： $\frac{1}{m}\sum\limits_{i = 1}^n {[E{X_i}^2 - 2E({X_i}\frac{1}{n}\sum\limits_{j = 1}^n {{X_j}} ) + E{{\bar X}^2}]} \\= \frac{1}{m}\sum\limits_{i = 1}^n {[E{X_i}^2 - \frac{2}{n}[EX_i^2 + (n - 1){E^2}{X_i}] + E{{\bar X}^2}]} \\= \frac{1}{m}\sum\limits_{i = 1}^n {[{\mu ^2} + {\sigma ^2} - \frac{2}{n}[{\mu ^2} + {\sigma ^2} + (n - 1){\mu ^2}] + {\mu ^2} + \frac{{{\sigma ^2}}}{n}]} \\= \frac{1}{m}\sum\limits_{i = 1}^n {\frac{{n - 1}}{n}{\sigma ^2}} = \frac{{n - 1}}{m}{\sigma ^2}$ 显然， $m = n - 1$ ，所以总体方差的无偏估计为 ${S^2} = \frac{1}{{n - 1}}\sum\limits_{i = 1}^n {{{(X_i - \bar X)}^2}}$