假设检验(hypothesis testing)

什么是假设检验

首先，什么是假设？在数理推断中，总体分布通常是未知的，包含了两类，一类是分布类型未知，一类是分布类型已知，但参数未知，假设就是对总体分布的一种推断，比如假设总体服从正态分布，假设正态分布的均值是500。根据未知类型，分为非参数假设和参数假设。假设检验就是利用样本来检验假设成立与否。接下来通过几个例子来介绍假设检验可以解决什么问题。
例子1：某洗衣粉加工机器要求每袋洗衣粉500g，现在随机抽9袋进行检查，发现其重量是：505、499、502、506、498、498、497、510、503，假设$\sigma =2$固定不变，问这个加工机器是否合格？
例子2：某工厂厂灯泡，产出的灯泡服从正态分布，$N=(u,40000)$，平均寿命是1500小时，采用新工艺后，抽样25只，其平均寿命是$\overline{x}=1675$小时，问采用新工艺后，灯泡寿命是否显著挺高？

假设检验思想

下面通过一个例子来了解假设检验的基本思想。一个盒子装了红白球共100个，张三说里面有99个是白球，现在我任取一球，取出的是红球，问张三的说法对吗？
假如张三说的对，则p（红球）=1/100，也就是一次抽样取出红球是小概率事件，但现在一次抽样抽出红球，与小概率事件实际在一次抽样中不发生的原理矛盾，而矛盾的根源是假设张三说的对，所以要怀疑“张三的说法”，认为张三说的不对（这个认为不一定是对的）。当一次抽样是白球，没有发生矛盾，如果不能找到矛盾，那就没有理由怀疑“张三说得对”，也就是我们就不能怀疑“张三说的对”，那就认为张三是对的。这里实际上用到了反证法，先假定张三说的对，然后看有没有矛盾发生，如果矛盾发生则怀疑说法，如果没有矛盾则接受说法，认为说法正确。那跟谁矛盾呢？跟统计中的小概率实际不发生的原理矛盾。

假设检验步骤

接下来通过一个例子来介绍假设检验的步骤。
（1）提出假设。假设检验是对整体分布或者参数提出假设，并利用样本进行检验，所以我们首先提出假设。针对例子1：某洗衣粉加工机器要求每袋洗衣粉500g，现在随机抽9袋进行检查，发现其重量是：505、499、502、506、498、498、497、510、503，假设$\sigma =2$固定不变，问这个加工机器是否合格？我们提出原假设洗衣粉加工机器生产的洗衣粉整体分布的均值u=500g，即$H_0:u=500$，提出备择假设：$H_1:u\ne 500$
（2）假设$H_0$成立，看看能不能推出矛盾。假设$H_0$成立，则$X\sim N(500,4)$，从这样的总体中抽9个样本，则样本的分布服从$\overline{X}\sim N\left(500,\frac{4}{9}\right)$，标准化为$U=\frac{\overline{X}-500}{2/3}\sim N(0,1)$。 下图是标准正态分布的图像，中间非阴影部分是大概率事件，落在这个区间的概率是$1-\alpha$，即 P { ∣ U ∣ < U α 2 } = 1 − α \displaystyle P\{|U|< U_{\frac{\alpha }{2}}\} =1-\alpha P{∣U∣<U2α​​}=1−α。

假设检验关注的是小概率事件发生了没，所以我们不看大概率事件，看落在阴影部分的小概率事件，即关注 P { ∣ U ∣ ⩾ U α 2 } = α \displaystyle P\{|U|\geqslant U_{\frac{\alpha }{2}}\} =\alpha P{∣U∣⩾U2α​​}=α。在应用中，我们一般会先设定$\alpha$的取值，也就是假定小概率事件发生的概率，当$\alpha$和分布确定后，我们可以查表查看$\alpha$对应的$U_{\frac{\alpha }{2}}$对应的取值。比如我们取$\alpha =0.05$，可以通过查标准正态分布的表看到，当$\alpha =0.05$时，对应的$U_{\frac{\alpha }{2}}=1.96$，也就是当U小于$-1.96$或者U大于1.96时，小概率事件发生了。接下来我们看抽样样本有没有落在小概率事件对应的区间：$\overline{X}=\frac{1}{9}\sum _{i=1}^9{x}_i=502$，$|U|=\frac{\overline{X}-500}{2/3}=3>U_{\alpha /2}=1.96$，样本数据落在小概率事件里头，与小概率事件在一次抽样中不发生的原理矛盾，而中间的推导没有问题，那矛盾的根源就是我们的假设是错误的，所以我们不得不怀疑原假设，也就是拒绝原假设，接受备择假设。假设|U|算出来算出来小于1.96，也就是没推出矛盾，那就没理由怀疑原假设，也就是接受原假设，认为原假设是对的。
这一步的基本思想就是从样本出发，去构造一个检验统计量T服从已知分布，这个统计量除了样本外，不含任何未知参数，例子中的检验统计量就是U。然后在$H_0$成立的前提下，T的分布已知，构造一个检验法则，即想办法找出T的拒绝域和接受域。
这一步的基本思想就是从样本出发，去构造一个检验统计量T服从已知分布，这个统计量除了样本外，不含任何未知参数，例子中的检验统计量就是U。然后在$H_0$成立的前提下，T的分布已知，构造一个检验法则，即想办法找到小概率事件对应的拒绝域和接受域。

假设检验存在的两类错误

我们提出假设，根据给出的样本来检验假设，得出接受$H_0$还是拒绝$H_0$的决策，这个决策未必是对的，原因是样本的随机性或者样本容量过小，导致判断错误，所以统计推断就会有不准确性，分为两类：
第一类错误：弃真。$H_0$实际为真，但通过样本推断被拒绝了。 P { 拒绝 H 0 ∣ H 0 为真 } = α \displaystyle P\{拒绝H_{0} |H_{0} 为真\} =\alpha P{拒绝H0​∣H0​为真}=α
第二类错误：纳伪。$H_0$实际为假，但通过样本推断被接受了。 P { 接受 H 0 ∣ H 0 为假 } = β \displaystyle P\{接受H_{0} |H_{0} 为假\} =\beta P{接受H0​∣H0​为假}=β
我们当然希望犯上面两类错误的概率越小越好，但要想同时让$\alpha$和$\beta$都很小，几乎是不可能的，除非样本容量N无限加大，我们选择在确保$\alpha$的前提下再尽可能的减少$\beta$，也就是优先保证第一类错误尽量不要犯。

假设检验方法

一个正态总体的参数假设检验

假设$X\sim \left(u,{\sigma }^2\right)$，$(X_1,X_2,...,X_n)$是取自X的样本，检验水平是$\alpha$。正态分布有两个参数$u$和$\sigma$，我们分别看这两个参数的检验方法。
一、$u$的假设检验
从形式上，可以提出三种不同的假设：
（1）$H_0：u=u_0，H_1：u\ne u_0$，我们把这种称为双边假设，对应的检验叫双侧检验。
（2）$H_0：u⩽u_0，H_1：u>u_0$，拒绝域在右边，所以我们把这种称为右假设，对应的检验叫右侧检验（单边检测）。
（3）$H_0：u⩾u_0，H_1：u<u_0$，拒绝域在左边，所以我们把这种称为左假设，对应的检验叫左侧检验（单边检测）。
在具体解决的时候，经常把第（2）、（3）简化为$H_0：u=u_0$来处理，然后判断左右。所以下面的内容都只以形式（1）为例来对进行检验。
根据$\sigma$是否已知，分为两种情况：
1、 当${\sigma }^2=\sigma {{}_0}^2$已知，检验$H_0：u=u_0$：
第一步：提出假设：$H_0：u=u_0，H_1：u\ne u_0$
第二步：假定$H_0$成立，可以得到$X\sim \left(u_0,\sigma {{}_0}^2\right)$，选取检验统计量$U=\frac{\overline{X}-u_0}{{\sigma }_0/\sqrt{n}}\sim N(0,1)$
第三步：给定$\alpha$，查表可得 P { ∣ U ∣ > U α 2 } = α \displaystyle P\{|U| >U_{\frac{\alpha }{2}}\} =\alpha P{∣U∣>U2α​​}=α对应 的$U_{\frac{\alpha }{2}}$
第四步：计算$U$的值，比较$|U|$和$U_{\frac{\alpha }{2}}$，下结论：
a. 若$|U|>U_{\frac{\alpha }{2}}$，拒绝$H_0$
b. 若$|U|<U_{\frac{\alpha }{2}}$，接受$H_0$
c. 若$|U|=U_{\frac{\alpha }{2}}$，再抽样再检验
因为选取的统计量服从标准正态分布，所以这种检验方法叫U检验法 。

2、 ${\sigma }^2$未知，检验$H_0：u=u_0$：
第一步：提出假设：$H_0：u=u_0，H_1：u\ne u_0$
第二步：假定$H_0$成立，选取检验统计量。上面已知${\sigma }^2$的时候，我们取$\frac{\overline{X}-u_0}{{\sigma }_0/\sqrt{n}}$作为统计量，现在${\sigma }^2$未知，我们使用样本方差$S$来代替$\sigma$，所以选取的统计量为$T=\frac{\overline{X}-u_0}{S/\sqrt{n}}\sim t(n-1)$（服从自由度为n-1的t分布）。t分布如下图：

第三步：给定$\alpha$，查表可得 P { ∣ T ∣ > T α 2 } = α \displaystyle P\{|T| >T_{\frac{\alpha }{2}}\} =\alpha P{∣T∣>T2α​​}=α对应 的$T_{\frac{\alpha }{2}}$
第四步：计算$T$的值，比较$|T|$和$T_{\frac{\alpha }{2}}$，下结论：
a. 若$|T|>T_{\frac{\alpha }{2}}$，拒绝$H_0$
b. 若$|T|<T_{\frac{\alpha }{2}}$，接受$H_0$
c. 若$|T|=T_{\frac{\alpha }{2}}$，再抽样再检验
因为选取的统计量服从T分布，所以这种检验方法叫T检验法 。

二、${\sigma }^2$的假设检验
从形式上，可以提出三种不同的假设：
（1）$H_0：{\sigma }^2=\sigma {{}_0}^2，H_1：{\sigma }^2\ne \sigma {{}_0}^2$
（2）$H_0：{\sigma }^2⩽\sigma {{}_0}^2，H_1：{\sigma }^2>\sigma {{}_0}^2$
（3）$H_0：{\sigma }^2⩾\sigma {{}_0}^2，H_1：{\sigma }^2<\sigma {{}_0}^2$
在具体解决的时候，经常把第（2）、（3）简化为$H_0：{\sigma }^2=\sigma {{}_0}^2$来处理，然后判断左右，所以下面的内容都只以形式（1）为例来对进行检验。
根据$u$是否已知，分为两种情况：
1、$u=u_0$已知，检验$H_0：{\sigma }^2=\sigma {{}_0}^2$：
第一步：提出假设：$H_0：{\sigma }^2=\sigma {{}_0}^2，H_1：{\sigma }^2\ne \sigma {{}_0}^2$
第二步：假定$H_0$成立，选取检验统计量。若$H_0$成立，可以得到$X\sim \left(u_0,\sigma {{}_0}^2\right)$，从这样子的整体抽样得到的样本$X_i$与$X$同分布，也就是抽样得到的样本$X_i\sim \left(u_0,\sigma {{}_0}^2\right)$，$\frac{X_i-u_0}{{\sigma }_0}\sim N(0,1)$。我们现在要检验的是${\sigma }^2$，所以对标准差进行平方，得到${\left(\frac{X_i-u_0}{{\sigma }_0}\right)}^2\sim {\chi }^2(1)$。n个样本相加，得到${\frac{{\sum }_{i=1}^n(X_i-u_0)}{\sigma {{}_0}^2}}^2\sim {\chi }^2(n)$。所以这里我们选取统计量${\chi }^2={\frac{{\sum }_{i=1}^n(X_i-u_0)}{\sigma {{}_0}^2}}^2\sim {\chi }^2(n)$。卡方分布图如下图：

第三步：给定$\alpha$，差表可得$P\left\{{\chi }^2>{\chi }^2{}_{\frac{\alpha }{2}}(n)\right\}=P\left\{{\chi }^2<{\chi }^2{}_{1-\frac{\alpha }{2}}(n)\right\}=\frac{\alpha }{2}$对应 的${\chi }^2{}_{\frac{\alpha }{2}}(n)$、${\chi }^2{}_{1-\frac{\alpha }{2}}(n)$
第四步：计算${\chi }^2$的值，比较下结论。
因为选取的统计量服从卡方分布，所以这种检验方法叫卡方检验法 。

2、$u$未已知，检验$H_0：{\sigma }^2=\sigma {{}_0}^2$：
第一步：提出假设：$H_0：{\sigma }^2=\sigma {{}_0}^2，H_1：{\sigma }^2\ne \sigma {{}_0}^2$
第二步：假定$H_0$成立，选取检验统计量。若$H_0$成立，可以得到$X\sim \left(u,\sigma {{}_0}^2\right)$，当$u$已知的时候，我们使用统计量${\frac{{\sum }_{i=1}^n(X_i-u_0)}{\sigma {{}_0}^2}}^2$，现在$u$未知，我们使用样本均值$\overline{X}$来替代$u$，得到统计量${\chi }^2={\frac{{\sum }_{i=1}^n(X_i-\overline{X})}{\sigma {{}_0}^2}}^2$，这个统计量服从什么分布呢？由公式${\chi }^2=\frac{(n-1)S}{{\sigma }^2}\sim {\chi }^2(n-1)$，$S=\frac{{\sum }_{i=1}^n(X_i-\overline{X})}{n-1}$，约掉n-1得到${\frac{{\sum }_{i=1}^n(X_i-\overline{X})}{\sigma {{}_0}^2}}^2$，所以这里选取的统计量是${\chi }^2={\frac{{\sum }_{i=1}^n(X_i-\overline{X})}{\sigma {{}_0}^2}}^2=\frac{(n-1)S}{\sigma {{}_0}^2}\sim {\chi }^2(n-1)$。
第三步：给定$\alpha$，差表可得$P\left\{{\chi }^2>{\chi }^2{}_{\frac{\alpha }{2}}(n-1)\right\}=P\left\{{\chi }^2<{\chi }^2{}_{1-\frac{\alpha }{2}}(n-1)\right\}=\frac{\alpha }{2}$对应 的${\chi }^2{}_{\frac{\alpha }{2}}(n-1)$、${\chi }^2{}_{1-\frac{\alpha }{2}}(n-1)$
第四步：计算${\chi }^2$的值，比较下结论。
因为选取的统计量服从卡方分布，所以这种检验方法叫卡方检验法 。

两个正态总体的参数假设检验

假设两个独立的正态总体X和Y，$X\sim \left(u_1,\sigma {{}_1}^2\right)$，$（X_1,X_2,...,X_n）$是取自X的样本，$\overline{X}$是样本均值，样本方差$S{{}_1}^2$；$Y\sim \left(u_2,\sigma {{}_2}^2\right)$，$（Y_1,Y_2,...,Y_n）$是取自$Y$的样本，$\overline{Y}$是样本均值，样本方差$S{{}_2}^2$。

一、均值$u_1$、$u_2$的差异性检验
从形式上，可以提出三种不同的假设：
（1）$H_0：u_1=u_2，H_1：u_1\ne u_2$，我们把这种称为双边假设，对应的检验叫双侧检验。
（2）$H_0：u_1⩽u_2，H_1：u_1>u_2$，拒绝域在右边，所以我们把这种称为右假设，对应的检验叫右侧检验（单边检测）。
（3）$H_0：u_1⩾u_2，H_1：u_1<u_2$，拒绝域在左边，所以我们把这种称为左假设，对应的检验叫左侧检验（单边检测）。
根据$\sigma$是否已知，分为两种情况：
1、当$\sigma {{}_1}^2$、$\sigma {{}_2}^2$已知，检验$H_0：u_1=u_2$，以形式（1）为例来对进行检验：
第一步：提出假设：$H_0：u_1=u_2，H_1：u_1\ne u_2$
第二步：假定$H_0$成立，选取检验统计量。从独立的正态总体X和Y抽样可得新的分布$\overline{X}-\overline{Y}\sim N\left(u_1-u_2,\frac{\sigma {{}_1}^2}{n_1}+\frac{\sigma {{}_2}^2}{n_2}\right)$，标准化为$U=\frac{\overline{X}-\overline{Y}-（u_1-u_2）}{\sqrt{\frac{\sigma {{}_1}^2}{n_1}+\frac{\sigma {{}_2}^2}{n_2}}}\sim N(0,1)$。选取检验统计量$U=\frac{\overline{X}-\overline{Y}-（u_1-u_2）}{\sqrt{\frac{\sigma {{}_1}^2}{n_1}+\frac{\sigma {{}_2}^2}{n_2}}}=\frac{\overline{X}-\overline{Y}}{\sqrt{\frac{\sigma {{}_1}^2}{n_1}+\frac{\sigma {{}_2}^2}{n_2}}}\sim N(0,1)$
第三步：给定$\alpha$，差表可得 P { ∣ U ∣ > U α 2 } = α \displaystyle P\{|U| >U_{\frac{\alpha }{2}}\} =\alpha P{∣U∣>U2α​​}=α对应 的$U_{\frac{\alpha }{2}}$
第四步：计算$U$的值，比较$|U|$和$U_{\frac{\alpha }{2}}$，下结论：
a. 若$|U|>U_{\frac{\alpha }{2}}$，拒绝$H_0$
b. 若$|U|<U_{\frac{\alpha }{2}}$，接受$H_0$
c. 若$|U|=U_{\frac{\alpha }{2}}$，再抽样再检验
因为选取的统计量服从标准正态分布，所以这种检验方法叫U检验法 。

2、 当$\sigma {{}_1}^2$、$\sigma {{}_2}^2$未知，但$\sigma {{}_1}^2=\sigma {{}_2}^2={\sigma }^2$，检验$H_0：u_1=u_2$：
第一步：提出假设：$H_0：u_1=u_2，H_1：u_1\ne u_2$
第二步：假定$H_0$成立，选取检验统计量。$\frac{(n_1-1)S{{}_1}^2}{\sigma {{}_1}^2}\sim {\chi }^2$，$\frac{(n_2-1)S{{}_2}^2}{\sigma {{}_2}^2}\sim {\chi }^2$，当$\sigma {{}_1}^2=\sigma {{}_2}^2={\sigma }^2$时，$\frac{(n_1-1)S{{}_1}^2}{{\sigma }^2}+\frac{(n_2-1)S{{}_2}^2}{{\sigma }^2}\sim {\chi }^2(n_1+n_2-2)$。通过构造t分布我们可以把${\sigma }^2$消掉，$t=\frac{U}{\sqrt{\frac{(n_1-1)S{{}_1}^2}{{\sigma }^2}+\frac{(n_2-1)S{{}_2}^2}{{\sigma }^2}/(n_1+n_2-2)}}=\frac{\frac{\overline{X}-\overline{Y}-（u_1-u_2）}{\sqrt{\frac{\sigma {{}_1}^2}{n_1}+\frac{\sigma {{}_2}^2}{n_2}}}}{\sqrt{\frac{(n_1-1)S{{}_1}^2+(n_2-1)S{{}_2}^2}{{\sigma }^2}/(n_1+n_2-2)}}=\frac{\overline{X}-\overline{Y}}{\sqrt{\frac{(n_1-1)S{{}_1}^2+(n_2-1)S{{}_2}^2}{n_1+n_2-2}}\cdot \sqrt{\frac{1}{n_1}+\frac{1}{n_2}}}\sim t(n_1+n_2-2)$
因此这里选取检验统计量$T=\frac{\overline{X}-\overline{Y}}{\sqrt{\frac{(n_1-1)S{{}_1}^2+(n_2-1)S{{}_2}^2}{n_1+n_2-2}}\cdot \sqrt{\frac{1}{n_1}+\frac{1}{n_2}}}$$\sim t(n_1+n_2-2)$
第三步：给定$\alpha$，差表可得 P { ∣ T ∣ > t α 2 } = α \displaystyle P\{|T| >t_{\frac{\alpha }{2}}\} =\alpha P{∣T∣>t2α​​}=α对应 的$t_{\frac{\alpha }{2}}(n_1+n_2-2)$
第四步：计算$T$的值，比较$|T|$和$t_{\frac{\alpha }{2}}$，下结论：
a. 若$|T|>t_{\frac{\alpha }{2}}$，拒绝$H_0$
b. 若$|T|<t_{\frac{\alpha }{2}}$，接受$H_0$
c. 若$|T|=t_{\frac{\alpha }{2}}$，再抽样再检验
因为选取的统计量服从T分布，所以这种检验方法叫T检验法 。

二、方差$\sigma {{}_1}^2$、$\sigma {{}_2}^2$的差异性检验
当$u_1$、$u_2$未知，检验$H_0：\sigma {{}_1}^2=\sigma {{}_2}^2$
第一步：提出假设：$H_0：\sigma {{}_1}^2=\sigma {{}_2}^2，H_1：\sigma {{}_1}^2\ne \sigma {{}_2}^2$
第二步：假定$H_0$成立。取统计量$F=\frac{S{{}_1}^2/\sigma {{}_1}^2}{S{{}_2}^2/\sigma {{}_2}^2}\sim F(n_1-1,n_2-1)$，假设$\sigma {{}_1}^2=\sigma {{}_2}^2$，则$F=\frac{S{{}_1}^2}{S{{}_2}^2}\sim F(n_1-1,n_2-1)$。F分布如下图：

第三步：给定$\alpha$，差表可得 P { F > F α 2 ( n 1 − 1 , n 2 − 1 ) } = P { F < F 1 − α 2 ( n 1 − 1 , n 2 − 1 ) } = α 2 \displaystyle P\{F >F_{\frac{\alpha }{2}}( n_{1} -1,n_{2} -1)\} =P\{F< F_{1-\frac{\alpha }{2}}( n_{1} -1,n_{2} -1)\} =\frac{\alpha }{2} P{F>F2α​​(n1​−1,n2​−1)}=P{F<F1−2α​​(n1​−1,n2​−1)}=2α​ 对应 的$F_{\frac{\alpha }{2}}((n_1-1,n_2-1)$、$F_{1-\frac{\alpha }{2}}((n_1-1,n_2-1)$
第四步：计算F的值，比较下结论。
因为选取的统计量服从F分布，所以这种检验方法叫F检验法 。文章来源地址https://www.toymoban.com/news/detail-502990.html

到了这里，关于假设检验(hypothesis testing)的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！