假设检验原理一: T 检验

      最近在撸毕业论文,撸得很不爽。还是写写博客比较爽。因此在撸毕业论文的间隙,把三大统计假设检验原理性的知识整理一下。先写 T 检验的相关,后续博文会介绍卡方检验和 F 检验。

      在介绍 T 检验之前,我们先介绍一下假设检验的基本概念。我们观察到一组独立地从同一个分布采样出来的样本,想了解这个分布的参数。这时候,我们针对这个分布的参数做出两个不同的假设,一个叫零假设\pmb{H}_0,另一个叫备选假设\pmb{H}_1。比如针对分布的期望值u,零假设是期望值等于某一个具体值,即 \pmb{H}_0:u = u_0;备选假设是期望值不等于某一个具体值,即 \pmb{H}_1: u\neq u_0。假设检验就是根据观察到的样本,决定接受其中一个假设。假设检验可以分为四个步骤:

1. 假设零假设\pmb{H}_0成立,选择一个零假设成立时概率分布已知的统计量 s,然后再选择一个显著性水平\alpha
2. 选定一个区域 I,使得区域 I 中统计量 st 的概率小于等于显著性水平\alpha
3. 根据观察到的样本,计算统计量 st 值;
4. 如果统计量 st 值落在区域 I,则拒绝零假设;如果没有落在区域 I,则接受零假设。

      假设检验有两种错误,第一类型错误和第二类型错误。第一类型错误,是零假设成立的情况下拒绝零假设。第二类型错误,是备选假设成立的情况下接受零假设。

Decision:Accept \(\pmb{H}_0\)Decision:Reject \(\pmb{H}_0\)
Truth:\(\pmb{H}_0\)Correct DecisionType I Error
Truth:\(\pmb{H}_1\)Type II ErrorCorrect Decison

假设检验保证,第一类型错误概率不超过\alpha。这是因为在零假设成立的情况下,统计量 st 值落在区域 I 的可能性小于等于\alpha。对于第二类错误,假设检验就没有什么控制了。为什么假设检验控制第一类错误,而忽略第二类错误呢?一般情况下,零假设代表无效、无作用或者无影响,而备选假设代表有效、有作用或者有影响。这时候第一类错误的危害比第二类错误的大。比如在验证新算法有效性实验中,新算法实际无效但被认为有效的第一类型错误,会让大家错误地使用这个算法。新算法有效而被认为无效的第二类错误,只是让自己发不出论文,对大众没有影响。

T 检验操作过程

      T 检验是针对分布期望u的检验。假设一组服从正态分布的数据样本

(1)   \begin{eqnarray*} 1.0,\quad1.2,\quad1.4,\quad1.1,\quad1.3,\quad1.2 \end{eqnarray*}

这时有人说,正态分布的期望u等于1.1。如果要判断这种说法的正确与否,便需要使用 T 检验了。T 检验的主要步骤如下:

      步骤1. 建立零假设\pmb{H}_0和备选假设\pmb{H}_1

*** QuickLaTeX cannot compile formula:
\begin{eqnarray*}
&\pmb{H}_0: u=1.1 &\quad\quad \pmb{H}_1: u \neq 1.1 &
\end{eqnarray*}

*** Error message:
Too many columns in eqnarray environment.
leading text: \end{eqnarray*}

并限定显著性水平。这里我们限定显著性水平为\alpha=0.05

      步骤2. 我们选择 T 统计量。计算 T 统计量,计算公式如下

(3)   \begin{eqnarray*} T = \frac{\bar{x}-1.1}{s/\sqrt{n}} = 0.2886751345948126 \end{eqnarray*}

其中s是样本的标准差,计算公式为s = \sqrt{\frac{1}{n-1}\sum_{i=1}^{n}(x_i-\bar{x})^2}

      步骤3. 查 T 检验临界值表。因为样本中拥有6份数据,因此我们采用n=5(自由度为5)所对应的行;显著性水平为\alpha=0.05,因此我们采用双侧检验p=0.05所对应的列。

Snip20151110_1

查表所得值为2.571。|t| = 0.2886751345948126< 2.571,故我们接受零假设\pmb{H}_0,认为u=1.1成立。



T 检验导出

      我们介绍如何导出 T 检验。T 检验的适用条件:样本从正态分布相互独立地采样出来的,即x_i \sim N(u,\sigma^2),i=1,...,n。如果零假设\pmb{H}_0:u = u_0成立,那么样本服从正态分布N(u_0,\sigma^2)。这组样本具有如下性质:
            1. \bar{x}和s相互独立
            2. \bar{x} \sim N(u,\sigma^2/n)
            3. (n-1)s^2 /\sigma^2 \sim \chi^2(n-1)
其中\bar{x}是样本平均数,s是样本标准差。这些性质的证明可以在http://www.math.uah.edu/stat/sample/Normal.html的第一个、第五个和第六个命题中找到。

      现在我们求统计量 t =\frac{\bar{x}-u_0}{s/\sqrt{n}} 的分布。令P=(\bar{x} - u_0)/(\sigma/\sqrt{n}),Q=(n-1)s^2/\sigma^2,P服从标准正态分布,Q服从自由度为n-1的卡方分布,得到如下转换公式

(4)   \begin{eqnarray*} t = P \sqrt{\frac{n-1}{Q}},R = Q \nonumber \\ \Rightarrow P = T \sqrt{\frac{R}{n-1}}, Q = R \end{eqnarray*}

这个转换的雅克比矩阵的行列式等于\sqrt{ \frac{r}{n-1}  },随机变量 T 和 R 的联合概率分布如下所示

(5)   \begin{eqnarray*} p_{(T,R)}(t,r) &=& \frac{1}{\sqrt{2\pi}}e^{-t^2\frac{r}{n-1}/2} \frac{1}{\Gamma((n-1)/2)2^{(n-1)/2}} r^{(n-1)/2-1} e^{-r/2} \sqrt{ \frac{r}{n-1}  } \nonumber \\ & = & \frac{1}{\sqrt{2\pi}} \frac{1}{\Gamma(\frac{n-1}{2})2^{(n-1)/2}}  \frac{1}{\sqrt{n-1}}       r^{(n+1)/2 - 1} e^{ -\frac{r}{2}(\frac{t^2}{n-1}+1) }  \end{eqnarray*}

想求得统计量 T 分布,需要对 p_{(T,R)} 联合分布 R 变量进行积分运算。直接对 p_{(T,R)} 联合分布中的 R 变量算积分有困难,毕竟包含 R 变量的部分 r^{(n+1)/2 - 1} e^{ -\frac{r}{2}(\frac{t^2}{n-1}+1) } 看上去就难搞。但我们想到 \alpha=(n+1)/2\beta=\frac{1}{\frac{1}{2}(\frac{t^2}{n-1}+1)} 的 Gamma 概率密度公式

(6)   \begin{eqnarray*} p(x) = \frac{1}{\Gamma(\frac{n+1}{2}) (\frac{1}{\frac{1}{2}(\frac{t^2}{n-1}+1) })^{(n+1)/2-1}}x^{(n+1)/2 - 1} e^{ -\frac{x}{2}(\frac{t^2}{n-1}+1) } \end{eqnarray*}

其中的变量部分 x^{(n+1)/2 - 1} e^{ -\frac{x}{2}(\frac{t^2}{n-1}+1) }x 换成 r 就是我们要计算积分的部分。又 \int p(x) d_x = 1,因此很容易得到

(7)   \begin{eqnarray*} p_{T}(t) &=& \int p_{(T,R)}(t,r) d_r  \nonumber \\          &=& \frac{1}{\sqrt{2\pi}} \frac{1}{\Gamma(\frac{n-1}{2})2^{(n-1)/2}}  \frac{1}{\sqrt{n-1}}  \Gamma(\frac{n+1}{2}) (\frac{1}{\frac{1}{2}(\frac{t^2}{n-1}+1) })^{(n+1)/2-1} \nonumber \\          &=& \frac{1}{\sqrt{\pi(n-1)}} \frac{\Gamma(\frac{n+1}{2})}{\Gamma(\frac{n-1}{2})} \frac{1}{(1+t^2/(n-1))^{\frac{n+1}{2}}} \end{eqnarray*}

熟悉 T 分布公式的读者已经看出来了,上面的公式就是自由度为 n-1 的 T 分布的公式。因此我们可以说,在零假设成立的情况下,统计量 t=\frac{\bar{x}-u_0}{s/\sqrt{n}} 服从自由度为 n-1 的 T 分布。

      下图就是某个自由度的t分布的概率密度曲线图。图中斜线区域的概率就是我们的显著性水平 \alpha 。因为 T 分布是对称的,所以一边一半。零假设成立的情况下(统计量t服从图中的t分布),统计量t落在非斜线区域,概率还是蛮高的嘛(1-\alpha),就接受了零假设;统计量t落在斜线区域,概率也太低了点吧(只有\alpha),因此拒绝零假设。而落在斜线区域还是非斜线区域的判断标准,是统计量t绝对值是否大于图中右边斜线区域和非斜线区域分割线对应值。将不同自由度和不同显著性水平t分布的分割线对应值计算出来,就能得到t检验表了。

20130802172202-589762225

t检验类型

      t检验有多种类型,可以分为只有一组样本的单体检验和有两组样本的双体检验。单体检验用于检验样本的分布期望是否等于某个值。双体检验用于检验两组样本的分布期望是否相等,又分为配对双体检验和非配对双体检验。配对双体检验的两组样本数据是一一对应的,而非配对双体检验的两组数据则是独立的。比如药物实验中,配对双体检验适用于观察同一组人服用药物之前和之后,非配对双体检验适用于一组服用药物而一组不服用药物。

      1)单体检验
      单体检验是针对一组样本的假设检验。零假设为 \pmb{H}_0:u=u_0。统计量 t = \frac{\bar{x} - \mu_0}{s/\sqrt{n}} 服从自由度为n-1的 T 分布。

      2)配对双体检验
      配对双体检验针对配对的两组样本。配对双体检验假设两组样本之间的差值服从正态分布。如果该正态分布的期望为零,则说明这两组样本不存在显著差异。零假设为 \pmb{H}_0:u=u_0。统计量 t = \frac{\bar{d} - \mu_0}{s/\sqrt{n}} 服从自由度为 n-1 的 T 分布,其中 \bar{d} 是差值的样本均值,s是差值的样本标准差。

      3)非配对双体检验
      非配对双体检验针对独立的两组样本。非配对双体检验假设两组样本是从不同的正态分布采样出来的。根据两个正态分布的标准差是否相等,非配对双体检验又可以分两类。一种是分布标准差相等的情况。零假设是两组样本的分布期望相等,统计量 T 服从自由度为 n_1+n_2-2 的 T 分布。

(8)   \begin{eqnarray*} t &=& \frac{\bar{x_1}-\bar{x_2}}{s_{x_1,x_2} \sqrt{1/n_1+1/n_2}} \nonumber\\ s_{x_1,x_2} &=& \sqrt{ \frac{(n_1-1)s_1^2+(n_2-1)s_2^2}{n_1+n_2-2}  } \nonumber \end{eqnarray*}

其中 \bar{x_1}\bar{x_2} 分别是两组样本的样本均值, n_1n_2 分别是两组样本的大小,s_1s_2 分别是两组样本的样本标准差。另一种是分布标准差不相等的情况。零假设也是两组样本的分布期望相等,统计量 T 服从 T 分布。

(9)   \begin{eqnarray*} t = \frac{\bar{x}_1-\bar{x}_2}{\sqrt{\frac{s_1^2}{n_1} + \frac{s_2^2}{n_2}}} \nonumber \end{eqnarray*}

T 分布的自由度为

(10)   \begin{eqnarray*} d.f. = \frac{ (s_1^2/n_1+s_2^2/n_2)^2  }{(s_1^2/n_1)^2/(n_1-1)+ (s_2^2/n_2)^2/(n_2-1)}    \nonumber \end{eqnarray*}

      文章结尾欢迎关注我的公众号 AlgorithmDog,每周日的更新就会有提醒哦~

weixin_saomiao

      

假设检验系列系列文章

此条目发表在假设检验, 数学基础分类目录,贴了标签。将固定链接加入收藏夹。

假设检验原理一: T 检验》有 3 条评论

发表评论

电子邮件地址不会被公开。