假设检验原理一: T 检验

      最近在撸毕业论文,撸得很不爽。还是写写博客比较爽。因此在撸毕业论文的间隙,把三大统计假设检验原理性的知识整理一下。先写 T 检验的相关,后续博文会介绍卡方检验和 F 检验。

      在介绍 T 检验之前,我们先介绍一下假设检验的基本概念。我们观察到一组独立地从同一个分布采样出来的样本,想了解这个分布的参数。这时候,我们针对这个分布的参数做出两个不同的假设,一个叫零假设 \pmb{H}_0 ,另一个叫备选假设 \pmb{H}_1 。比如针对分布的期望值u,零假设是期望值等于某一个具体值,即 \pmb{H}_0:u = u_0 ;备选假设是期望值不等于某一个具体值,即 \pmb{H}_1: u\neq u_0 。假设检验就是根据观察到的样本,决定接受其中一个假设。假设检验可以分为四个步骤:

1. 假设零假设 \pmb{H}_0 成立,选择一个零假设成立时概率分布已知的统计量 s,然后再选择一个显著性水平 \alpha
2. 选定一个区域 I,使得区域 I 中统计量 st 的概率小于等于显著性水平 \alpha
3. 根据观察到的样本,计算统计量 st 值;
4. 如果统计量 st 值落在区域 I,则拒绝零假设;如果没有落在区域 I,则接受零假设。

      假设检验有两种错误,第一类型错误和第二类型错误。第一类型错误,是零假设成立的情况下拒绝零假设。第二类型错误,是备选假设成立的情况下接受零假设。

Decision:Accept \pmb{H}_0 Decision:Reject \pmb{H}_0
Truth: \pmb{H}_0 Correct DecisionType I Error
Truth: \pmb{H}_1 Type II ErrorCorrect Decison

假设检验保证,第一类型错误概率不超过 \alpha 。这是因为在零假设成立的情况下,统计量 st 值落在区域 I 的可能性小于等于 \alpha 。对于第二类错误,假设检验就没有什么控制了。为什么假设检验控制第一类错误,而忽略第二类错误呢?一般情况下,零假设代表无效、无作用或者无影响,而备选假设代表有效、有作用或者有影响。这时候第一类错误的危害比第二类错误的大。比如在验证新算法有效性实验中,新算法实际无效但被认为有效的第一类型错误,会让大家错误地使用这个算法。新算法有效而被认为无效的第二类错误,只是让自己发不出论文,对大众没有影响。

T 检验操作过程

      T 检验是针对分布期望 u 的检验。假设一组服从正态分布的数据样本
\begin{eqnarray}
1.0,\quad1.2,\quad1.4,\quad1.1,\quad1.3,\quad1.2
\end{eqnarray}
这时有人说,正态分布的期望 u 等于1.1。如果要判断这种说法的正确与否,便需要使用 T 检验了。T 检验的主要步骤如下:

      步骤1. 建立零假设 \pmb{H}_0 和备选假设 \pmb{H}_1
\begin{eqnarray}
&\pmb{H}_0: u=1.1 &\quad\quad \pmb{H}_1: u \neq 1.1 &
\end{eqnarray}
并限定显著性水平。这里我们限定显著性水平为 \alpha=0.05

      步骤2. 我们选择 T 统计量。计算 T 统计量,计算公式如下
\begin{eqnarray}
T = \frac{\bar{x}-1.1}{s/\sqrt{n}} = 0.2886751345948126
\end{eqnarray}
其中s是样本的标准差,计算公式为 s = \sqrt{\frac{1}{n-1}\sum_{i=1}^{n}(x_i-\bar{x})^2}

      步骤3. 查 T 检验临界值表。因为样本中拥有6份数据,因此我们采用n=5(自由度为5)所对应的行;显著性水平为 \alpha=0.05 ,因此我们采用双侧检验 p=0.05 所对应的列。

Snip20151110_1

查表所得值为2.571。 |t| = 0.2886751345948126< 2.571 ,故我们接受零假设 \pmb{H}_0 ,认为 u=1.1 成立。

T 检验导出

      我们介绍如何导出 T 检验。T 检验的适用条件:样本从正态分布相互独立地采样出来的,即 x_i \sim N(u,\sigma^2) , i=1,...,n 。如果零假设 \pmb{H}_0:u = u_0 成立,那么样本服从正态分布 N(u_0,\sigma^2) 。这组样本具有如下性质:
            1. \bar{x} 和s相互独立
            2. \bar{x} \sim N(u,\sigma^2/n)
            3. (n-1)s^2 /\sigma^2 \sim \chi^2(n-1)
其中 \bar{x} 是样本平均数, s 是样本标准差。这些性质的证明可以在http://www.math.uah.edu/stat/sample/Normal.html的第一个、第五个和第六个命题中找到。

      现在我们求统计量  t =\frac{\bar{x}-u_0}{s/\sqrt{n}} 的分布。令 P=(\bar{x} - u_0)/(\sigma/\sqrt{n}),Q=(n-1)s^2/\sigma^2 ,P服从标准正态分布,Q服从自由度为n-1的卡方分布,得到如下转换公式
\begin{eqnarray}
t = P \sqrt{\frac{n-1}{Q}},R = Q \nonumber \\
\Rightarrow P = T \sqrt{\frac{R}{n-1}}, Q = R
\end{eqnarray}
这个转换的雅克比矩阵的行列式等于 \sqrt{ \frac{r}{n-1}  } ,随机变量 T 和 R 的联合概率分布如下所示
\begin{eqnarray}
p_{(T,R)}(t,r) &=& \frac{1}{\sqrt{2\pi}}e^{-t^2\frac{r}{n-1}/2} \frac{1}{\Gamma((n-1)/2)2^{(n-1)/2}} r^{(n-1)/2-1} e^{-r/2} \sqrt{ \frac{r}{n-1} } \nonumber \\
& = & \frac{1}{\sqrt{2\pi}} \frac{1}{\Gamma(\frac{n-1}{2})2^{(n-1)/2}} \frac{1}{\sqrt{n-1}} r^{(n+1)/2 - 1} e^{ -\frac{r}{2}(\frac{t^2}{n-1}+1) }
\end{eqnarray}
想求得统计量 T 分布,需要对 p_{(T,R)} 联合分布 R 变量进行积分运算。直接对 p_{(T,R)} 联合分布中的 R 变量算积分有困难,毕竟包含 R 变量的部分 r^{(n+1)/2 - 1} e^{ -\frac{r}{2}(\frac{t^2}{n-1}+1) } 看上去就难搞。但我们想到 \alpha=(n+1)/2\beta=\frac{1}{\frac{1}{2}(\frac{t^2}{n-1}+1)} 的 Gamma 概率密度公式
\begin{eqnarray}
p(x) = \frac{1}{\Gamma(\frac{n+1}{2}) (\frac{1}{\frac{1}{2}(\frac{t^2}{n-1}+1) })^{(n+1)/2-1}}x^{(n+1)/2 - 1} e^{ -\frac{x}{2}(\frac{t^2}{n-1}+1) }
\end{eqnarray}
其中的变量部分 x^{(n+1)/2 - 1} e^{ -\frac{x}{2}(\frac{t^2}{n-1}+1) }x 换成 r 就是我们要计算积分的部分。又 \int p(x) d_x = 1 ,因此很容易得到
\begin{eqnarray}
p_{T}(t) &=& \int p_{(T,R)}(t,r) d_r \nonumber \\
&=& \frac{1}{\sqrt{2\pi}} \frac{1}{\Gamma(\frac{n-1}{2})2^{(n-1)/2}} \frac{1}{\sqrt{n-1}} \Gamma(\frac{n+1}{2}) (\frac{1}{\frac{1}{2}(\frac{t^2}{n-1}+1) })^{(n+1)/2-1} \nonumber \\
&=& \frac{1}{\sqrt{\pi(n-1)}} \frac{\Gamma(\frac{n+1}{2})}{\Gamma(\frac{n-1}{2})} \frac{1}{(1+t^2/(n-1))^{\frac{n+1}{2}}}
\end{eqnarray}
熟悉 T 分布公式的读者已经看出来了,上面的公式就是自由度为 n-1 的 T 分布的公式。因此我们可以说,在零假设成立的情况下,统计量 t=\frac{\bar{x}-u_0}{s/\sqrt{n}} 服从自由度为 n-1 的 T 分布。

      下图就是某个自由度的t分布的概率密度曲线图。图中斜线区域的概率就是我们的显著性水平 \alpha 。因为 T 分布是对称的,所以一边一半。零假设成立的情况下(统计量t服从图中的t分布),统计量t落在非斜线区域,概率还是蛮高的嘛(1- \alpha ),就接受了零假设;统计量t落在斜线区域,概率也太低了点吧(只有 \alpha ),因此拒绝零假设。而落在斜线区域还是非斜线区域的判断标准,是统计量t绝对值是否大于图中右边斜线区域和非斜线区域分割线对应值。将不同自由度和不同显著性水平t分布的分割线对应值计算出来,就能得到t检验表了。

20130802172202-589762225

t检验类型

      t检验有多种类型,可以分为只有一组样本的单体检验和有两组样本的双体检验。单体检验用于检验样本的分布期望是否等于某个值。双体检验用于检验两组样本的分布期望是否相等,又分为配对双体检验和非配对双体检验。配对双体检验的两组样本数据是一一对应的,而非配对双体检验的两组数据则是独立的。比如药物实验中,配对双体检验适用于观察同一组人服用药物之前和之后,非配对双体检验适用于一组服用药物而一组不服用药物。

      1)单体检验
      单体检验是针对一组样本的假设检验。零假设为 \pmb{H}_0:u=u_0 。统计量 t = \frac{\bar{x} - \mu_0}{s/\sqrt{n}} 服从自由度为 n-1 的 T 分布。

      2)配对双体检验
      配对双体检验针对配对的两组样本。配对双体检验假设两组样本之间的差值服从正态分布。如果该正态分布的期望为零,则说明这两组样本不存在显著差异。零假设为 \pmb{H}_0:u=u_0 。统计量 t = \frac{\bar{d} - \mu_0}{s/\sqrt{n}} 服从自由度为 n-1 的 T 分布,其中 \bar{d} 是差值的样本均值, s 是差值的样本标准差。

      3)非配对双体检验
      非配对双体检验针对独立的两组样本。非配对双体检验假设两组样本是从不同的正态分布采样出来的。根据两个正态分布的标准差是否相等,非配对双体检验又可以分两类。一种是分布标准差相等的情况。零假设是两组样本的分布期望相等,统计量 T 服从自由度为 n_1+n_2-2 的 T 分布。
\begin{eqnarray}
t &=& \frac{\bar{x_1}-\bar{x_2}}{s_{x_1,x_2} \sqrt{1/n_1+1/n_2}} \nonumber\\
s_{x_1,x_2} &=& \sqrt{ \frac{(n_1-1)s_1^2+(n_2-1)s_2^2}{n_1+n_2-2} } \nonumber
\end{eqnarray}
其中 \bar{x_1}\bar{x_2} 分别是两组样本的样本均值, n_1n_2 分别是两组样本的大小, s_1s_2 分别是两组样本的样本标准差。另一种是分布标准差不相等的情况。零假设也是两组样本的分布期望相等,统计量 T 服从 T 分布。
\begin{eqnarray}
t = \frac{\bar{x}_1-\bar{x}_2}{\sqrt{\frac{s_1^2}{n_1} + \frac{s_2^2}{n_2}}} \nonumber
\end{eqnarray}
T 分布的自由度为
\begin{eqnarray}
d.f. = \frac{ (s_1^2/n_1+s_2^2/n_2)^2 }{(s_1^2/n_1)^2/(n_1-1)+ (s_2^2/n_2)^2/(n_2-1)} \nonumber
\end{eqnarray}

      文章结尾欢迎关注我的公众号 AlgorithmDog,每周日的更新就会有提醒哦~

weixin_saomiao

      

假设检验系列系列文章

此条目发表在假设检验, 数学基础分类目录,贴了标签。将固定链接加入收藏夹。

假设检验原理一: T 检验》有 3 条评论

发表评论

电子邮件地址不会被公开。