一张图的故事——概率分布之间的关系(下)

      填自己挖的坑, 继续介绍概率分布之间的关系。下从Beta分布开始介绍。

relationships among distributions

      14. \(Beta(\alpha,\beta) \overset{u=\alpha/(\alpha+\beta), \sigma^2 =\alpha\beta/(\alpha+\beta)^2(\alpha+\beta+1), \alpha = \beta > 5}{\rightarrow} N(u,\sigma^2)\)。

      没能推出来(囧哩个囧)。

      15. \(G(\alpha,\beta) \overset{X_1/(X_1+X_2)}{\rightarrow} N(u,\sigma^2)\)。

      证明该关系之前,我们引入如下引理。该引理用以求变换之后随机变量的分布。求变换之后随机变量的分布, 有一整套完整的方法, 细节见Statistical Inference的第2章和第4章的4.3节。

引理1
假设\((X_1,X_2,…,X_n)\)是连续的随机向量,概率密度函数为\(f_{X_1,X_2,…,X_n}(X_1,X_2,…,X_n)\)。
有一一映射\(G:(X_1,X_2,…,X_n) \rightarrow (Y_1,Y_2,…,Y_n)\)。 其逆映射为\(G^{-1}:(Y_1,Y_2,…,Y_n) \rightarrow (X_1,X_2,…,X_n)\)。 那么有随机向量\((Y_1,Y_2,…,Y_n)\)的概率密度函数:

\begin{eqnarray}
&& f_(Y_1,Y_2,…,Y_n)(y_1,y_2,…,y_n) \nonumber \\
&=& f_{X_1,X_2,…,X_n}(G^{-1}(Y_1,Y_2,…,Y_n) )|J|
\label{eq:transformation}
\end{eqnarray}
其中J表示Jacobian矩阵的行列式,
\begin{eqnarray}
J=\begin{vmatrix}
\frac{\partial x_1}{\partial y_1} & … & \frac{\partial x_1}{\partial y_n} \\
\frac{\partial x_2}{\partial y_1} & … & \frac{\partial x_2}{\partial y_n} \\
…&…&… \\
\frac{\partial x_n}{\partial y_1}& … & \frac{\partial x_n}{\partial y_n} \nonumber
\end{vmatrix}
\end{eqnarray}

      假设映射为:\(y_1 = \frac{x_1}{x_1+x_2}, y_2 = x_2\)。易验证该映射是一一映射,其逆映射为:\(x_1 = (y_1y_2)/(1-y_1), x_2= y_2\)。经过计算得:
\begin{eqnarray}
J=\frac{y_2}{(1-y_1)^2} \nonumber \\
\end{eqnarray}
利用公式\ref{eq:transformation}, 推导出\(y_1,y_2\)联合分布的概率密度函数
\begin{eqnarray}
&&f_{Y_1,Y_2}(y_1,y_2) \nonumber \\
&=& f_X(\frac{x_1}{x_1+x_2})f_X(x_2)|J| \quad f_X为Gamma分布\nonumber \\
&=& (\frac{1}{\Gamma(\alpha)\beta^\alpha})^2 (\frac{y_1y_2^2}{1-y_1})^{\alpha-1} \exp(-\frac{y_2}{\beta(1-y_1)}) \frac{y_2}{(1-y_1)^2} \nonumber \\
\end{eqnarray}

为了得到\(y_1\)的分布, 即\(x_1/(x_1+x_2)\)的分布, 我们对\(y_2\)求积分
\begin{eqnarray}
f_{Y_1}(y_1) &=& \int_{0}^{\infty} f_{Y_1,Y_2}(y_1,y_2)d_{y_2} \nonumber \\
&=& (\frac{1}{\Gamma(\alpha)\beta^\alpha})^2 \frac{y_1^{\alpha}}{(1-y_1)^{\alpha+1}} \int_{0}^{\infty} y_2^{2\alpha-1}\exp(-\frac{y_2}{\beta(1-y_1)}) d_{y_2} \nonumber \\
&=& \frac{\Gamma(2\alpha)}{\Gamma(\alpha)^2}y_1^{\alpha-1}(1-y_1)^{\alpha-1} \nonumber
\end{eqnarray}
即得\(x_1/(x_1+x_2)\)满足Beta分布。

      16. \(t(n) \overset{X^2}{\rightarrow} F(n,m)\)。

      F分布是用来研究两个服从正态分布的样本的样本方差的分布。\(X_1,X_2,…,X_n\)服从正态分布\(n(u_x,\sigma_x^2)\)的独立同分布样本,\(Y_1,X_2,…,Y_m\)服从正态分布\(n(u_y,\sigma_y^2)\)的独立同分布样本,则变量\(\frac{S_x^2/\sigma_x^2}{S_y^2/\sigma_y^2}\)服从自由度为n-1和m-1的F分布。一个F分布的自由度为p和q, 其概率密度函数为
\begin{eqnarray}
f_F(x) = \frac{\Gamma(\frac{p+q}{2})}{\Gamma(\frac{p}{2})\Gamma(\frac{q}{2})} (\frac{p}{q})^{p/2} \frac{x^{p/2-1}}{[1+(p/q)x]^{(p+q)/2}}
\label{eq:fdistribution}
\end{eqnarray}

      在证明该转化关系之前,我们引入一引理:

引理2
\(X_1,X_2,…,X_n\)是服从正态分布\(n(u,\sigma)\)的独立同分布样本,则有\(\bar{X}=\frac{1}{n}\sum_{i=1}^{n}X_i \sim n(u,\sigma^2/n)\)

      \(X_1,X_2,…,X_n\)是服从正态分布\(n(u,\sigma)\)的独立同分布样本, 根据t分布的定义,可知变量\(v = \frac{\bar{X}-u}{S_x/\sqrt{n}} \sim t(n-1)\)。令\(m = \frac{\bar{X}-u}{1/\sqrt{n}}\), 根据引理,\(m \sim n(0,\sigma^2)\)。此时有:
\begin{eqnarray}
v^2 = (\frac{m}{S_x})^2 = \frac{m^2/\sigma^2}{S_x^2/\sigma^2} \nonumber
\end{eqnarray}
根据公式\ref{eq:fdistribution}, 只要我们能找到服从正态分布的样本,其样本方差的分布和随机变量\(m^2\)的分布一致, 立证\(v^2\)服从F分布。

      假设\(U_1,U_2\)是服从正态分布\(n(0,\sigma^2)\)的样本,其样本方差为\(S_u^2 = \frac{(U_1-U_2)^2}{2}\)。 令\(s = \frac{U_1-U_2}{\sqrt{2}}\)。 根据引理易知:
\begin{eqnarray}
s \sim n(0,\sigma^2)
=>即s和m有相同的分布
=>S_u^2和m^2有相同的分布 \nonumber
\end{eqnarray}
\(v^2\)服从自由度为1和n-1的F分布。转化关系得证。

      17. \(F(n,m) \overset{}{\leftrightarrow} \chi^2(n)\)。

      首先说明\(\leftarrow\):\(X_{1,1},X_{1,2},…,X_{1,n+1}\)为服从标准正态分布的独立同分布样本。令\(X_1= \sum_{i=1}^{n+1}X_{1,i}^2\), 则X_1服从自由度为n的卡方分布。 \(X_{2,1},X_{2,2},…,X_{1,m+1}\)为服从标准正态分布的独立同分布样本。令\(X_2= \sum_{i=1}^{m+1}X_{1,i}^2\), 则X_2服从自由度为m卡方分布。因此\(\frac{X_1/n}{X_2/m}\)服从自由度为n-1和m-1的F分布。

      再说明\(\rightarrow\):\(X_1,X_2,…,X_{n+1}\)服从正态分布\(n(0,1)\)的独立同分布样本,\(Y_1,X_2,…,Y_{m+1}\)服从正态分布\(n(0,1)\)的独立同分布样本,则变量\(\frac{S_x^2}{S_y^2}\)服从自由度为n和m的F分布。当m趋近于无穷时,\(S_y^2\)趋近于\(\sigma^2\), 即趋近于1。这时\(S_x^2\)服从\(F_{n,m}\)分布, 而\(nS_x^2 = \sum_{i=1}^{n+1}X_i^2\)服从自由度为n的卡方分布。

      18. \(W(R,n) \overset{R=1}{\rightarrow} \chi^2(n)\)。

      统计学家约翰·威沙特为名的威沙特分布(Wishart)是统计学上的一种半正定矩阵随机分布。这个分布在多变量分析的共变异矩阵估计上相当重要。假设\(\pmb{X}\)为\(n \times R\)的矩阵, 其每一行是从R元正态分布\(N_R(0,V)\)的一次抽样, 并且彼此独立。
\begin{eqnarray}
X_{i,} = (X_{i,1}, …, X_{i,R})^T \sim N_R(0,V) \nonumber
\end{eqnarray}

\begin{eqnarray}
S = X^TX \nonumber
\end{eqnarray}
则\(S \sim W(R,V,n)\)。这里我们用\(W(R,V,n)\)表示Wishart分布。不太能理解图中\(W(R,n)\)的意思, 希望知道的读者不吝赐教。

      当R=1,V=1时,假设\(\pmb{X}\)为\(n \times 1\)的矩阵, 其每一行(只有一个数)是从正态分布\(n(0,1)\)的一次抽样, 并且彼此独立。
\begin{eqnarray}
X_{i,1} \sim N(0,1) \nonumber \\
S = X^TX = \sum_{i=1}^{n}X_{i,1}^2 \nonumber
\end{eqnarray}
根据卡方分布的定义, 可知S服从卡方分布。转化关系得证。

      19. \(Exp(\theta) \leftrightarrow \chi^2(n)\)。

      指数分布的概率密度公式为, \(f_X(x|\theta) = \theta \exp(-\theta x) \quad x \ge 0\)。卡方分布的概率密度公式为, \(f_X(x|n) = \frac{1}{\Gamma(n/2)2^{n/2}} x^{n/2-1}\exp(-x/2) \quad x \ge 0 \)。 简单的代数运算即可证明两者之间的转化关系。

      20. \(Exp(\theta) \leftrightarrow G(\alpha,\beta)\)。

      伽马分布的概率密度公式为, \(f_X(x|\alpha,\beta) = \frac{1}{\Gamma(\alpha)2^{\alpha}} x^{\alpha-1}\exp(-x/\beta) \quad x \ge 0 \)。 类似于卡方分布和指数分布, 简单的代数运算即可证明两者之间的转化关系。

      21. \(U(0,1) \rightarrow Exp(\theta)\)。

      假设X服从0到1之间的均匀分布,即有\(f_X(x) = 1, \quad 0 \le x \le 1\)。令随机变量\(Y = g(X) = -\theta ln X\), 我们可以用引理1求出随机变量Y的分布。\(X = g^{-1}(Y) = \exp(-\frac{Y}{\theta}), J = \frac{\partial X}{\partial Y } = -\frac{1}{\theta} \exp(-\frac{Y}{\theta}) \)。 因此
\begin{eqnarray}
f_Y(y) = f_X(\exp(-\frac{y}{\theta})) |J| = \frac{1}{\theta} \exp(-\frac{y}{\theta})
\end{eqnarray}
即随机变量Y服从\(Exp(-\frac{1}{\theta})\)分布。

      22. \(Be(\alpha,\beta) \overset{\alpha=1,\beta=1}{\rightarrow} U(0,1)\)。

      Beta分布的概率密度的公式为 \(f_X(x) = \frac{\Gamma(\alpha+\beta)}{\Gamma(\alpha)\Gamma(\beta)} x^{\alpha-1}(1-x)^{\beta-1} \quad 0 < x < 1 \)。当\(\alpha=\beta=1\)时,我们有\(f_X(x)=1\quad 0 < x < 1 \)。即X服从U(0,1)分布。       23. \(W(\theta,\lambda) \leftrightarrow Exp(\theta)\)。

      Weibull分布\(W(\theta,\lambda)\)概率密度函数为:
\begin{eqnarray}
f_X(x|\theta,\lambda) = \frac{\lambda}{\theta} (\frac{x}{\theta})^{\lambda-1} \exp(-\frac{x}{\theta}^\lambda) \quad x \ge 0 \nonumber
\end{eqnarray}

\(\rightarrow\):当\(\lambda=1\)时, X服从\(Exp(\frac{1}{\theta})\)。
\(\leftarrow\):当随机变量服从\(Exp(\theta)\), 令\(Y=X^{1/\lambda}\)。 根据引理1, 计算得Y的分布\(f_Y(y) = \lambda\theta y^{\lambda-1}\exp(-\theta y^\lambda)\), 为\(W(1,\lambda)\)分布。

      24. \(U(a,b) \leftrightarrow U(0,1)\)。

      简单代数运算可以证明。

      总结

      图中概率分布之间的转化关系大致可以分成三种:1.近似关系,如正态分布可以用来近似泊松分布、二项分布和伽马分布。2.变量变换关系,如随机变量X服从均匀分布U(0,1), 则\(-\theta ln X \)服从指数分布。 3.特例关系,如卡方分布是伽马分布的一种特例。

此条目发表在数学基础分类目录,贴了标签。将固定链接加入收藏夹。

一张图的故事——概率分布之间的关系(下)》有 2 条评论

发表评论

电子邮件地址不会被公开。