一张图的故事——概率分布之间的关系(下)

      填自己挖的坑, 继续介绍概率分布之间的关系。下从Beta分布开始介绍。

relationships among distributions

      14. (Beta(\alpha,\beta) \overset{u=\alpha/(\alpha+\beta), \sigma^2 =\alpha\beta/(\alpha+\beta)^2(\alpha+\beta+1), \alpha = \beta > 5}{\rightarrow} N(u,\sigma^2))。

      没能推出来(囧哩个囧)。

      15. (G(\alpha,\beta) \overset{X_1/(X_1+X_2)}{\rightarrow} N(u,\sigma^2))。

      证明该关系之前,我们引入如下引理。该引理用以求变换之后随机变量的分布。求变换之后随机变量的分布, 有一整套完整的方法, 细节见Statistical Inference的第2章和第4章的4.3节。

引理1
假设\((X_1,X_2,…,X_n)\)是连续的随机向量,概率密度函数为\(f_{X_1,X_2,…,X_n}(X_1,X_2,…,X_n)\)。
有一一映射\(G:(X_1,X_2,…,X_n) \rightarrow (Y_1,Y_2,…,Y_n)\)。 其逆映射为\(G^{-1}:(Y_1,Y_2,…,Y_n) \rightarrow (X_1,X_2,…,X_n)\)。 那么有随机向量\((Y_1,Y_2,…,Y_n)\)的概率密度函数:

\begin{eqnarray}
&& f_(Y_1,Y_2,…,Y_n)(y_1,y_2,…,y_n) \nonumber \\
&=& f_{X_1,X_2,…,X_n}(G^{-1}(Y_1,Y_2,…,Y_n) )|J|
\label{eq:transformation}
\end{eqnarray}
其中J表示Jacobian矩阵的行列式,
\begin{eqnarray}
J=\begin{vmatrix}
\frac{\partial x_1}{\partial y_1} & … & \frac{\partial x_1}{\partial y_n} \\
\frac{\partial x_2}{\partial y_1} & … & \frac{\partial x_2}{\partial y_n} \\
…&…&… \\
\frac{\partial x_n}{\partial y_1}& … & \frac{\partial x_n}{\partial y_n} \nonumber
\end{vmatrix}
\end{eqnarray}

      假设映射为:(y_1 = \frac{x_1}{x_1+x_2}, y_2 = x_2)。易验证该映射是一一映射,其逆映射为:(x_1 = (y_1y_2)/(1-y_1), x_2= y_2)。经过计算得:
\begin{eqnarray}
J=\frac{y_2}{(1-y_1)^2} \nonumber \
\end{eqnarray}
利用公式\ref{eq:transformation}, 推导出(y_1,y_2)联合分布的概率密度函数
\begin{eqnarray}
&&f_{Y_1,Y_2}(y_1,y_2) \nonumber \
&=& f_X(\frac{x_1}{x_1+x_2})f_X(x_2)|J| \quad f_X为Gamma分布\nonumber \
&=& (\frac{1}{\Gamma(\alpha)\beta^\alpha})^2 (\frac{y_1y_2^2}{1-y_1})^{\alpha-1} \exp(-\frac{y_2}{\beta(1-y_1)}) \frac{y_2}{(1-y_1)^2} \nonumber \
\end{eqnarray}

为了得到(y_1)的分布, 即(x_1/(x_1+x_2))的分布, 我们对(y_2)求积分
\begin{eqnarray}
f_{Y_1}(y_1) &=& \int_{0}^{\infty} f_{Y_1,Y_2}(y_1,y_2)d_{y_2} \nonumber \
&=& (\frac{1}{\Gamma(\alpha)\beta^\alpha})^2 \frac{y_1^{\alpha}}{(1-y_1)^{\alpha+1}} \int_{0}^{\infty} y_2^{2\alpha-1}\exp(-\frac{y_2}{\beta(1-y_1)}) d_{y_2} \nonumber \
&=& \frac{\Gamma(2\alpha)}{\Gamma(\alpha)^2}y_1^{\alpha-1}(1-y_1)^{\alpha-1} \nonumber
\end{eqnarray}
即得(x_1/(x_1+x_2))满足Beta分布。

      16. (t(n) \overset{X^2}{\rightarrow} F(n,m))。

      F分布是用来研究两个服从正态分布的样本的样本方差的分布。(X_1,X_2,…,X_n)服从正态分布(n(u_x,\sigma_x^2))的独立同分布样本,(Y_1,X_2,…,Y_m)服从正态分布(n(u_y,\sigma_y^2))的独立同分布样本,则变量(\frac{S_x^2/\sigma_x^2}{S_y^2/\sigma_y^2})服从自由度为n-1和m-1的F分布。一个F分布的自由度为p和q, 其概率密度函数为
\begin{eqnarray}
f_F(x) = \frac{\Gamma(\frac{p+q}{2})}{\Gamma(\frac{p}{2})\Gamma(\frac{q}{2})} (\frac{p}{q})^{p/2} \frac{x^{p/2-1}}{[1+(p/q)x]^{(p+q)/2}}
\label{eq:fdistribution}
\end{eqnarray}

      在证明该转化关系之前,我们引入一引理:

引理2
\(X_1,X_2,…,X_n\)是服从正态分布\(n(u,\sigma)\)的独立同分布样本,则有\(\bar{X}=\frac{1}{n}\sum_{i=1}^{n}X_i \sim n(u,\sigma^2/n)\)

      (X_1,X_2,…,X_n)是服从正态分布(n(u,\sigma))的独立同分布样本, 根据t分布的定义,可知变量(v = \frac{\bar{X}-u}{S_x/\sqrt{n}} \sim t(n-1))。令(m = \frac{\bar{X}-u}{1/\sqrt{n}}), 根据引理,(m \sim n(0,\sigma^2))。此时有:
\begin{eqnarray}
v^2 = (\frac{m}{S_x})^2 = \frac{m^2/\sigma^2}{S_x^2/\sigma^2} \nonumber
\end{eqnarray}
根据公式\ref{eq:fdistribution}, 只要我们能找到服从正态分布的样本,其样本方差的分布和随机变量(m^2)的分布一致, 立证(v^2)服从F分布。

      假设(U_1,U_2)是服从正态分布(n(0,\sigma^2))的样本,其样本方差为(S_u^2 = \frac{(U_1-U_2)^2}{2})。 令(s = \frac{U_1-U_2}{\sqrt{2}})。 根据引理易知:
\begin{eqnarray}
s \sim n(0,\sigma^2)
=>即s和m有相同的分布
=>S_u^2和m^2有相同的分布 \nonumber
\end{eqnarray}
(v^2)服从自由度为1和n-1的F分布。转化关系得证。

      17. (F(n,m) \overset{}{\leftrightarrow} \chi^2(n))。

      首先说明(\leftarrow):(X_{1,1},X_{1,2},…,X_{1,n+1})为服从标准正态分布的独立同分布样本。令(X_1= \sum_{i=1}^{n+1}X_{1,i}^2), 则X_1服从自由度为n的卡方分布。 (X_{2,1},X_{2,2},…,X_{1,m+1})为服从标准正态分布的独立同分布样本。令(X_2= \sum_{i=1}^{m+1}X_{1,i}^2), 则X_2服从自由度为m卡方分布。因此(\frac{X_1/n}{X_2/m})服从自由度为n-1和m-1的F分布。

      再说明(\rightarrow):(X_1,X_2,…,X_{n+1})服从正态分布(n(0,1))的独立同分布样本,(Y_1,X_2,…,Y_{m+1})服从正态分布(n(0,1))的独立同分布样本,则变量(\frac{S_x^2}{S_y^2})服从自由度为n和m的F分布。当m趋近于无穷时,(S_y^2)趋近于(\sigma^2), 即趋近于1。这时(S_x^2)服从(F_{n,m})分布, 而(nS_x^2 = \sum_{i=1}^{n+1}X_i^2)服从自由度为n的卡方分布。

      18. (W(R,n) \overset{R=1}{\rightarrow} \chi^2(n))。

      统计学家约翰·威沙特为名的威沙特分布(Wishart)是统计学上的一种半正定矩阵随机分布。这个分布在多变量分析的共变异矩阵估计上相当重要。假设(\pmb{X})为(n \times R)的矩阵, 其每一行是从R元正态分布(N_R(0,V))的一次抽样, 并且彼此独立。
\begin{eqnarray}
X_{i,} = (X_{i,1}, …, X_{i,R})^T \sim N_R(0,V) \nonumber
\end{eqnarray}

\begin{eqnarray}
S = X^TX \nonumber
\end{eqnarray}
则(S \sim W(R,V,n))。这里我们用(W(R,V,n))表示Wishart分布。不太能理解图中(W(R,n))的意思, 希望知道的读者不吝赐教。

      当R=1,V=1时,假设(\pmb{X})为(n \times 1)的矩阵, 其每一行(只有一个数)是从正态分布(n(0,1))的一次抽样, 并且彼此独立。
\begin{eqnarray}
X_{i,1} \sim N(0,1) \nonumber \
S = X^TX = \sum_{i=1}^{n}X_{i,1}^2 \nonumber
\end{eqnarray}
根据卡方分布的定义, 可知S服从卡方分布。转化关系得证。

      19. (Exp(\theta) \leftrightarrow \chi^2(n))。

      指数分布的概率密度公式为, (f_X(x|\theta) = \theta \exp(-\theta x) \quad x \ge 0)。卡方分布的概率密度公式为, (f_X(x|n) = \frac{1}{\Gamma(n/2)2^{n/2}} x^{n/2-1}\exp(-x/2) \quad x \ge 0 )。 简单的代数运算即可证明两者之间的转化关系。

      20. (Exp(\theta) \leftrightarrow G(\alpha,\beta))。

      伽马分布的概率密度公式为, (f_X(x|\alpha,\beta) = \frac{1}{\Gamma(\alpha)2^{\alpha}} x^{\alpha-1}\exp(-x/\beta) \quad x \ge 0 )。 类似于卡方分布和指数分布, 简单的代数运算即可证明两者之间的转化关系。

      21. (U(0,1) \rightarrow Exp(\theta))。

      假设X服从0到1之间的均匀分布,即有(f_X(x) = 1, \quad 0 \le x \le 1)。令随机变量(Y = g(X) = -\theta ln X), 我们可以用引理1求出随机变量Y的分布。(X = g^{-1}(Y) = \exp(-\frac{Y}{\theta}), J = \frac{\partial X}{\partial Y } = -\frac{1}{\theta} \exp(-\frac{Y}{\theta}) )。 因此
\begin{eqnarray}
f_Y(y) = f_X(\exp(-\frac{y}{\theta})) |J| = \frac{1}{\theta} \exp(-\frac{y}{\theta})
\end{eqnarray}
即随机变量Y服从(Exp(-\frac{1}{\theta}))分布。

      22. (Be(\alpha,\beta) \overset{\alpha=1,\beta=1}{\rightarrow} U(0,1))。

      Beta分布的概率密度的公式为 (f_X(x) = \frac{\Gamma(\alpha+\beta)}{\Gamma(\alpha)\Gamma(\beta)} x^{\alpha-1}(1-x)^{\beta-1} \quad 0 < x < 1 )。当(\alpha=\beta=1)时,我们有(f_X(x)=1\quad 0 < x < 1 )。即X服从U(0,1)分布。

      23. (W(\theta,\lambda) \leftrightarrow Exp(\theta))。

      Weibull分布(W(\theta,\lambda))概率密度函数为:
\begin{eqnarray}
f_X(x|\theta,\lambda) = \frac{\lambda}{\theta} (\frac{x}{\theta})^{\lambda-1} \exp(-\frac{x}{\theta}^\lambda) \quad x \ge 0 \nonumber
\end{eqnarray}

(\rightarrow):当(\lambda=1)时, X服从(Exp(\frac{1}{\theta}))。
(\leftarrow):当随机变量服从(Exp(\theta)), 令(Y=X^{1/\lambda})。 根据引理1, 计算得Y的分布(f_Y(y) = \lambda\theta y^{\lambda-1}\exp(-\theta y^\lambda)), 为(W(1,\lambda))分布。

      24. (U(a,b) \leftrightarrow U(0,1))。

      简单代数运算可以证明。

      总结

      图中概率分布之间的转化关系大致可以分成三种:1.近似关系,如正态分布可以用来近似泊松分布、二项分布和伽马分布。2.变量变换关系,如随机变量X服从均匀分布U(0,1), 则(-\theta ln X )服从指数分布。 3.特例关系,如卡方分布是伽马分布的一种特例。

此条目发表在数学基础分类目录,贴了标签。将固定链接加入收藏夹。

一张图的故事——概率分布之间的关系(下)》有 2 条评论

发表评论

电子邮件地址不会被公开。