多维随机变量3.1-3.3

多元随机变量及其联合分布

多维随机变量

定义：如果 $X_1(\omega),X_2(\omega)\cdots,X_n(\omega)$ 是定义在同一个样本空间 $\Omega = {\omega}$ 上的 $n$ 个随机变量，则称 $X(\omega) = (X_1(\omega),X_2(\omega),\cdots,X_n(\omega))$ 为 n 维(n元) 随机变量或者随机向量。

联合分布函数

定义： 对任意的n 个实数 $x_1,x_2,\cdots,x_n$ n个事件${X_1\leq x_1},\cdots,{X_n\leq x_n}$ 同时发生的概率为： $F(x_1,x_2\cdots,x_n)=P(X_1\leq x_1,X_2\leq x_2,\cdots,X_n\leq x_n)$ 称为n维随机变量的联合分布函数

任意一个而为联合分布函数 $F(x,y)$ 必具有如下几条基本性质：

• 单调性
• 有界性
• 右连续性
• 非负性 ，这是新的性质： 对任意的$a<b,c<d$ 有$P(a<X\leq b，c<X\leq d) = F(b,d)-F(a,d)-F(b,c)+F(a,c)$

这几条性质的成立与该分布为某个二维随机变量的分布函数互为充要条件

联合分布列

如果二维随机变量$(X,Y)$是离散的，则称 $(X,Y)$ 为二维离散随机变量，称$p_{ij}=P(X=x_i,Y=y_j),i,j=1,2\cdots$ 为$(X,Y)$的联合分布列。如图:

联合分布列的基本性质：

1. 非负性 $p_{ij}\geq 0$
2. 正则性 $\sum{i=1}^\infty \sum{j=1}^\infty = 1$

联合密度函数

定义： 如果存在二元非负函数 $p(x,y)$ ，使得二维随机变量 $(X,Y)$ 的分布函数 $F(x,y)$ 可表示为：

$F(x,y)=\int{-\infty}^x\int{-\infty}^y p(u,v) dvdu$

则称 $F(x,y)$ 为二维连续随机变量，称$p(u,v)$ 为 $(X,Y)$ 的联合密度函数

常用多维分布

多项分布

多项分布是重要的多维离散分布，它是二项分布的推广

进行 n 次独立重复试验，如果每次试验有 r 个互不相容的结果：$A_1,A_2,\cdots,A_r$ 之一发生，且每次试验中$A_i$ 发生的概率为$p_i=P(A_i) ,i=1,2,\cdots,r$ 且 $p_1+p_2+\cdots+p_r =1$。 记 $X_i$ 为 n次独立重复实验中 $A_i$ 出现的次数$i=1,2,\cdots,r$

那么$(X_1,X_2,\cdots,X_r)$ 取值$(n_1,n_2,\cdots,n_r)$ 的概率 ，也就是说$A_1$ 出现$n_1$ 次，$A_2$ 出现 $n_2$次…的概率为：

$$P(X_1=n_1,X_2=n_2,\cdots,X_r=n_r) = \frac{n!}{n_1!n_2!\cdots n_r!} p_1^{n_1}p_2^{n_2}\cdots p_r^{n_r}$$

其中 $n=n_1+n_2+\cdots+n_r$

这个联合分布列被称为 r项分布, 又称为多项分布，记为$M(n,p_1,p_2,\cdots,p_r)$

这里我们要搞清楚一个概念，r项分布是r-1维随机变量的分布

多维均匀分布

设 D 为 $R^n$ 中的一个有界区域，其 measure(即平面的为面积，空间的为体积等) 为$S_D$ ,如果多维随机变量 $(X_1,X_2,\cdots,X_n) $ 的联合密度函数为：

$$p(x_1,x_2,\cdots)=\begin{cases}\dfrac{1}{SD}~~ (x_1,x_2,\cdots,x_n)\in D \\ \\ 0 ~~其他\end{cases}$$

则称$(X_1,X_2,\cdots,X_n)$ 服从D上的多维均匀分布，记为 $(X_1,X_2,\cdots,X_n)\sim U(D)$

二维均匀分布所描述的随机现象就是向平面区域D中随机投点，如果该店坐标$(X,Y)$ 落在D的子区域 G 中的概率只和G的面积有关，而和G的位置无关。 现在用二维均匀分布来描述就是：

$$P((X,Y)\in G) = \iint_G p(x,y)dxdy = \iint_G\frac{1}{S_D}dxdy = \frac{G的面积}{D的面积}$$

推广到多维均匀分布，可以：

$$\frac{S_a}{S_D} = p((x_1x_2\cdots)\in G) = \int\cdots\int\limits_G P(x_1\cdots x_n)dx_1\cdots dx_n$$

n维正态分布

设 n 维随机变量 $X=(X_1,X_2,\cdots,X_n)’$ 的协方差矩阵 $B= Cov(X)$是正定的，数学期望向量为 $a=(a_1,a_2\cdots,a_n)’$ 又记 $x=(x_1,x_2,\cdots,x_n)’$ 则由密度函数：

$$p(x_1,x_2,\cdots,x_n)=p(x)=\frac{1}{(2\pi)^{\frac{\pi}2}|B|^\frac{1}{2}}\exp{\{-\frac{1}{2}(x-a)^t B^{-1}(x-a)}\}$$

定义的分布称为n元正态分布， 记为$X\sim N(a,B)$ . 其中$|B|$表示B的行列式，$B^{-1}$ 表示B的逆矩阵，$(x-a)^t$表示为向量$(x-a)$的转置

在n=2的场合，若取数学期望向量和协方差矩阵分别为

$$a=\begin{pmatrix} \mu_1 \\ \mu_2 \end{pmatrix} , B=\begin{pmatrix} \sigma_1^2 ~~~~ \sigma_1\sigma_2\rho \\ \sigma_1\sigma_2\rho ~~~~ \sigma_2^2\end{pmatrix}$$

带入上面的定义，可以得到二元正态密度函数。

多维指数分布

特别的，当随机变量个数取2时

例题

题目常常会给我们一个二元随机变量$(X,Y)$ 的联合密度函数。要我们求一些概率。

1

步骤1：先判断 X,Y 是否相互独立

可以先求一下X，Y的边际分布，如果相互独立，那么会一定程度上减轻之后的计算量

步骤2：利用给出的定义域和题目中的X,Y范围来作图求解/或者利用相互独立的性质求解

比如：设二维随机变量$(X,Y)$ 的联合密度函数为：

$$p(x,y)=\begin{cases}4xy, ~~0<x<1,0<y<1\\ \\ 0 ,~~~~其他 \end{cases}$$

首先，我们可以判断一下X，Y是否相互独立：

$$p_X(x)=\int_0^1 4xy dy =2x , p_Y(y)=\int_0^1 4xy dx = 2y$$ $$p(x,y) = p_X(x)\cdot p_Y(y)$$

因此，X,Y 相互独立。

1) $P(0<X<0.5,0.25<Y<1)$

这一小题既可以使用画图法求解，也可以用边际分布的独立性求解。

$$P(0<X<0.5,0.25<Y<1)=P(0<X<0.5)P(0.25<Y<1)=\int_0^{0.5} 2x dx\int_{0.25}^1 2y dy = \frac{15}{64}$$

2) $P(X=Y)$

这是让我们求一条直线上的概率，显然$P(X=Y)=0$

3) $P(X<Y)$

这一小题只能使用画图法来求解， 区域就是 $\begin{cases}0<x<1,0<y<1\ \ x<y \end{cases}$

$$\int_0^1\int_0^x 4xy dydx$$

4) $(X,Y)$ 的联合分布函数

求联合分布函数

$$F(x,y) = P(X\leq x,Y\leq y) = \int_0^x\int_0^y 4xy~dy dx$$

2

这是另外一种题型，给出X，Y的边际分布列，要我们补全整个联合分布列。

设随机变量 $X_i,i=1,2$ 的分布列如下，且满足 $P(X_1X_2=0)=1$, 试求$P(X_1=X_2)$

$X_i$	-1	0	1
P	0.25	0.5	0.25

第一步：出$(X_1,X_2)$ 的联合分布列：

下$X_1$/右$X_2$	-1	0	1
-1	$p_{11}$	$p_{12}$	$p_{13}$
0	$p_{21}$	$p_{22}$	$p_{23}$
1	$p_{31}$	$p_{32}$	$p_{33}$

第二步：根据第一个条件$P(X_1X_2=0)=1$ 排除所有概率为0的点

已知 $P(X1X_2=0)=1$ ,则 $p{11}=p{13}=p{31}=p_{33}=0$

第三步：根据边际分布列求解方程组

又$P(X1=-1)=0.25=p{11}+p{12}+p{13}$ 所以 $p_{12}=0.25$

同理$P(X1=1)=0.25 =p{31}+p{32}+p{33}$, 所以$p_{32}=0.25$

$P(X2=-1)=0.25=P(X_2=1) $ 所以$p{21}=p_{23}=0.25$

现在只剩下$p{22}$未知，根据正则性可以推断$p{22}=0$

第四步：补全联合分布列并按要求求解

下$X_1$/右$X_2$	-1	0	1
-1	0	0.25	0
0	0.25	0	0.25
1	0	0.25	0

$P(X1=X_2)=p{11}+p{22}+p{33}=0$

边际分布与随机变量的独立性

如果在二维随机变量$(X,Y)$ 的联合分布函数 $F(x,y)$ 中令 $y\rightarrow \infty$ ,由于 ${Y<\infty}$ 是必然事件，故：

$\lim\limits_{y\rightarrow\infty} F(x,y) = P(X\leq x,Y\leq y) = P(X\leq x)$

这是由 $(X,Y)$ 的联合分布函数 $F(x,y)$ 求得的X的分布函数，被称为 X 的边际分布。记为 $F_X(x)=F(x,\infty)$

类似的，在 $F(x,y)$ 中令 $x\rightarrow \infty$ ，可得$Y$ 的边际分布。$F_Y(y) = F(\infty,y)$

边际分布列

在二元离散随机变量 $(X,Y)$ 的联合分布 ${P(X=x_1,Y = y_i)}$ 中，对 j 求和所得的分布列：

$\sum_{j=1}^\infty P(X=x_i,Y=y_i)=P(X=x_i),i=1,2\cdots$ 被称为 X 的边际分布列。

类似的 $\sum_{j=1}^\infty P(X=x_i,Y=y_i)=P(Y=y_i),i=1,2\cdots$ 被称为 Y 的边际分布列

我们可以列一个表来求联合分布列和边际分布列

我们对联合分布列的每行每列求和就得到了关于 X和Y的边际分布列。

边际密度函数

如果二维连续随机变量 $(X,Y)$ 的联合密度函数为 $p(x,y)$

$FX(x)=F(x,\infty) = \int{-\infty}^x(\int{-\infty}^{\infty}p(u,v)dv)du =\int{-\infty}^x p_X(u)du$

$FY(y)=F(\infty,y) = \int{-\infty}^y(\int{-\infty}^{\infty}p(u,v)dv)du =\int{-\infty}^y p_Y(v)dv$

将其分别求导得到：$p_X(x)$和$p_Y(y)$ 分别为：

$pX(x)=\int{-\infty}^{\infty}p(x,y)dy$

$pY(y)=\int{-\infty}^{\infty} p(x,y)dx$

$p_X(x)$ 为 X 的边际密度函数，$p_Y(y)$ 为y的边际密度函数

由联合密度函数求边际密度函数时，要注意积分区域的确定。

常见多维分布的边际分布

多维分布的边际分布

这时候，三项分布实际上是二维随机变量 $(X_1,X_2)$ 的分布。

我们可以列出密度函数：

那么，三项分布的边际分布等于什么？我们来算一下：

二维指数分布的边际分布

设$(X_1,X_2)$服从二维指数分布，其 Joint CDF为：

$$F(X_1,X_2)=\begin{cases}1-e^{-x_1}-e^{-x_2}+e^{-x_1-x_2-\lambda x_1x_2} \\ \\ 0 ~~其他\end{cases}$$

求其边际分布的密度函数

$$F_{X_1}(x_1)=F(X_1,+\infty) = \lim\limits_{x\rightarrow\infty}(1-e^{x_1}-e^{x_2}+e^{-x_1-x_2-\lambda x_1x_2}) = 1-e^{-x_1}$$

二维正态函数的边际分布

首先我们定义二元正态分布 $(X,Y)\sim N(\mu_1,\mu_2,\sigma_1^2,\sigma_2^2,\rho)$ ，其中 $-\infty <\mu_1,\mu_2<\infty , \sigma_1,\sigma_2>0,-1\leq \rho\leq 1$

那么这个其 Joint PDF 为

$$p(x,y) = \frac{1}{2\pi\sigma_1\sigma_2\sqrt{1-\rho^2}} \exp\{-\frac{1}{2(1-\rho^2)}[\frac{(x-\mu_1)^2}{\sigma_1^2}-2\rho\frac{(x-\mu_1)(y-\mu_2)}{\sigma_1\sigma_2}+\frac{(y-\mu_2)^2}{\sigma_2^2}]\}$$

求其编辑分布，先来关注它的指数部分，可以改写成

$$-\frac{1}{2}(\rho\frac{x-\mu_1}{\sigma_1\sqrt{1-\rho^2}}-\frac{y-\mu_2}{\sigma_2\sqrt{1-\rho^2}})^2-\frac{(x-\mu_1)^2}{2\sigma_1^2}$$

然后对其求积分，根据边际分布的定义可知

$$F_X(x) = \int_{-\infty}^{\infty}p(x,y)dy$$

那么

$$\int_{-\infty}^{\infty} \exp\{-\frac{1}{2}(\rho\frac{x-\mu_1}{\sigma_1\sqrt{1-\rho^2}}-\frac{y-\mu_2}{\sigma_2\sqrt{1-\rho^2}})^2-\frac{(x-\mu_1)^2}{2\sigma_1^2}\}dy$$

后面部分和y无关

令

$$t =\rho\frac{x-\mu_1}{\sigma_1\sqrt{1-\rho^2}}-\frac{y-\mu_2}{\sigma_2\sqrt{1-\rho^2}}$$

则

$${d(t)} = -(\sigma_2\sqrt{1-\rho^2})/\sigma_2^2({1-\rho^2})$$ $$p_X(x)=\frac{1}{2\pi\sigma_1\sigma_2\sqrt{1-\rho^2}}\exp\{-\frac{(x-\mu_1)^2}{2\sigma_1^2}\}\sigma_2\sqrt{1-\rho^2}\int_{-\infty}^{\infty} {-\frac{t^2}2}dt$$

已知 $\int_{-\infty}^{\infty}-\frac{t^2}{2} dt = \sqrt{2\pi}$

所以原式可写为：

$$p_X(x)=\frac{1}{\sqrt{2\pi}\sigma_1}\exp\{-\frac{(x-\mu_1)^2}{2\sigma_1^2}\}$$

这就是一维正态分布$N(\mu_1,\sigma_1^2)$ 的密度函数。

从上面的证明可以看出：

• 二维正态分布的边际分布中，是不含有参数$\rho$的
• $N(\mu_1,\mu_2,\sigma_1^2,\sigma_2^2.0.1)$ 和 $N(\mu_1,\mu_2,\sigma_1^2,\sigma_2^2.0.2)$ 的边际分布是相同的
• 具有相同边际分布的多维联合分布可以使不同的。

随机变量间的独立性

设n维随机变量$(X1,X_2,\cdots,X_n)$的联合分布函数为$F(x_1,x_2,\cdots,x_n)$ ,$F_i(x_i)$为$X_i$ 的边际分布函数。 如果对任意n个实数$x_1,x_2,\cdots,x_n$ 有 $F(x_1,x_2,\cdots,x_n)=\prod\limits{i=1}^nF_i(x_i)$ 则称$X_1,X_2,\cdots,X_n$相互独立

那么在离散和连续的场合我们就可以这么来写：

$$\begin{cases}P(X_1=x_1,X_2=x_2,\cdots,X_n=x_n)=\prod\limits_{i=1}^nP(X_i=x_i) ~~在离散场合\\ \\ P(x_1,x_2,\cdots,x_n)=\prod\limits_{i=1}^np_i(x_i) ~~在连续场合\end{cases}$$

则称$X_1,X_2,\cdots,X_n$相互独立。

之前，由联合分布可以求出边际分布，但是由边际分布不一定能求出联合分布。但是如果我们知道了随机变量间是相互独立的，则可以由边际分布的乘积求出联合分布。 同样的，现在我们也可以通过计算联合分布是否等于各个随机变量边际分布 的乘积来判断随机变量之间是否相互独立。

多维随机变量函数的分布

例题1： 当Z为离散可列的随机变量时

设X和Y是相互独立的随机变量，且 $X\sim Exp(\lambda),Y\sim Exp{(\mu)}$ 如果定义随机变量

$$Z=\begin{cases}1 ,~~X\leq Y\\ \\ 0 ~~,X>Y\end{cases}$$

求 Z 的分布列。

第一步：列出联合随机变量：

因为 $X$ 和 $Y$ 相互独立，所以 $p(x,y)=p_X(x)p_Y(y)=\begin{cases}\lambda\mu e^{-\lambda x-\mu y} ,~~X\leq Y\ \ 0 ~~,X>Y\end{cases}$

第二步：列出Z的取值

在说到一元离散随机变量函数的分布时，当 $Y=g(X)$ 时，Y的分布列就按照Y的取值 一一列举,并根据取值范围计算。在多元情况下也是这样。这里 Z 有两个取值：

$$p(Z=1)=p(X\leq Y)=\int_0^\infty\int_x^\infty \lambda\mu e^{-\lambda x-\mu y}dydx\\ =\int_0^\infty\lambda\mu e^{-\lambda x}dx\int_x^\infty e^{-\mu y}dy\\ =\int_0^\infty\lambda\mu e^{-\lambda x}\frac{-1}{\mu}(0-e^{-\mu x})dx\\ =\lambda \int_0^\infty e^{-\lambda x-\mu x}dx\\ =\frac{\lambda}{\lambda+\mu}$$

关于$p(Z=0)$和 $p(Z=1)$的原理是一样的，但是这里可以直接利用 $1-P(X\leq Y)$ 计算，即 $\frac{\mu}{\lambda+\mu}$

设$(X_1,X_2,\cdots,X_n)$ 为 n 维随机变量，则 $(X_1,X_2,\cdots,X_n)$ 的函数$Y=g(X_1,X_2,\cdots,X_n)$ 是一维随机变量。

现在问题就是已经知道了 $(X_1,X_2,\cdots,X_n)’$ 的联合分布/分布列/pdf,怎么求 $Y=g(X_1,X_2,\cdots,X_n)$ 的分布

例题2： 当Z为连续随机变量时

设X与Y的联合密度函数为

$$p(x,y)=\begin{cases}e^{-x-y} ,~~x>0,y>0\\ \\ 0 ~~,else\end{cases}$$

求以下随机变量的密度函数： $Z=(X+Y)/2$ , $Z=Y-X$

对于 $Z=(X+Y)/2 $ 比较简单

第一步：理清思路

首先我们要画出关键词，这里要我们求的是密度函数而不是分布函数。 那么$P_Z(z)$怎么求？可以先求出 $F_Z(z)$ 再根据求导算出。

第二步： 给出Z的取值范围

已知 $x>0,y>0$ 又有 $Z=(X+Y)/2$ 因此 $z>0$

第三步：求出Z的分布函数

$F_Z(z)=P_Z(Z\leq z)=P_Z(X+Y\leq 2Z)$

已知x，y的联合分布，求$X+Y\leq 2Z$ 这种套路是我们常见的——使用画图后求积分即可。 因此

$$F_Z(z)=P_Z(X+Y\leq2Z)=\int_0^{2z}\int_0^{2z-x}e^{-x-y} dydx =1-e^{-2z}-2ze^{-2z} ，z>0$$

第三步： 求密度函数 $p_Z(z)$

$p_Z(z)=F_Z’(z)=2e^{-2z}+4ze^{-2z}-2e^{-2z}=4ze^{-2z},z>0$

对于$Z=Y-X$ ,需要做分类讨论

第一步：确定Z的取值范围

因为 $Z=Y-X$, 则 Z 可为实数轴上的任意数。

第二步：分类讨论，情况1

当 $Z\leq 0$时，说明 $Y\leq X$

$F_Z(z)=P_Z(Z\leq z)=P(Y-X\leq z)$

通过画图可知,原式等于：

$$\int_{-z}^\infty\int_0^{z+x} e^{-y-x} dydx=\frac{1}{2}e^z$$

由此， $p_Z(z)=F_Z’(z)=\frac{1}{2}e^z$

第三步：分类讨论，情况2

当 $Z> 0$时，说明 $Y> X$

$F_Z(z)=P_Z(Z\leq z)=P(Y-X\leq z)$

通过画图可知：

$$\int_{0}^\infty\int_x^{z+x} e^{-y-x} dydx=\frac{1}{2}(1-e^{-z}), z\in R$$

由此， $p_Z(z)=F’_Z(z)=\frac{1}{2}e^{-z}， z\in R$

综上可得： $p_Z(z)= e^{-|z|}/2, z\in R$

卷积公式

在离散场合下

设X与Y是两个相互独立的离散随机变量。取值范围为0，1，2 。$Z=X+Y$ ,那么事件 ${Z=k}$ 是如下诸互不相容事件的并：

$$\{X=i,Y=k-i\}， ~~ i=0,1,\cdots,k$$

在考虑到独立性，则对任意非负整数 k， 有

$P(Z=k)=\sum\limits_{i=0}^k P(X=i)P(Y=k-i)$

这个概率等式被称为离散场合下的卷积公式

在连续场合下

设X与Y是两个相互独立的连续随机变量，其密度函数分数分别$p_X(x)$和$p_Y(y)$ ，则其和 $Z=X+Y$ 的密度函数为:

$$p_Z(z)=\int_{-\infty}^{\infty} p_X(z-y)p_Y(y)dy = \int_{-\infty}^{\infty} p_X(x)p_Y(z-x)dx$$

卷积公式在离散场合下的应用

1. 当$(X_1,X_2,\cdots,X_n)$ 的所有可能取值比较少的时候，可以将 $Y$ 值一一列出，然后再合并就可以得出结果。

泊松分布的可加性

设随机变量$X\sim P(\lambda_1)$, $Y\sim P(\lambda_2)$ ，且X与Y相互独立，证明： $Z=X+Y\sim P(\lambda_1+\lambda_2)$

$$P(Z=k) =\sum\limits_{i=0}^k(\frac{\lambda_1^i}{i!}e^{-\lambda_1})(\frac{\lambda_2^{k-i}}{(k-i)!}e^{-\lambda_2}) \\$$

合并同类项，先把常数取出，然后将后面的求和部分配方成一个二项分布。

$$=\frac{e^{-(\lambda_1+\lambda_2)}{(\lambda_1+\lambda_2)^k}}{k!}\sum_{i=0}^k\frac{k!}{i!(k-i)!}(\frac{\lambda_1}{\lambda_1+\lambda_2})^i(\frac{\lambda_2}{\lambda_1+\lambda_2})^{k-i}$$

前面乘了 $(\lambda_1+\lambda_2)^k$,后面除了 $(\lambda_1+\lambda_2)^k$ ,前面除了 $k!$, 后面乘$k!$ ，目的就是把求和部分当成是一个二项分布的pdf，根据pdf性质可知求和部分的值为1.

所以最终得到 ：

$$=\frac{(\lambda_1+\lambda_2)^k}{k!}e^{-(\lambda_1+\lambda_2)}$$

也就是说，泊松分布的卷积仍然是泊松分布。这是一个新的泊松分布，记为 $P(\lambda_1)*P(\lambda_2)=P(\lambda_1+\lambda_2)$ ,

这个性质可以推广到有限个独立泊松变量之和的分布上去：

$$P(\lambda_1)*P(\lambda_2)*\cdots P(\lambda_n) =P(\lambda_1+\lambda_2+\cdots+\lambda_n)$$

特别的，当 $\lambda_1=\cdots=\lambda_n$ 时，有 $p(\lambda)p(\lambda)\cdotsp(\lambda)=p(n\lambda)$

二项分布的可加性

事实上，不仅仅是泊松分布有可加性，二项分布也具有可加性：设随机变量$X\sim b(n,p),Y\sim b(m,p)$ 且X与Y独立，那么 $Z=X+Y\sim b(n+m,p)$

这个性质也可以推广到有限个场合：

$$b(n_1,p)*b(n_2,p)*\cdots *b(n_k,p)=b(n_1+\cdots+n_k,p)$$

特别的，当 $n_1=n_2=\cdots=n_k=1$ 时，$b(1,p)b(1,p)\cdotsb(1,p)=b(k,p)$

这表明，如果 $X1,X_2,\cdots X_n$ 独立同分布，都服从 $b(1,p)$ 分布，则其和 $\sum{i=1}^n X_i\sim b(n,p)$

或者说，服从二项分布 $b(n,p)$ 的随机变量都可以分解为 n 个相互独立的 $0-1$ 分布的随机变量之和。

卷积公式在连续场合下的应用

正态分布的可加性

设随机变量 $X\sim N(\mu_1,\sigma_1^2), Y\sim N(\mu_2.\sigma_2^2)$ ,且 X 与 Y 互相独立，那么$Z=X+Y\sim N(\mu_1+\mu_2, \sigma_1^2+\sigma_2^2)$

也就是说，两个独立的正态分布之和仍然为正态变量，其分布中的两个参数分别对应相加，即：

$$N(\mu_1,\sigma_1^2)*N(\mu_2,\sigma_2^2)=N(\mu_1+\mu_2,\sigma_1^2+\sigma_2^2)$$

证明：首先可以知道 Z=X+Y的取值范围是 $(-\infty,\infty)$ ,那么利用卷积公式可以得到：

$$p_Z(z)=\int_{-\infty}^\infty p_Y(y)p_X(z-y)dy\\ =\frac{1}{2\pi\sigma_1\sigma_2}\int_{-\infty}^{\infty} \exp\{-\frac{1}{2}[\frac{(z-y-\mu_1)^2}{\sigma_1^2}-\frac{(y-\mu_2)^2}{\sigma_2^2}]\}\\$$

将积分式子中的指数部分按照y的幂展开，再合并同类项：

$$\frac{(z-y-\mu_1)^2}{\sigma_1^2}-\frac{(y-\mu_2)^2}{\sigma_2^2} =$$

显然，这个结论可以推广到有限个独立正态变量之和的场合

另外，我们还知道，若随机变量 $X\sim N(\mu,\sigma^2)$ ,则对任意非零实数a有 $aX\sim N(a\mu,a^2\mu^2)$ 。

因此，我们可以得到一个重要结论， 即

$$a_1X_1+a_2X_2+\cdots+a_nX_n \sim N(\mu_0,\sigma_0^2)$$

若$X_i\sim N(\mu_1,\sigma_1^2),i=1,2\cdots,n$则参数 $\mu_0$与 $\sigma_0^2$ 分别为：

$$\mu_0 = \sum_{i=1}^n a_i\mu_i\\ \sigma_0^2 = \sum_{i=1}^n a_i^2\sigma_i^2$$

譬如， 若 $X\sim N(-3,1),Y\sim N(2,1)$ 且 X与Y 独立，则：

$Z=X-2Y+7 \sim N(-3-22+7,1+2^22)=N(0,5)$

伽马分布的可加性

设随机变量 $X\sim Ga(\alpha_1,\lambda)~,~ Y\sim Ga(\alpha_2,\lambda)$ , 且X与Y 独立，则 $Z=X+Y\sim Ga(\alpha_1+\alpha_2,\lambda)$

这个结论表明，两个尺度参数相同的独立的伽马变量之和仍然是伽马变量，其尺度参数不变, 而形状参数相加。即

$$Ga(\alpha_1,\lambda)*Ga(\alpha_2,\lambda) = Ga(\alpha_1+\alpha_2,\lambda)$$ $$p_Z(z)=\int_{-\infty}^\infty p_Y(y)p_X(z-y)dy\\ =\frac{\lambda^{\alpha_1+\alpha_2}}{\Gamma(\alpha_1)\Gamma(\alpha_2)}\int_0^z (z-y)^{\alpha_1-1}e^{-\lambda(z-y)}y^{\alpha_2-1}e^{-\lambda y} dy \\ =\frac{\lambda^{\alpha_1+\alpha_2}}{\Gamma(\alpha_1)\Gamma(\alpha_2)} e^{-\lambda z} \int_0^z(z-y)^{\alpha_1-1}y^{\alpha_2-1}dy\\$$

令 $y=zt$ ，则$dy = zdt$ 带入原式可得

$$=\frac{\lambda^{\alpha_1+\alpha_2}}{\Gamma(\alpha_1)\Gamma(\alpha_2)} e^{-\lambda z} z^{\alpha_1+\alpha_2-1}\int_0^1(1-t)^{\alpha_1-1}t^{\alpha_2-1}dt$$

我们看到这个积分的式子和 贝塔函数是一模一样的，贝塔函数 $B(\alpha_1,\alpha_2)=\frac{\Gamma(\alpha_1)\Gamma(\alpha_2)}{\Gamma(\alpha_1+\alpha_2)}$

最后，相乘我们得到：

$$\frac{\lambda^{\alpha_1+\alpha_2}}{\Gamma(\alpha_1+\alpha_2)} z^{\alpha_1+\alpha_2-1}e^{-\lambda z}$$

很明显，这个式子是一个 伽马分布 ，符合 $Ga(\alpha_1+\alpha_2,\lambda)$

这个结论可以推广到有限个尺度参数相同的独立伽马变量之和上

特殊的：指数分布

指数分布是 $\alpha=1$ 的伽马分布，即 $Exp(\lambda)=Ga(1,\lambda)$

那么m个独立同分布的指数变量之和是一个伽马变量 $Exp(\lambda)*Exp(\lambda)\cdots Exp(\lambda)=Ga(m,\lambda)$ 。也就是说指数分布不满足可加性

特殊的： 卡方分布

卡方分布： $\chi^2(n)= Ga(\frac{n}{2},\frac{1}{2})$

那么 m个独立的$\chi^2$变量之和为 $\chi^2$ 变量，即

$$\chi^2(n_1)*\chi^2(n_2)\cdots\chi^2(n_m)=\chi^2(n_1+n_2+\cdots+n_m)$$

极值分布

已知$x_1,x_2,\cdots,x_n$

现在令 $Y=\max{x_1,x_2,\cdots,x_n},Z=\min{x_1,x_2,\cdots,x_n}$

问Y与Z的分布,这就是极值分布

乍一看似乎极值没啥用。但是在现实生活中极值分布的使用场景非常广泛：

今年夏天最高温会不会是40摄氏度，水坝的高度必须覆盖水库的最高水位之类的问题。

极值分布与相互独立的随机变量$X_i$ 的分布有很大的关系。

最大值分布

当 $X_i\sim F_i(x)$, $i=1,2\cdots,n$ 时

因为 $X_1,X_2\cdots,X_n$的最大值小于等于 y，那么这就说明 $X_1,X_2\cdots,X_n $中的每一个都$\leq y$，又$X_i$是独立的，那么联合分布就可以表示为边际分布的乘积。

此时，$Y=\max{X_1,X_2,\cdots,X_n}$ 的分布函数为：

$$F_Y(y)= P(max\{X_1,X_2\cdots,X_n\}\leq y)=P(X_1\leq y,X_2\leq y,\cdots,X_n\leq y)\\ =P(X_1\leq y)P(X_2\leq y)\cdots P(X_n\leq y)=\prod_{i=1}^n F_i(y)$$

当$X_i\sim F(x)$ ，即 所有$X_i$同分布时

此时，$Y=\max{X_1,X_2,\cdots,X_n}$ 的分布函数为：

这是第一种情况的特殊状况，即 $F_Y(y)=[F(y)]^n$

当$X_i$为连续随机变量且同分布时，密度为 $p(x)$

此时，$Y=\max{X_1,X_2,\cdots,X_n}$ 的分布函数为：

这也是一种特殊情况， $F_Y(y)=[F(y)]^n$， 因为$X_i$是连续随机变量，那么我们也可以求 $Y$ 的 pdf为$p_Y(y)=n[F(y)]^{n-1}p(y)$

当 $X_i\sim Exp(\lambda),i=1,2\cdots,n$ 时候

此时，$Y=\max{X_1,X_2,\cdots,X_n}$ 的分布函数为：

这符合$X_i$为连续随机变量且同分布的情况，因此已知 $p_X(x)=\lambda e^{-\lambda}$ 对其求积分得到 $F_X(x)=1-e^{-\lambda x}$

$$F_Y(y)=\begin{cases} 0 ,~~y<0\\ \\ (1-e^{-\lambda x})^n,~~y\geq 0 \end{cases}$$

然后对$F_Y(y)$求导，可以得到：

$$p_Y(y)=\begin{cases} 0 ,~~y<0\\ \\ n(1-e^{-\lambda x})^{n-1}\lambda e^{-\lambda x },~~y\geq 0 \end{cases}$$

最小值分布

当 $X_i\sim F_i(x)$, $i=1,2\cdots,n$ 时

求最小值分布的时候我们要做多次变换，但是只要牢记 $F_X(x)= P(X\leq x)=1-P(X>x)$即可

此时，$Z=\min{X_1,X_2,\cdots,X_n}$ 的分布函数为：

$$F_Z(z)=P(\min\{X_i,X_2,\cdots,X_n\}\leq z)\\ =1-P(min\{X_1,X_2\cdots,X_n\}> z)\\ =1-P(X_1> z,X_2> z,\cdots,X_n> z)\\ =1-P(X_1>z)P(X_2>z)\cdots P(X_n>z)\\ =1-\prod_{i=1}^n[1-F_i(z)]$$

当$X_i\sim F(x)$ ，即 所有$X_i$同分布时

此时，$Z=\min{X_1,X_2,\cdots,X_n}$ 的分布函数为：

将$X_i$的共通分布函数$F(x)$ 代入上式，可得：

$F_Z(z)=1-[1-F_i(z)]^n$

当$X_i$为连续随机变量且同分布时，密度为 $p(x)$

此时，$Y=\min{X_1,X_2,\cdots,X_n}$ 的分布函数为：$F_Z(z)=1-[1-F_i(z)]^n$

另外，对$F_Z(z)$求导可以获得 $p_Z(z)$:

$p_Z(z)=F’_z(z)=n[1-F(z)]^{n-1}p(z)$

当 $X_i\sim Exp(\lambda),i=1,2\cdots,n$ 时候

此时，$Y=\min{X_1,X_2,\cdots,X_n}$ 的分布函数为：

带入上面的式子 ，可以得到：

这符合$X_i$为连续随机变量且同分布的情况，因此已知 $p_X(x)=\lambda e^{-\lambda}$ 对其求积分得到 $F_X(x)=1-e^{-\lambda x}$

$$F_Y(y)=\begin{cases} 0 ,~~y<0\\ \\ 1-\prod_{i=1}^n[1-1+e^{\lambda x}],~~y\geq 0 \end{cases}=\begin{cases} 0 ,~~y<0\\ \\ 1-e^{\lambda xn},~~y\geq 0 \end{cases}$$

然后对$F_Y(y)$求导，可以得到：

$$p_Y(y)=\begin{cases} 0 ,~~y<0\\ \\ n\lambda e^{-n\lambda x} ~~,y>0\end{cases}$$

我们发现，当$X_i$ 服从参数为 $\lambda $ 的指数分布，则 $\max{X_1,X_2\cdots,X_n}$ 是不服从指数分布的，但是$\min{X_1,X_2\cdots,X_n}\sim Exp{(n\lambda)}$ 是符合指数分布的。

例题

关于极值分布，一般的题型求离散随机变量的最大/小值分布列

随机变量的分布列的公式这里这样表示：

$$p_X(k) = F_X(k)-F_X(k-1) = P(X\leq k)-P(X\leq k-1)$$

这样，我们就可以通过求 $F_X(x)$ 来计算X的分布列。

1

设随机变量X，Y独立同分布，那么当X服从几何分布，即$P(X=k)=(1-p)^{k-1}p,~k=1,2\cdots$ ，求随机变量$Z=\max{X,Y}$ 的分布列

这题要我们求$\max{X,Y}$的分布列，那么我们就可以用上面这个公式

第一步：求出 X,Y 的密度函数和分布函数

已知 X,Y 的密度函数和分布函数

$$p_X(x)=(1-p)^{x-1}p,F_X(x)=P_X(X\leq x)=\sum_{i=1}^x(1-p)^{i-1}p =1-(1-p)^x$$

第二步：求出Z的分布函数

因为$Z=\max{X,Y}$ ，$X,Y$又是独立同分布的，因此

$$F_Z(z)=[F(z)]^n=(1-(1-p)^x)^2,z=1,2\cdots$$

第三步：求出Z的分布列

$$P(Z=i)=P(Z\leq i)-P(Z\leq i-1)\\ =(1-(1-p)^i)^2-(1-(1-p)^{i-1})^2 =(1-p)^{i-1}p[2-(1-p)^{i-1}-(1-p)^{i}],i=1,2\cdots$$

ps: 千万别忘了写上取值范围！！！

2

假设高尔夫成绩是一个随机变量，其得分的分布是${101,\cdots,110}$ 上的均匀分布。 为了改进成绩，你决定将 3 天的最小分数作为你的分数X，即$X$等于 $\min{X_1,X_2,X_3}$ ,其中$X_i,i=1,2,3$ 表示三天的分数：求计算X的分布列

第一步：求出$X_i$ 的密度函数和分布函数

已知 $X_i\sim U(101,110)$

$$p_{i}(x_i)=\begin{cases} \frac{1}{10} ,~~101\leq x\leq110\\ \\ 0 ~~其他 \end{cases}, F_{i}(x_i)=\begin{cases} \frac{x-100}{10},~~ 101\leq x\leq 110\\ \\ 0, 其他\end{cases}$$

第二步：求 X 的分布函数

因为$X_i$ 是独立同分布，那么 $X\sim \min{X_1,X_2,X_3}$ 的分布函数为：

$$1-[1-F(x)]^n=1-[1-\frac{x-100}{10}]^3=1-(\frac{110-x}{10})^3$$ $$F_X(x)=\begin{cases} 1-(\frac{110-x}{10})^3 ~~101\leq x\leq 110\\ \\ 0, x<101\\ \\1,x>110\end{cases}$$

第三步：求X的分布列

$$p_X(k) = F_X(k)-F_X(k-1)=\begin{cases} \frac{(111-k)^3-(110-k)^3}{1000},101\leq k\leq 110\\ \\ 0,其他\end{cases}$$

变量变换法

设二维随机变量 $(X,Y)$ 的联合密度函数为 $p(x,y)$,那么如果函数

$$\begin{cases} u = g_1(x,y)\\ \\ v=g_2(x,y)\end{cases}$$

有连续偏导数，且存在唯一的反函数：

$$\begin{cases} x = x(u,v)\\ \\ y=y(u,v)\end{cases}$$

然后我们可以列出雅克比行列式：

$$J= \begin{vmatrix} \frac{\partial x}{\partial u} & \frac{\partial x}{\partial v} \\ \frac{\partial y}{\partial u} & \frac{\partial y}{\partial x} \end{vmatrix}$$

那么，若

$$\begin{cases} U = g_1(X,Y)\\ \\ V=g_2(X,Y)\end{cases}$$

则 $(U,V)$ 的联合密度函数为

$$p(u,v)=p(x(u,v),y(u,v))|J|$$

例题1：

设随机变量是 $X$ 与 $Y$ 的独立同分布，都服从正态分布 $N(\mu,\sigma^2)$。记 $\begin{cases} U = X+Y\ \ V=X- Y\end{cases}$,试求$(U,V)$的联合密度函数，且问 $U$和$V$ 是否独立？

第一步：列出u,v的反函数:

已知 $\begin{cases} u = x+y\ \v=x-y\end{cases}$ , 则它的反函数$\begin{cases}x=\frac{u+v}{2}\ \ y=\frac{u-v} {2}\end{cases}$

第二步：列出雅克比行列式

$$J= \begin{vmatrix} \frac{\partial x}{\partial u} & \frac{\partial x}{\partial v} \\ \frac{\partial y}{\partial u} & \frac{\partial y}{\partial x} \end{vmatrix} = J^{-1}=\begin{vmatrix} \frac{\partial u}{\partial x} &\frac{\partial u}{\partial y} \\ \frac{\partial v}{\partial x} & \frac{\partial v}{\partial y} \end{vmatrix} =-\frac{1}{2}$$

第三步：列出联合密度函数p(u,v)

$$p(u,v)=p(x(u,v),y(u,v))|J| = p_X(\frac{u+v}{2})p_Y(\frac{u-v}{2})|-\frac{1}{2}|$$ $$=\frac{1}{2} \frac{1}{\sqrt{2\pi}\sigma}\exp\{-\frac{(\frac{u+v}{2}-\mu)^2}{2\sigma^2}\}\frac{1}{\sqrt{2\pi}\sigma}\exp\{-\frac{(\frac{u-v}{2}-\mu)^2}{2\sigma^2}\}\\ =\frac{1}{4\pi\sigma^2}\exp\{-\frac{(u-2\mu)^2+v^2}{4\sigma^2}\}$$

这是二元正态分布$N(2\mu,0,2\sigma^2,2\sigma^2,0)$的密度函数，其边际分布为 $U\sim N(2\mu,2\sigma^2)$, $V\sim N(0,2\sigma^2)$

符合 $p(u,v)=p(u)p(v)$ ，因此 $U,V$相互独立。

例题2：

设随机变量X与Y相互独立，且都服从标准正态分布 $N(0,1)$ ，试证 $U=X^2+Y^2$ 与 $V= Y/X$ 相互独立。已知

$$p_X(x)=\frac{1}{\sqrt{2\pi}}\exp\{-\frac{x^2}{2}\}\\~\\$$

第一步：列出u,v的反函数：

已知 $\begin{cases} u =x^2+y^2\ \v=y/x\end{cases}$ , 则它的反函数

$$\begin{cases}x = v\sqrt{\frac{u}{v^2+1}}\\ \\ y=\sqrt{\frac{v}{v^2+1}} \end{cases}$$

第二步：曲线救国，列出雅克比行列式

这道题目告诉我们当我们直接求 $|J|$比较麻烦的时候，我们可以先求 $J^{-1}$

$$J^{-1}=\begin{vmatrix} \frac{\partial u}{\partial x} &\frac{\partial u}{\partial y} \\ \frac{\partial v}{\partial x} & \frac{\partial v}{\partial y} \end{vmatrix} = \begin{vmatrix} 2x & 2y \\ 1/y & -x/y^2 \end{vmatrix} = -2(\frac{x^2}{y^2}+1)$$

然后我们就可以求出 $|J|$,注意这时候x，y要用u，v来表示：$|J|=\frac{1}{2(1+v^2)}$

第三步：列出联合密度函数p(u,v)

$$p(u,v)=p(x(u,v),y(u,v))=p_X(x(u,v))p_Y(y(u,v))|J| = \frac{1}{2\pi} e^{-\frac{u}{2}} \frac{1}{2(v^2+1)} ,u>0,-\infty <v <+\infty$$