随机事件与概率

多事件独立性

独立性推广——三事件

设A、B、C是三个随机事件，如果满足

$$\left\{\begin{array}{c} P(A B)=P(A) P(B) \\ P(B C)=P(B) P(C) \\ P(A C)=P(A) P(C) \\ P(A B C)=P(A) P(B) P(C) \end{array}\right.$$

则称A、B、C是相互独立的随机事件

注意：
在三个事件独立性的定义中，四个等式是缺一不可的．即：前三个等式的成立不能推出第四个等式的成立；反之，最后一个等式的成立也推不出前三个等式的成立．

独立性推广——n事件

设A1,A2,…,A𝑛是n个随机事件，如果满足
$$\left\{\begin{array}{cc} \mathrm{P}\left(\mathrm{A}_{i} \mathrm{~A}_{\mathrm{j}}\right)=\mathrm{P}\left(\mathrm{A}_{i}\right) \mathrm{P}\left(\mathrm{A}_{j}\right) & (1 \leq i<j \leq n) \\ \mathrm{P}\left(\mathrm{A}_{i} \mathrm{~A}_{\mathrm{j}} \mathrm{A}_{k}\right)=\mathrm{P}\left(\mathrm{A}_{i}\right) \mathrm{P}\left(\mathrm{A}_{j}\right) \mathrm{P}\left(\mathrm{A}_{k}\right) & (1 \leq i<j<k \leq n) \\ \ldots\ \ldots & \ldots\ \ldots\\ \mathrm{P}\left(\mathrm{A}_{1} \mathrm{~A}_{2} \ldots \mathrm{A}_{n}\right)=\mathrm{P}\left(\mathrm{A}_{1}\right) \mathrm{P}\left(\mathrm{A}_{2}\right) \ldots\left(\mathrm{A}_{n}\right) \end{array}\right.$$
则称A1,A2,…,A𝑛 是n个相互独立的随机事件

注意上面第i行有$𝐶_𝑛^{𝑖+1}$个等式，
共有$C_{n}^{2}+C_{n}^{3}+\cdots+C_{n}^{n}=2^{n}-C_{n}^{0}-C_{n}^{1}=2^{n}-n-1$个等式

随机变量及其分布

随机变量

随机变量$X$是样本空间$S$上的函数
$$X=X(\omega),(\omega\in S)$$

常见离散型随机变量分布

Bernoulli 分布 / 0-1 分布

$$\begin{gather*} X\sim B(1,p)\\ P\{X=k\}=p^kq^{1-k}\\ E(X)=p\\ D(X)=p(1-p) \end{gather*}$$

二项分布

$$\begin{gather*} X\sim B(n,p)\\ P\{X=k\}=C_{n}^{k} p^{k}(1-p)^{n-k}\\ E(X)=np\\ D(X)=np(1-p) \end{gather*}$$

二项分布的最大可能次数 $k_0$

$$\frac{P\{X=k\}}{P\{X=k-1\}}= \begin{cases}>1, & k<(n+1) p \\ =1, & k=(n+1) p \\ <1, & k>(n+1) p\end{cases}$$
$若(𝑛+1)𝑝是整数，则𝑘_0=(𝑛+1)𝑝或𝑛+1𝑝−1\\ 若(𝑛+1)𝑝不是整数，则𝑘_0=[(𝑛+1)𝑝]$

Poisson 分布

$$\begin{gather*} X\sim \pi(\lambda)\\ P\{X=k\}=\frac{\lambda^{k}}{k !} e^{-\lambda}\\ E(X)=\lambda\\ D(X)=\lambda \end{gather*}$$

Poisson 定理

若
$$\begin{gather*} X_n\sim B(n,p_n)\\ \lim_{n\rightarrow\infty}np_n=\lambda>0 \end{gather*}$$
则
$$\begin{gather*} \lim _{n \rightarrow \infty} P\left\{X_{n}=k\right\}=\lim _{n \rightarrow \infty} C_{n}^{k} p_{n}^{k}\left(1-p_{n}\right)^{n-k}=\frac{\lambda^{k}}{k !} e^{-\lambda} \end{gather*}$$

几何分布

$$\begin{gather*} X\sim G(p)\\ P\{X=k\}=(1-p)^{k-1}p\\ E(X)=\frac{1}{p} \end{gather*}$$

超几何分布

$$\begin{gather*} P\{X=k\}=\frac{C_M^kC_{N-M}^{n-k}}{C_N^n} \end{gather*}$$
N 件产品中 M 个次品，抽 n 个恰好含 k 个次品的概率。

分布函数 F(x)

$$F(x)=P\{X\le x\}$$
性质：

1. 不减
2. $$0\le F(x)\le1\\F(-\infty)=0\\F(\infty)=1$$
3. 右连续$$F(x+0)=F(x)$$

概率密度 f(x)

充要条件：

1. 非负性$$f(x)>0$$
2. 归一化$$\int_{-\infty}^{\infty}f(x)~\mathbf{d}x=1$$

连续型随机变量

定义

如果对于随机变量 X 的分布函数𝐹(𝑥)，存在非负实函数𝑓(𝑥)，使得对于任意实数𝑥，有
$$F(x)=\int_{-\infty}^{x} f(t) d t$$
则称 𝑋 为连续型随机变量，其中函数 𝑓(𝑥) 称为 𝑋 的概率密度函数, 简称概率密度或密度函数。

注意点

连续型随机变量取任一指定值的概率为0

𝑃(𝐴)=0，并不意味着𝐴=∅
𝑃(𝐵)=1，并不意味着𝐵=Ω

常见连续型随机变量分布

均匀分布

$$\begin{gather*} X\sim U[a,b]\\ E(X)=\frac{a+b}{2}\\ D(X)=\frac{(b-a)^2}{12} \end{gather*}$$

指数分布

$$\begin{gather*} X\sim E(\lambda)\\ f(x)=\left\{\begin{array}{cc} \lambda e^{-\lambda x} & x>0 \\ 0 & x \leq 0 \end{array}\right.\\ F(x)=\left\{\begin{array}{cc} 0, & x \leq 0 \\ 1-e^{-\lambda x}, & x>0 \end{array}\right.\\ E(X)=\frac{1}{\lambda}\\ D(X)=\frac{1}{\lambda^2} \end{gather*}$$

正态分布

$$\begin{gather*} X\sim N(\mu,\sigma^2)\\ \end{gather*}$$

标准正态分布

$\mu=0,\sigma=1$
密度函数和分布函数用$\varphi(𝑥)$和$\Phi(𝑥)$表示

$3\sigma$准则

$$\begin{gather*} X\sim N(\mu,\sigma)时,\\ \begin{gathered} P(|X-\mu| \leq \sigma)=0.6826 \\ P(|X-\mu| \leq 2 \sigma)=0.9544 \\ P(|X-\mu| \leq 3 \sigma)=0.9974 \end{gathered} \end{gather*}$$

$\Gamma$分布

$$\begin{gather*} X\sim\Gamma(r,\lambda)\\ r>0，形状参数\\ \lambda>0，尺度参数\\ f(x)=\left\{\begin{array}{cl} \frac{\lambda^{r}}{\Gamma(r)} x^{r-1} e^{-\lambda x} & x>0 \\ 0 & x \leq 0 \end{array}\right. \end{gather*}$$

$r=1$，参数为𝜆的指数分布

$$f(x)=\left\{\begin{array}{cc} \lambda e^{-\lambda x} & x>0 \\ 0 & x \leq 0 \end{array}\right.$$

$r=n$，Erlang 分布

$$f(x)=\left\{\begin{array}{cl} \frac{\lambda^{n}}{(n-1) !} x^{n-1} e^{-\lambda x} & x>0 \\ 0 & x \leq 0 \end{array}\right.$$

$𝑟=𝑛/2, \lambda=1/2$，自由度为$n$的$\chi^2$-分布，

$$\begin{gather*} X\sim\chi^2(n)\\ f(x)=\left\{\begin{array}{cl} \frac{1}{2^{\frac{n}{2}} \Gamma\left(\frac{n}{2}\right)} x^{\frac{n}{2}-1} e^{-\frac{x}{2}} & x>0 \\ 0 & x \leq 0 \end{array}\right. \\ X\sim N(0,1)\Rightarrow X^2\sim \chi^2(1) \end{gather*}$$

严格单调函数的分布

定理 设随机变量 $X$ 具有概率密度
$$f_{X}(x),(-\infty<x<\infty),$$
又设 $g(x)$ 处处可导，且恒有 $g^{\prime}(x)>0$ (或 $<0$ )，
则 $Y=g(X)$ 是连续型随机变量，其概率密度为 $$f_{Y}(y)=\left\{\begin{array}{cc}f_{X}[h(y)]\left|h^{\prime}(y)\right|, & \alpha<y<\beta \\ 0, & \text { otherwise }\end{array}\right.$$
其中 $h(y)$ 是 $g(x)$ 的反函数，即
$$x=g^{-1}(y)=h(y)$$$\alpha=\min \{g(-\infty), g(+\infty)\}, \beta=\max \{g(-\infty), g(+\infty)\}$

补充定理(分段单调)：
若 $g(x)$ 在不相叠的区间 $I_{1}, I_{2}, \ldots$ 上逐段严格单调，其反函数分别为 $h_{1}(x), h_{2}(x), \ldots$ 均为连续函数，那么 $Y=g(x)$ 是连续型随机变量，其概率密度为
$$\begin{gathered} f_{Y}(y)=f_{X}\left[h_{1}(y)\right]\left|h_{1}^{\prime}(y)\right|+f_{X}\left[h_{2}(y)\right]\left|h_{2}^{\prime}(y)\right|+\cdots, \\ y \in(\alpha, \beta) \end{gathered}$$

多维随机变量及其分布

二维随机变量的联合分布函数 F(x,y)

充要条件：

1. 单调
2. 有界：$0\le F(x,y)\le 1$ 且
   $$\forall x,F(x,-\infty)=0\\\forall y,F(-\infty,y)=0\\F(-\infty,-\infty)=0\\F(\infty,\infty)=1$$
3. 右连续
4. 非负性：若 $x_{1}<x_{2}, y_{1}<y_{2}$, 则 $$F\left(x_{2}, y_{2}\right)+F\left(x_{1}, y_{1}\right)-F\left(x_{2}, y_{1}\right)-F\left(x_{1}, y_{2}\right) \geq 0$$

多元正态分布

$$f_{\mathbf{x}}\left(x_{1}, \ldots, x_{k}\right)=\frac{1}{\sqrt{(2 \pi)^{k}|\boldsymbol{\Sigma}|}} \mathrm{e}^{-\frac{1}{2}(\mathbf{x}-\boldsymbol{\mu})^{\mathrm{T}} \boldsymbol{\Sigma}^{-1}(\mathbf{x}-\boldsymbol{\mu})}$$

边缘分布

$$F_X(x)=F(X,+\infty)=\int_{-\infty}^xf_X(x)~\mathbf{d}x\\ f_X(x)=\int_{-\infty}^{+\infty}f(x,y)~\mathbf{d}y$$

条件分布

$$\begin{aligned}F_{X|Y}(x|y)&=P\{X<x|Y=y\}\\ &=\lim _{\epsilon \rightarrow 0} P\{X \leq x \mid y<Y \leq y+\epsilon\}\\ &=\lim _{\epsilon \rightarrow 0} \frac{P\{X \leq x, y<Y \leq y+\epsilon\}}{P\{y<Y \leq y+\epsilon\}}\\ &=\lim _{\varepsilon \rightarrow 0^{+}} \frac{F(x, y+\varepsilon)-F(x, y)}{F_{Y}(y+\varepsilon)-F_{Y}(y)}\\ &=\frac{\frac{\partial}{\partial y} F(x, y)}{\frac{\partial}{\partial y} F_{Y}(y)} \\ &=\int_{-\infty}^{x} \frac{f(u, y)}{f_{Y}(y)} d u \end{aligned}\\ f_{X|Y}(x|y)=\frac{f(x,y)}{f_Y(y)}$$

几何上的解释

$$f(x,y)=f_{X|Y}(x|y)f_Y(y)$$
可以看作是利用边缘分布对条件分布进行了调制

二维随机变量函数的分布

Z=X+Y

$$f_{Z}(z)=\int_{-\infty}^{\infty} f(z-y, y) d y=\int_{-\infty}^{\infty} f(x, z-x) d x$$
当X，Y相互独立时，
$$f_Z=f_X*f_Y$$
推论：有限个相互独立的正态随机变量的线性组合仍然服从正态分布
若 $X_{i} \sim N\left(\mu_{i}, \sigma_{i}^{2}\right)(i=1,2, \ldots, n)$ ， 且相互独立， $Z=\sum_{i=1}^{n} X_{i}$ ，
则 $Z \sim N\left(\sum_{i=1}^{n} \mu_{i}, \sum_{i=1}^{n} \sigma_{i}^{2}\right)$

Z=Y/X

$$f_{Y / X}(z)=\int_{-\infty}^{\infty}|x| f(x, x z) d x$$

Z=XY

$$f_{X Y}(z)=\int_{-\infty}^{\infty}\left|\frac{1}{x}\right| f\left(x, \frac{z}{x}\right) d x$$

max{X,Y}

$$F_{\max (X, Y)}(z)=F_{X}(z) F_{Y}(z)$$

min{X,Y}

$$F_{\min (X, Y)}(z)=1-\left[1-F_{X}(z)\right]\left[1-F_{Y}(z)\right]$$

随机变量的数字特征

期望

$$E(X)=\int x~\mathbf{d}F(x)$$

方差

$$D(X)=\int [x-E(X)]^2~\mathbf{d}F(x)$$

样本均值

$$\bar{X}_{n}=\frac{1}{n} \sum_{i=1}^{n} X_{i} \\ E\left(\bar{X}_{n}\right)=\mu, \quad D\left(\bar{X}_{n}\right)=\frac{\sigma^{2}}{n}$$

样本方差

$$S_{n}^{2}=\frac{1}{n-1} \sum_{i=1}^{n}\left(X_{i}-\bar{X}_{n}\right)^{2}\\ E\left(S_{n}^{2}\right)=\sigma^{2}$$

Chebyshev 不等式

$$\begin{gathered} P\{|X-\mu| \geq \epsilon\} \leq \frac{\sigma^{2}}{\epsilon^{2}} \\ \left(\text { 等价地: } P\{|X-\mu|<\epsilon\} \geq 1-\frac{\sigma^{2}}{\epsilon^{2}}\right) \end{gathered}$$
证明：
$$\begin{aligned} P\{\mid X&-\mu \mid \geq \epsilon\} \\ &=\int_{|x-\mu| \geq \epsilon} f(x) d x \leq \int_{|x-\mu| \geq \epsilon} \frac{|x-\mu|^{2}}{\epsilon^{2}} f(x) d x \\ & \leq \frac{1}{\epsilon^{2}} \int_{-\infty}^{+\infty}(x-\mu)^{2} f(x) d x \\ &=\frac{\sigma^{2}}{\epsilon^{2}} \end{aligned}$$

协方差

$$Cov(𝑋,𝑌)= 𝐸{[𝑋−𝐸(𝑋)][𝑌−𝐸(𝑌)]}$$

性质

$$Cov(𝑋,𝑌)=𝐸(𝑋𝑌)−𝐸(𝑋)𝐸(𝑌)\\ D(X+Y)=D(X)+D(Y)+2Cov(𝑋,𝑌)$$

标准协方差 / 相关系数

$$\rho_{X Y}=\frac{\operatorname{Cov}(X, Y)}{\sqrt{D(X)} \sqrt{D(Y)}}$$

注意：

是否相关只是针对线性关系而言的，X与Y相互独立则是相对一般关系而言的

若 $\left(X_{1}, X_{2}, \ldots, X_{n}\right)$ 服从n维正态分布，则 $X_{1}, X_{2}, \ldots, X_{n}$ 相互独立 $\Leftrightarrow X_{1}, X_{2}, \ldots, X_{n}$ 两两不相关

矩

$$\begin{align*} E(X^k)\quad&X的k阶原点矩\\ E\{[X-E(X)]^k\}\quad&X的k阶中心矩\\ E(X^kY^l)\quad&X和Y的k+l阶混合矩\\ E\{[X-E(X)]^k[Y-E(Y)]^l\}\quad&X和Y的k+l阶中心矩 \end{align*}$$