1. 基本公式#

• 加法公式： $P(A \cup B) = P(A) + P(B) - P(AB)$ 若 $A, B$ 互斥，则 $P(A \cup B) = P(A) + P(B)$。
• 减法公式： $P(A - B) = P(A) - P(AB)$
• 条件概率： $P(B|A) = \frac{P(AB)}{P(A)}, \quad P(A) > 0$
• 乘法公式： $P(AB) = P(A)P(B|A)$ $P(A_1A_2...A_n) = P(A_1)P(A_2|A_1)...P(A_n|A_1...A_{n-1})$

2. 全概率公式与贝叶斯公式#

设 $B_1, B_2, ..., B_n$ 为样本空间 $\Omega$ 的一个划分，且 $P(B_i) > 0$。

• 全概率公式： $P(A) = \sum_{i=1}^{n} P(B_i)P(A|B_i)$
• 贝叶斯公式 (逆概率公式)： $P(B_i|A) = \frac{P(B_i)P(A|B_i)}{\sum_{j=1}^{n} P(B_j)P(A|B_j)}$

3. 事件的独立性#

• 若 $A, B$ 独立，则： $P(AB) = P(A)P(B)$ $P(B|A) = P(B)$

1. 离散型随机变量#

• 分布律：$P(X=x_k) = p_k, \quad \sum p_k = 1$
• 常见分布：
  • 0-1分布 $B(1, p)$：$P(X=k) = p^k(1-p)^{1-k}, \quad k=0,1$
  • 二项分布 $B(n, p)$：$P(X=k) = C_n^k p^k (1-p)^{n-k}$
  • 泊松分布 $P(\lambda)$：$P(X=k) = \frac{\lambda^k}{k!}e^{-\lambda}$
  • 几何分布 $G(p)$：$P(X=k) = (1-p)^{k-1}p$ （第 $k$ 次首次成功）
  • 超几何分布 $H(N, M, n)$：$P(X=k) = \frac{C_M^k C_{N-M}^{n-k}}{C_N^n}$

2. 连续型随机变量#

• 概率密度函数 (PDF) $f(x)$ 性质： $f(x) \ge 0, \quad \int_{-\infty}^{+\infty} f(x)dx = 1$
• 分布函数 (CDF) $F(x)$： $F(x) = P(X \le x) = \int_{-\infty}^{x} f(t)dt$ $P(a < X \le b) = F(b) - F(a)$
• 常见分布：
  • 均匀分布 $U(a, b)$： $f(x) = \begin{cases} \frac{1}{b-a}, & a < x < b \\ 0, & \text{其他} \end{cases}$
  • 指数分布 $E(\lambda)$： $f(x) = \begin{cases} \lambda e^{-\lambda x}, & x > 0 \\ 0, & x \le 0 \end{cases}$
  • 正态分布 $N(\mu, \sigma^2)$： $f(x) = \frac{1}{\sqrt{2\pi}\sigma} e^{-\frac{(x-\mu)^2}{2\sigma^2}}$ 标准正态分布 $\Phi(x)$ 对应 $N(0, 1)$。

1. 边缘分布#

• 离散型： $P(X=x_i) = \sum_{j} P(X=x_i, Y=y_j)$
• 连续型： $f_X(x) = \int_{-\infty}^{+\infty} f(x, y) dy$

2. 独立性#

$F(x, y) = F_X(x)F_Y(y)$

• 连续型充要条件：$f(x, y) = f_X(x)f_Y(y)$
• 离散型充要条件：$P(X=x_i, Y=y_j) = P(X=x_i)P(Y=y_j)$

3. 卷积公式 (两个独立变量之和 Z=X+Y)#

$f_Z(z) = \int_{-\infty}^{+\infty} f_X(x)f_Y(z-x)dx$

• 正态可加性：若 $X \sim N(\mu_1, \sigma_1^2), Y \sim N(\mu_2, \sigma_2^2)$ 且独立，则 $X+Y \sim N(\mu_1+\mu_2, \sigma_1^2+\sigma_2^2)$。

1. 数学期望 $E(X)$#

• 定义：
  • 离散：$E(X) = \sum x_k p_k$
  • 连续：$E(X) = \int_{-\infty}^{+\infty} x f(x) dx$
• 性质：
  • $E(C) = C$
  • $E(aX + b) = aE(X) + b$
  • $E(X + Y) = E(X) + E(Y)$
  • 若 $X, Y$ 独立，则 $E(XY) = E(X)E(Y)$

2. 方差 $D(X)$ 或 $Var(X)$#

• 定义： $D(X) = E[(X - E(X))^2] = E(X^2) - [E(X)]^2$
• 性质：
  • $D(C) = 0$
  • $D(aX + b) = a^2 D(X)$
  • 若 $X, Y$ 独立，则 $D(X \pm Y) = D(X) + D(Y)$

3. 常见分布的期望与方差表#

4. 协方差与相关系数#

• 协方差： $Cov(X, Y) = E[(X-EX)(Y-EY)] = E(XY) - E(X)E(Y)$ $D(X+Y) = D(X) + D(Y) + 2Cov(X, Y)$
• 相关系数： $\rho_{XY} = \frac{Cov(X, Y)}{\sqrt{D(X)}\sqrt{D(Y)}}$ $|\rho_{XY}| \le 1$。若 $\rho_{XY} = 0$，称 $X, Y$ 不相关（注意：独立必不相关，不相关不一定独立，正态分布除外）。

1. 切比雪夫不等式#

设 $E(X)=\mu, D(X)=\sigma^2$，则对于任意 $\epsilon > 0$： $P\{|X - \mu| \ge \epsilon\} \le \frac{\sigma^2}{\epsilon^2}$

2. 中心极限定理 (CLT)#

设 $X_1, ..., X_n$ 独立同分布(i.i.d.)，且 $E(X_i)=\mu, D(X_i)=\sigma^2$。当 $n$ 充分大时： $\frac{\sum_{i=1}^n X_i - n\mu}{\sqrt{n}\sigma} \sim N(0, 1)$

1. 统计量#

• 样本均值：$\bar{X} = \frac{1}{n}\sum_{i=1}^n X_i$
  • 性质：$E(\bar{X}) = \mu, \quad D(\bar{X}) = \frac{\sigma^2}{n}$
• 样本方差 (无偏)：$S^2 = \frac{1}{n-1}\sum_{i=1}^n (X_i - \bar{X})^2$
  • 性质：$E(S^2) = \sigma^2$
• 样本k阶原点矩：$A_k = \frac{1}{n}\sum X_i^k$

2. 三大抽样分布#

• $\chi^2$ 分布：设 $X_i \sim N(0,1)$ 独立，则 $\sum_{i=1}^n X_i^2 \sim \chi^2(n)$。
• $t$ 分布：设 $X \sim N(0,1), Y \sim \chi^2(n)$ 且独立，则 $\frac{X}{\sqrt{Y/n}} \sim t(n)$。
• $F$ 分布：设 $U \sim \chi^2(n_1), V \sim \chi^2(n_2)$ 且独立，则 $\frac{U/n_1}{V/n_2} \sim F(n_1, n_2)$。

3. 正态总体的抽样性质 (重要)#

设总体 $X \sim N(\mu, \sigma^2)$：

1. $\bar{X} \sim N(\mu, \sigma^2/n)$
2. $\frac{(n-1)S^2}{\sigma^2} \sim \chi^2(n-1)$
3. $\bar{X}$ 与 $S^2$ 相互独立
4. $\frac{\bar{X} - \mu}{S/\sqrt{n}} \sim t(n-1)$ （用于未知 $\sigma^2$ 时估计 $\mu$）

1. 矩估计法#

令样本矩等于总体矩： $A_k = E(X^k)$ 即 $\frac{1}{n}\sum_{i=1}^n X_i^k = E(X^k(\theta))$，解方程组得 $\hat{\theta}$。

2. 极大似然估计法 (MLE)#

1. 写出似然函数：
   • 离散型：$L(\theta) = \prod_{i=1}^n P(X_i=x_i; \theta)$
   • 连续型：$L(\theta) = \prod_{i=1}^n f(x_i; \theta)$
2. 取对数：$\ln L(\theta)$
3. 求导并令为0：$\frac{d}{d\theta} \ln L(\theta) = 0$
4. 解出 $\hat{\theta}$。

1. 均值 $\mu$ 的检验 ($\alpha$ 为显著性水平)#

2. 方差 $\sigma^2$ 的检验#