统计中常用分布族（一）

统计中常用的分布族（一）

小象实战讲义 · 数据科学的统计基础

在数据科学中，我们不仅需要理解单个的概率分布，更需要掌握由参数空间定义的一族分布，以及那些在统计推断中扮演核心角色的抽样分布。本节将系统介绍数理统计的“三大分布”——卡方分布、t分布和F分布，它们构成了后续假设检验和区间估计的理论基石。同时，我们还将引入一个强大的分布族——伽马分布族，它统一了指数分布、卡方分布等常用模型，展现了分布理论的内在联系。学完本节，你将能够理解这些关键分布的构造、性质及其在统计推断中的核心作用。

💡 核心导读

• 数理统计三大分布：掌握卡方分布、t分布和F分布的定义、构造方式（作为抽样分布）及其基本性质（如可加性、期望方差）。
• 分位数的意义：理解上、下α分位点的定义及其在后续假设检验中作为决策临界值的重要性。
• 分布族的概念：明确分布族是“分布形式+参数空间”的集合，例如二项分布族、泊松分布族。
• 伽马分布族：学习伽马分布的密度函数、形状与尺度参数，理解其作为指数分布和卡方分布的一般形式。
• 性质与联系：重点掌握伽马分布的可加性及其证明思路（特征函数法），并理解其与卡方分布可加性的关系。

数理统计中的三大分布

在概率论中，正态分布、泊松分布和二项分布因其在自然界广泛存在且理论意义重大，被称为“三大分布”。在数理统计中，同样有三个至关重要的分布：卡方分布、t分布和F分布。它们均由其他基本分布（主要是正态分布）诱导而来，是统计量的抽样分布，在参数估计和假设检验中应用极其广泛。

卡方分布

定义：设 $X_1, X_2, \ldots, X_n$ 是来自标准正态总体 $N(0,1)$ 的简单随机样本（即独立同分布），则称统计量 $$Y = \sum_{i=1}^{n} X_i^2$$ 所服从的分布为自由度为 $n$ 的卡方分布，记为 $Y \sim \chi^2(n)$。

性质：

1. 可加性：若 $Y_1 \sim \chi^2(m)$， $Y_2 \sim \chi^2(n)$，且 $Y_1$ 与 $Y_2$ 相互独立，则 $Y_1 + Y_2 \sim \chi^2(m+n)$。
2. 数字特征：若 $Y \sim \chi^2(n)$，则其期望和方差为： $$E(Y) = n, \quad Var(Y) = 2n.$$
3. 图形特征：卡方分布是右偏分布。其概率密度曲线位于第一象限。自由度 $n$ 越小，曲线越陡峭、右偏越明显；$n$ 越大，曲线越趋于对称和平坦。

分位数：对于给定的概率 $\alpha$（$0 < \alpha < 1$），满足 $P(Y > \chi^2_{\alpha}(n)) = \alpha$ 的点 $\chi^2_{\alpha}(n)$ 称为 $\chi^2(n)$ 分布的上 $\alpha$ 分位数（或上侧临界值）。满足 $P(Y \le \chi^2_{1-\alpha}(n)) = \alpha$ 的点 $\chi^2_{1-\alpha}(n)$ 称为下 $\alpha$ 分位数。分位数是假设检验中判断是否拒绝原假设的决策依据。

t分布（学生氏分布）

定义：设 $X \sim N(0,1)$， $Y \sim \chi^2(n)$，且 $X$ 与 $Y$ 相互独立，则称随机变量 $$T = \frac{X}{\sqrt{Y/n}}$$ 所服从的分布为自由度为 $n$ 的 t 分布，记为 $T \sim t(n)$。

性质：

1. 图形特征：t分布是关于 $t=0$ 对称的尖峰厚尾分布。其密度曲线形状类似标准正态分布，但尾部更厚，即极端值出现的概率高于正态分布。
2. 极限性质：当自由度 $n \to \infty$ 时，t分布 $t(n)$ 收敛于标准正态分布 $N(0,1)$。因此，当 $n$ 较大时（如 $n > 30$），常用正态分布近似t分布。
3. 与F分布的关系：若 $T \sim t(n)$，则 $T^2 \sim F(1, n)$。

分位数：由于t分布对称，其上 $\alpha$ 分位数 $t_{\alpha}(n)$ 满足 $P(T > t_{\alpha}(n)) = \alpha$。由对称性可知，$t_{1-\alpha}(n) = -t_{\alpha}(n)$。

F分布

定义：设 $X \sim \chi^2(m)$， $Y \sim \chi^2(n)$，且 $X$ 与 $Y$ 相互独立，则称随机变量 $$F = \frac{X/m}{Y/n}$$ 所服从的分布为第一自由度为 $m$、第二自由度为 $n$ 的 F 分布，记为 $F \sim F(m, n)$。

性质：

1. 倒数性质：若 $F \sim F(m, n)$，则 $\frac{1}{F} \sim F(n, m)$。
2. 分位数关系：由倒数性质可推导出分位数关系：$F_{1-\alpha}(m, n) = \frac{1}{F_{\alpha}(n, m)}$。
3. 与其他分布的联系：
   • 若 $T \sim t(n)$，则 $T^2 \sim F(1, n)$。
   • 若 $X \sim \chi^2(n)$，则 $X \sim \Gamma(\frac{n}{2}, \frac{1}{2})$（见下文伽马分布）。

应用：F分布在方差分析（ANOVA）、两正态总体方差比的假设检验中起到核心作用。

三大分布的抽样分布定理回顾

三大分布常出现在以下经典抽样分布定理中，这些定理是统计推断的直接工具：

1. 单正态总体：设 $X_1, \ldots, X_n \stackrel{\text{i.i.d.}}{\sim} N(\mu, \sigma^2)$，样本均值 $\bar{X} = \frac{1}{n}\sum X_i$，样本方差 $S^2 = \frac{1}{n-1}\sum (X_i - \bar{X})^2$，则
   • $\frac{(n-1)S^2}{\sigma^2} \sim \chi^2(n-1)$。
   • $\frac{\bar{X} - \mu}{S/\sqrt{n}} \sim t(n-1)$。
2. 两独立正态总体：设 $X_1, \ldots, X_m \stackrel{\text{i.i.d.}}{\sim} N(\mu_1, \sigma_1^2)$， $Y_1, \ldots, Y_n \stackrel{\text{i.i.d.}}{\sim} N(\mu_2, \sigma_2^2)$，且两组样本独立。
   • 方差比：若 $\sigma_1^2 = \sigma_2^2$，则 $\frac{S_1^2}{S_2^2} \sim F(m-1, n-1)$。
   • 均值差（方差相等时）：$\frac{(\bar{X} - \bar{Y}) - (\mu_1 - \mu_2)}{S_w \sqrt{\frac{1}{m} + \frac{1}{n}}} \sim t(m+n-2)$，其中 $S_w^2 = \frac{(m-1)S_1^2 + (n-1)S_2^2}{m+n-2}$。

分布族与伽马分布族

分布族的概念

一个分布族是由一个确定的分布形式及其参数空间构成的集合。它描述了一类具有相同数学形式、但参数不同的概率分布。

• 二项分布族：$\{B(n, p): 0 < p < 1\}$。对于固定的 $n$，不同的成功概率 $p$ 构成了一个分布族。
• 泊松分布族：$\{P(\lambda): \lambda > 0\}$。
• 正态分布族：$\{N(\mu, \sigma^2): \mu \in \mathbb{R}, \sigma^2 > 0\}$。

伽马分布族

伽马分布族是一个非常重要的连续分布族，它包含指数分布和卡方分布作为其特例，在贝叶斯统计、可靠性理论中有广泛应用。

定义：若随机变量 $X$ 的概率密度函数为 $$f(x; \alpha, \lambda) = \frac{\lambda^{\alpha}}{\Gamma(\alpha)} x^{\alpha-1} e^{-\lambda x}, \quad x > 0$$ 其中 $\alpha > 0$ 为形状参数， $\lambda > 0$ 为率参数（rate 参数，越大密度衰减越快；$1/\lambda$ 才是尺度参数）， $\Gamma(\alpha)$ 是伽马函数 $\Gamma(\alpha) = \int_0^{\infty} t^{\alpha-1} e^{-t} dt$，则称 $X$ 服从参数为 $(\alpha, \lambda)$ 的伽马分布，记为 $X \sim \Gamma(\alpha, \lambda)$。

特例：

1. 指数分布：当形状参数 $\alpha = 1$ 时，$\Gamma(1, \lambda)$ 即为参数为 $\lambda$ 的指数分布 $Exp(\lambda)$。
2. 卡方分布：当形状参数 $\alpha = n/2$，率参数 $\lambda = 1/2$ 时，$\Gamma(n/2, 1/2)$ 即为自由度为 $n$ 的卡方分布 $\chi^2(n)$。

数字特征：若 $X \sim \Gamma(\alpha, \lambda)$，则 $$E(X) = \frac{\alpha}{\lambda}, \quad Var(X) = \frac{\alpha}{\lambda^2}.$$ 其 $k$ 阶原点矩为 $E(X^k) = \frac{\Gamma(\alpha+k)}{\lambda^k \Gamma(\alpha)}$。

可加性：伽马分布具有非常重要的可加性。设 $X \sim \Gamma(\alpha_1, \lambda)$， $Y \sim \Gamma(\alpha_2, \lambda)$，且 $X$ 与 $Y$ 相互独立，则 $$X + Y \sim \Gamma(\alpha_1 + \alpha_2, \lambda).$$ 证明思路（特征函数法）： 伽马分布 $\Gamma(\alpha, \lambda)$ 的特征函数为 $\phi(t) = (1 - \frac{it}{\lambda})^{-\alpha}$。 由于 $X$ 与 $Y$ 独立，其和的特征函数为两者特征函数之积： $$\phi_{X+Y}(t) = \phi_X(t) \phi_Y(t) = (1 - \frac{it}{\lambda})^{-\alpha_1} \cdot (1 - \frac{it}{\lambda})^{-\alpha_2} = (1 - \frac{it}{\lambda})^{-(\alpha_1+\alpha_2)}.$$ 这正是 $\Gamma(\alpha_1+\alpha_2, \lambda)$ 分布的特征函数。由特征函数与分布的一一对应关系，即证得可加性。

推论：卡方分布的可加性是其直接推论。因为 $\chi^2(m) \sim \Gamma(m/2, 1/2)$， $\chi^2(n) \sim \Gamma(n/2, 1/2)$，由伽马分布可加性立得 $\chi^2(m) + \chi^2(n) \sim \chi^2(m+n)$。

尺度变换：若 $X \sim \Gamma(\alpha, \lambda)$，则对任意常数 $c > 0$，有 $cX \sim \Gamma(\alpha, \lambda/c)$。这体现了尺度参数 $\lambda$ 对分布“伸缩”的影响。

📝 动手练一练

1. 计算与验证：设 $X_1, X_2, X_3 \stackrel{\text{i.i.d.}}{\sim} N(0, 1)$。令 $Y = X_1^2 + X_2^2 + X_3^2$。

   • (a) 根据定义，$Y$ 服从什么分布？其自由度为多少？
   • (b) 计算 $P(Y > 7.815)$ 和 $P(Y < 0.352)$ 的近似值。（提示：查阅卡方分布表或使用统计软件）
   • (c) 使用 Python 模拟生成10000个 $Y$ 的观测值，计算其样本均值和样本方差，并与卡方分布的理论期望、方差进行比较。

2. 性质理解：已知 $T \sim t(10)$。

   • (a) 利用 t 分布与 F 分布的关系，判断 $T^2$ 服从什么分布？写出其自由度。
   • (b) 若已知 $t_{0.05}(10) = 1.812$，利用对称性求 $t_{0.95}(10)$ 的值。
   • (c) 求 $P(T^2 > (1.812)^2)$ 的概率。

import numpy as np
from scipy import stats
import matplotlib.pyplot as plt

</details>

# 设置随机种子，保证结果可复现
np.random.seed(321)

# 1.(c) 模拟验证卡方分布的性质
n_sim = 10000
n = 3  # 自由度
# 生成标准正态随机样本 (n_sim x n 的矩阵)
X = np.random.randn(n_sim, n)
# 计算每个样本的 Y = sum(X_i^2)
Y_sim = np.sum(X**2, axis=1)

# 计算样本均值和方差
sample_mean = np.mean(Y_sim)
sample_var = np.var(Y_sim, ddof=1)  # 无偏样本方差

# 理论值
theory_mean = n  # E(Y) = n
theory_var = 2 * n  # Var(Y) = 2n

print(f"模拟结果（自由度 n={n}， 模拟次数 {n_sim}）:")
print(f"样本均值: {sample_mean:.4f}, 理论期望: {theory_mean}")
print(f"样本方差: {sample_var:.4f}, 理论方差: {theory_var}")
print(f"均值绝对误差: {abs(sample_mean - theory_mean):.4f}")
print(f"方差绝对误差: {abs(sample_var - theory_var):.4f}")

# 可视化：比较模拟数据的直方图与理论密度曲线
fig, ax = plt.subplots(1, 1, figsize=(8, 5))
# 绘制模拟数据直方图
ax.hist(Y_sim, bins=50, density=True, alpha=0.6, color='skyblue', edgecolor='black', label='模拟数据直方图')
# 绘制理论密度曲线
x = np.linspace(stats.chi2.ppf(0.001, n), stats.chi2.ppf(0.999, n), 1000)
ax.plot(x, stats.chi2.pdf(x, n), 'r-', lw=2, label=f'理论密度 χ²({n})')
ax.set_xlabel('Y')
ax.set_ylabel('概率密度')
ax.set_title(f'卡方分布 χ²({n}) 的模拟验证')
ax.legend()
ax.grid(True, linestyle='--', alpha=0.5)
plt.tight_layout()
plt.show()

# 2.(c) 计算概率验证
t_critical = 1.812
df_t = 10
# 计算 P(T^2 > (1.812)^2) = P(|T| > 1.812)
prob_tail = 2 * (1 - stats.t.cdf(t_critical, df_t))  # 双侧概率
print(f"\n对于 t(10) 分布:")
print(f"P(T > {t_critical}) = {1 - stats.t.cdf(t_critical, df_t):.4f}")
print(f"P(|T| > {t_critical}) = P(T^2 > {t_critical**2:.4f}) = {prob_tail:.4f}")
# 使用F分布验证
prob_f = 1 - stats.f.cdf(t_critical**2, 1, df_t)
print(f"使用 F(1,10) 分布计算: P(F > {t_critical**2:.4f}) = {prob_f:.4f}")
print(f"两种方法结果一致: {np.isclose(prob_tail, prob_f)}")