无偏估计与一致最小方差无偏估计（二）

一致最小方差无偏估计（UMVUE）的构造与判定

小象实战讲义 · 数据科学的统计基础

在上一节我们学习了无偏估计和均方误差准则，并提出了寻找“最优”无偏估计的目标——一致最小方差无偏估计（UMVUE）。本节我们将深入探讨UMVUE的存在性问题，并学习两个核心定理：Rao-Blackwell定理和Lehmann-Scheffé定理。前者为我们提供了一种降低无偏估计方差的方法，后者则给出了判定一个估计量是否为UMVUE的充要条件。掌握这些理论，你就能在众多无偏估计中，系统性地找到或验证那个方差最小的“最优”估计。

💡 核心导读

• 无偏估计并非总是存在：我们将通过二项分布中参数 $g(p)=1/p$ 的例子，理解无偏估计的存在性限制，并引入“可估函数”的概念。
• Rao-Blackwell定理：给定一个充分统计量和一个无偏估计，通过对无偏估计取条件期望，可以构造出一个方差更小的无偏估计。这是寻找UMVUE的关键步骤。
• UMVUE的充要条件：一个无偏估计 $T_0$ 是UMVUE，当且仅当它与所有“零”的无偏估计的协方差为零。这为我们验证估计量的最优性提供了直接判据。
• 理论应用：我们将运用上述定理，严格证明在正态总体下，样本均值 $\bar{X}$ 和修正样本方差 $S^2$ 分别是总体均值 $\mu$ 和方差 $\sigma^2$ 的UMVUE。

无偏估计的存在性与可估函数

在追求“最优”无偏估计之前，我们必须先回答一个更基本的问题：对于给定的参数函数 $g(\theta)$，它的无偏估计是否存在？

结论是：不一定存在。 我们通过一个反例来说明。

例：二项分布 $b(m, p)$ 中 $g(p) = 1/p$ 的无偏估计不存在

考虑二项总体 $X \sim b(m, p)$，其概率分布为 $P(X=x) = \binom{m}{x} p^x (1-p)^{m-x}, x=0,1,\dots,m$。我们想估计参数函数 $g(p)=1/p$。

证明（反证法）： 假设存在一个基于样本 $(X_1, \dots, X_n)$ 的统计量 $\hat{g}(X_1, \dots, X_n)$，它是 $g(p)=1/p$ 的无偏估计，即对于所有 $p \in (0,1]$，有： $$E_p[\hat{g}(X_1, \dots, X_n)] = \frac{1}{p}.$$

由于样本独立同分布，我们可以考虑一个对称的估计量。不失一般性，我们可以寻找一个仅依赖于样本总和 $T=\sum_{i=1}^n X_i$ 的估计量，因为 $T \sim b(nm, p)$ 是充分统计量。设 $\hat{g}$ 为 $T$ 的函数，记为 $h(T)$。则无偏性条件变为： $$\sum_{t=0}^{nm} h(t) \binom{nm}{t} p^t (1-p)^{nm-t} = \frac{1}{p}, \quad \forall p \in (0,1].$$

将等式两边乘以 $p$，并将右边移至左边，得到： $$\sum_{t=0}^{nm} h(t) \binom{nm}{t} p^{t+1} (1-p)^{nm-t} - 1 = 0, \quad \forall p \in (0,1].$$ 注意到当 $t=nm$ 时，$p^{nm+1}(1-p)^0 = p^{nm+1}$。因此，整个等式的左边是一个关于 $p$ 的 $nm+1$ 次多项式。

根据代数基本定理，一个 $nm+1$ 次的多项式最多有 $nm+1$ 个实根。然而，无偏性要求该多项式在无穷多个点（整个区间 $(0,1]$）上恒等于零。这产生了矛盾。因此，假设不成立，$g(p)=1/p$ 的无偏估计不存在。

这个例子告诉我们，在讨论UMVUE之前，必须确保所估计的参数函数是可估的。

定义（可估函数）：如果参数函数 $g(\theta)$ 存在无偏估计，则称 $g(\theta)$ 为可估函数。

在本节后续讨论中，我们默认 $g(\theta)$ 是可估的，即其无偏估计类 $U = \{\hat{g}: E_\theta[\hat{g}] = g(\theta), \forall \theta\}$ 是非空集合。

Rao-Blackwell定理：利用充分统计量改进估计

当我们有了一个可估函数 $g(\theta)$ 和一个它的无偏估计后，如何改进它？Rao-Blackwell定理提供了一条清晰的路径：利用充分统计量进行条件期望处理。

定理 2.4.1 (Rao-Blackwell定理)：设 $T = T(\mathbf{X})$ 是参数分布族的一个充分统计量，$S = S(\mathbf{X})$ 是 $g(\theta)$ 的一个无偏估计，且 $E[S^2] < \infty$。定义新的统计量： $$\varphi(T) = E[S(\mathbf{X}) | T].$$ 则：

1. $\varphi(T)$ 也是 $g(\theta)$ 的一个无偏估计，即 $E_\theta[\varphi(T)] = g(\theta)$。
2. $\varphi(T)$ 的方差不超过 $S$ 的方差，即 $\text{Var}_\theta[\varphi(T)] \le \text{Var}_\theta[S]$，对一切 $\theta$ 成立。
3. 等号成立当且仅当 $S$ 是 $T$ 的函数（以概率1成立），即 $S = \varphi(T)$ 几乎处处成立。

定理的核心思想：在给定充分统计量 $T$ 的条件下，样本 $\mathbf{X}$ 的分布不再依赖于参数 $\theta$。因此，条件期望 $\varphi(T)$ 是一个仅通过 $T$ 传递信息的统计量，它“过滤”掉了样本中与估计 $g(\theta)$ 无关的随机波动，从而实现了方差的降低。

证明概要：

1. 无偏性：由全期望公式，$E[\varphi(T)] = E[E[S | T]] = E[S] = g(\theta)$。
2. 方差减小：考虑 $S$ 的方差分解： $$\begin{aligned} \text{Var}(S) &= E[(S - g(\theta))^2] \\ &= E[((S - \varphi(T)) + (\varphi(T) - g(\theta)))^2] \\ &= E[(S - \varphi(T))^2] + E[(\varphi(T) - g(\theta))^2] + 2E[(S - \varphi(T))(\varphi(T) - g(\theta))]. \end{aligned}$$ 可以证明交叉项 $E[(S - \varphi(T))(\varphi(T) - g(\theta))] = 0$（利用条件期望的性质和全期望公式）。因此， $$\text{Var}(S) = E[(S - \varphi(T))^2] + \text{Var}(\varphi(T)) \ge \text{Var}(\varphi(T)).$$ 等号成立当且仅当 $E[(S - \varphi(T))^2] = 0$，即 $S = \varphi(T)$ 几乎处处成立。

这个定理的意义在于：要寻找UMVUE，我们只需要在基于充分统计量的无偏估计类中寻找即可。因为任何其他无偏估计，都可以通过Rao-Blackwell化（取关于充分统计量的条件期望）得到一个方差更小或相等的、基于充分统计量的无偏估计。

UMVUE的充要条件：零无偏估计法

Rao-Blackwell定理告诉我们在哪里找（基于充分统计量的无偏估计类），但没有告诉我们哪一个才是UMVUE。下面的定理给出了一个直接的判定条件。

首先定义两个无偏估计类：

• $U = \{\hat{g}: E_\theta[\hat{g}] = g(\theta), \forall \theta, \text{且} E_\theta[\hat{g}^2] < \infty\}$：$g(\theta)$ 的所有二阶矩存在的无偏估计构成的集合。
• $U_0 = \{V: E_\theta[V] = 0, \forall \theta, \text{且} E_\theta[V^2] < \infty\}$：零的所有二阶矩存在的无偏估计构成的集合。$U_0$ 中的统计量也称为“零的无偏估计”。

定理 2.4.2 (UMVUE的充要条件)：设 $g(\theta)$ 是可估函数，则 $T_0 \in U$ 是 $g(\theta)$ 的UMVUE的充要条件是： $$\text{Cov}_\theta(T_0, V) = E_\theta[T_0 V] = 0, \quad \forall \theta, \forall V \in U_0.$$ 换言之，UMVUE必须与所有零的无偏估计正交（协方差为零）。

证明思路：

• 必要性：假设 $T_0$ 是UMVUE。对任意 $V \in U_0$ 和任意实数 $a$，构造 $T_a = T_0 + aV$。易证 $T_a \in U$（因为 $E[T_a] = g(\theta) + a \cdot 0 = g(\theta)$）。由于 $T_0$ 是UMVUE，其方差最小，故 $\text{Var}(T_0) \le \text{Var}(T_a)$。将 $\text{Var}(T_a)$ 展开为关于 $a$ 的二次函数： $$\text{Var}(T_a) = \text{Var}(T_0) + a^2\text{Var}(V) + 2a\text{Cov}(T_0, V) \ge \text{Var}(T_0).$$ 这意味着对于所有实数 $a$，二次不等式 $a^2\text{Var}(V) + 2a\text{Cov}(T_0, V) \ge 0$ 恒成立。这要求其判别式 $\Delta = 4[\text{Cov}(T_0, V)]^2 \le 0$，从而必有 $\text{Cov}(T_0, V) = 0$。
• 充分性：假设 $T_0$ 满足 $E[T_0 V]=0$ 对所有 $V \in U_0$ 成立。任取另一个无偏估计 $T_1 \in U$。令 $V_0 = T_1 - T_0$，则 $V_0 \in U_0$（因为 $E[V_0] = g(\theta)-g(\theta)=0$）。计算 $T_1$ 的方差： $$\begin{aligned} \text{Var}(T_1) &= \text{Var}(T_0 + V_0) \\ &= \text{Var}(T_0) + \text{Var}(V_0) + 2\text{Cov}(T_0, V_0) \\ &= \text{Var}(T_0) + \text{Var}(V_0) \quad (\text{由条件 } \text{Cov}(T_0, V_0)=0) \\ &\ge \text{Var}(T_0). \end{aligned}$$ 由于 $T_1$ 是任意的，这表明 $T_0$ 的方差在所有无偏估计中最小，即 $T_0$ 是UMVUE。

这个定理非常强大，它允许我们通过检查一个估计量是否与所有“零”的无偏估计正交，来验证其是否为UMVUE。

应用：正态总体参数的UMVUE

我们利用定理2.4.2来验证正态分布中经典估计量的最优性。

设定：设 $X_1, \dots, X_n \stackrel{\text{i.i.d.}}{\sim} N(\mu, \sigma^2)$，样本联合密度为： $$f(\mathbf{x}; \mu, \sigma^2) = (2\pi\sigma^2)^{-n/2} \exp\left\{-\frac{1}{2\sigma^2} \sum_{i=1}^n (x_i - \mu)^2\right\}.$$

目标1：证明 $\bar{X} = \frac{1}{n}\sum_{i=1}^n X_i$ 是 $\mu$ 的UMVUE。

证明思路：

1. 显然 $\bar{X}$ 是 $\mu$ 的无偏估计。
2. 任取一个零的无偏估计 $V(\mathbf{X})$，即满足 $E[V(\mathbf{X})] = 0$ 对所有 $\mu, \sigma^2$ 成立。
3. 将 $E[V(\mathbf{X})] = 0$ 写为积分形式，然后对参数 $\mu$ 求导（在积分号下，假设正则条件满足）。经过一系列运算（利用联合密度表达式和求导），可以推导出： $$E[V(\mathbf{X}) \cdot \bar{X}] = 0, \quad \forall \mu, \sigma^2.$$ 这正是 $E[\bar{X} V] = 0$，即 $\text{Cov}(\bar{X}, V) = 0$。
4. 根据定理2.4.2，$\bar{X}$ 满足UMVUE的充要条件，因此它是 $\mu$ 的UMVUE。

目标2：证明 $S^2 = \frac{1}{n-1}\sum_{i=1}^n (X_i - \bar{X})^2$ 是 $\sigma^2$ 的UMVUE。

证明思路：类似地，通过对 $E[V(\mathbf{X})]=0$ 分别关于 $\mu$ 和 $\sigma^2$ 求导，并结合 $\bar{X}$ 的相关性质，经过更复杂的运算，可以最终证明： $$E[V(\mathbf{X}) \cdot S^2] = 0, \quad \forall \mu, \sigma^2.$$ 由定理2.4.2即得 $S^2$ 是 $\sigma^2$ 的UMVUE。

这些证明过程涉及多重积分和求导交换，较为繁琐。但其结论至关重要：对于正态总体，样本均值 $\bar{X}$ 和修正样本方差 $S^2$ 不仅是无偏的，而且是在所有无偏估计中方差最小的最优估计。

import numpy as np
import scipy.stats as stats
import matplotlib.pyplot as plt

# 设置随机种子保证可复现
np.random.seed(42)

# 模拟参数
n = 10          # 样本量
p = 0.3         # 二项分布成功概率
sample_size = 10000  # 模拟次数

# 生成样本：每次模拟得到 n 个来自 b(1, p) 的样本 (即伯努利试验)
samples = stats.bernoulli.rvs(p, size=(sample_size, n))

# 定义两个估计量：
# 1. 原始无偏估计 S: 仅使用第一个观测 X1 (是 p 的无偏估计，但未利用全部样本信息)
S_estimates = samples[:, 0]
# 2. Rao-Blackwell改进后的估计 φ(T): 基于充分统计量 T = sum(Xi) 的条件期望
#    对于伯努利分布，E[X1 | T=t] = t/n，因为对称性。
T = samples.sum(axis=1)  # 充分统计量：成功次数总和
phi_T_estimates = T / n   # 条件期望估计量，即样本比例

# 计算两个估计量的均值和方差
mean_S = np.mean(S_estimates)
var_S = np.var(S_estimates, ddof=1)  # 样本方差
mean_phi = np.mean(phi_T_estimates)
var_phi = np.var(phi_T_estimates, ddof=1)

print(f"真实参数 p = {p}")
print(f"原始估计量 S (X1) 的均值: {mean_S:.4f}, 方差: {var_S:.6f}")
print(f"Rao-Blackwell改进估计量 φ(T) (样本比例) 的均值: {mean_phi:.4f}, 方差: {var_phi:.6f}")
print(f"方差减少比例: {(var_S - var_phi)/var_S * 100:.2f}%")

# 理论方差对比：
# Var(X1) = p(1-p) = 0.3*0.7 = 0.21
# Var(φ(T)) = Var(样本比例) = p(1-p)/n = 0.21/10 = 0.021
print(f"\n理论方差：")
print(f"Var(X1) = p(1-p) = {p*(1-p):.4f}")
print(f"Var(样本比例) = p(1-p)/n = {p*(1-p)/n:.6f}")

# 可视化：两个估计量的抽样分布
plt.figure(figsize=(10, 6))
plt.hist(S_estimates, bins=30, alpha=0.7, label=f'$S = X_1$ (方差={var_S:.4f})', density=True, color='skyblue', edgecolor='black')
plt.hist(phi_T_estimates, bins=30, alpha=0.7, label=f'$\\varphi(T) = \\bar{{X}}$ (方差={var_phi:.4f})', density=True, color='salmon', edgecolor='black')
plt.axvline(x=p, color='red', linestyle='--', linewidth=2, label=f'真实值 $p={p}$')
plt.xlabel('估计值')
plt.ylabel('密度')
plt.title('Rao-Blackwell定理演示：基于充分统计量改进估计')
plt.legend()
plt.grid(True, alpha=0.3)
plt.tight_layout()
plt.show()

📝 动手练一练

1. 理解Rao-Blackwell定理 设 $X_1, X_2 \stackrel{\text{i.i.d.}}{\sim} \text{Bernoulli}(p)$，即 $P(X_i=1)=p, P(X_i=0)=1-p$。考虑估计参数 $g(p) = p(1-p)$。 a) 验证统计量 $T = X_1 (1 - X_2)$ 是 $g(p)$ 的一个无偏估计。 b) 证明 $S = X_1 + X_2$ 是参数 $p$ 的一个充分统计量。 c) 计算 Rao-Blackwell 改进后的估计量 $\varphi(S) = E[T | S]$。 d) 直接计算并比较 $T$ 和 $\varphi(S)$ 的方差，验证 Rao-Blackwell 定理的结论。

2. 应用UMVUE充要条件（选做） 设 $X_1, \dots, X_n \stackrel{\text{i.i.d.}}{\sim} \text{Poisson}(\lambda)$，即 $P(X_i=x) = e^{-\lambda} \lambda^x / x!, x=0,1,2,\dots$。已知样本均值 $\bar{X}$ 是 $\lambda$ 的无偏估计。 a) 写出样本的联合分布，并说明 $\bar{X}$（或等价地，$T=\sum X_i$）是充分统计量。 b) 假设你已经知道（或可以查阅到）泊松分布族是完备的。结合Rao-Blackwell定理和完备统计量的性质（下节课内容），论证 $\bar{X}$ 是 $\lambda$ 的UMVUE。

本章小结

本节我们深入探讨了一致最小方差无偏估计（UMVUE）的理论基础：

1. 存在性前提：首先确认参数函数 $g(\theta)$ 是“可估的”，即存在无偏估计。我们通过二项分布 $1/p$ 的例子看到，无偏估计并非总是存在。
2. 改进方法：Rao-Blackwell定理：给定一个充分统计量 $T$ 和一个无偏估计 $S$，通过计算条件期望 $\varphi(T)=E[S|T]$，我们可以得到一个方差更小（或相等）的、基于充分统计量的新无偏估计。这指引我们在基于充分统计量的无偏估计类中寻找UMVUE。
3. 判定准则：UMVUE的充要条件：一个无偏估计 $T_0$ 是UMVUE，当且仅当它与所有“零”的无偏估计正交（协方差为零）。这提供了验证估计量最优性的直接工具。
4. 经典结论：应用上述理论，我们（在思路层面）证明了对于正态总体 $N(\mu, \sigma^2)$，样本均值 $\bar{X}$ 和修正样本方差 $S^2$ 分别是 $\mu$ 和 $\sigma^2$ 的UMVUE。

📋 行动清单

• 理解核心思想：重温Rao-Blackwell定理的证明，理解“条件期望可以降低方差”的直观含义——它过滤了噪声，保留了信号。
• 掌握判定工具：记住UMVUE的充要条件是“与所有零无偏估计正交”。尝试用这个思路去理解为什么 $\bar{X}$ 在正态情况下是最优的。
• 代码验证：运行并理解提供的Python代码，观察基于单个观测的估计与基于充分统计量（样本和）的估计在方差上的显著差异，直观感受定理的威力。

下节课，我们将引入“完备统计量”的概念，它将与充分统计量结合，形成一个更强大的工具——充分完备统计量，从而系统性地找到UMVUE。

—— 小象教研组