贝叶斯网络与图模型

小象实战讲义 · 自然语言处理

在自然语言处理中，我们常常需要处理多个随机变量之间复杂的依赖关系。例如，一个词的出现可能依赖于它的词性，而词性又依赖于句子的结构。如何清晰、高效地表示和计算这些变量之间的联合概率分布，是构建复杂模型的关键。本节我们将引入概率图模型的核心思想，并重点学习其最早、最基础的形式——贝叶斯网络。通过有向无环图来直观表示变量间的概率依赖与条件独立性，我们将掌握从图结构到概率分解，再到推理计算的基本方法，为后续学习隐马尔可夫模型、主题模型等更复杂的图模型打下坚实基础。

💡 核心导读

• 图模型是什么：将复杂的联合概率分布分解为图结构，用节点表示随机变量，边表示依赖关系，从而简化建模与计算。
• 贝叶斯网络：一种基于有向无环图的概率图模型，表达了变量间的概率依赖结构和条件独立性。
• 从朴素贝叶斯到分层模型：理解如何从最简单的图模型（如朴素贝叶斯）出发，通过引入隐含变量和超参数，构建复杂的层次化概率模型。
• 图模型的威力：掌握如何利用图模型进行概率推理，例如在给定部分观测证据时，推断其他未知变量的状态。

概率图模型：用图来简化世界

在机器学习和统计学中，当我们面对大量相互关联的随机变量时，直接定义它们的联合概率分布 $P(X_1, X_2, ..., X_n)$ 会非常困难，因为参数数量会随着变量数指数级增长。概率图模型 提供了一种强大的框架，它用图结构来直观地表示这些变量之间的依赖关系和条件独立性。

图由节点（代表随机变量）和边（代表变量间的依赖关系）构成。根据边的方向性，概率图模型主要分为两类：

1. 贝叶斯网络：使用有向无环图，边有方向，表示直接概率依赖；只有在额外引入因果假设后，才能把边解释为因果关系。
2. 马尔可夫网络：使用无向图，边无方向，通常表示变量间的关联或约束。

本节我们聚焦于贝叶斯网络，它是许多经典NLP模型（如朴素贝叶斯分类器、隐马尔可夫模型）的图模型基础。

贝叶斯网络：有向图上的概率分解

贝叶斯网络的核心是一个有向无环图。图中每个节点对应一个随机变量。如果存在一条从节点 $A$ 指向节点 $B$ 的有向边 $A \to B$，则称 $A$ 是 $B$ 的父节点，$B$ 是 $A$ 的子节点。这条有向边在概率上表示 $A$ 对 $B$ 有直接的概率依赖；是否进一步解释为因果影响，需要额外的因果假设，单靠图结构并不能确定因果方向。

贝叶斯网络的关键在于其局部条件独立性假设：给定其父节点，一个节点与其所有非后代节点条件独立。基于此，一个贝叶斯网络定义的联合概率分布可以分解为一系列条件概率的乘积：

$$P(X_1, X_2, ..., X_n) = \prod_{i=1}^{n} P(X_i | \text{Parents}(X_i))$$

其中，$\text{Parents}(X_i)$ 表示节点 $X_i$ 的所有父节点。这个分解极大地简化了联合分布的表示和计算。

一个实例：肺癌诊断网络

让我们通过一个经典的肺癌诊断例子来具体理解贝叶斯网络。假设我们关心以下几个变量：

• Pollution ($P$)：环境污染程度，取值为 Low 或 High。
• Smoker ($S$)：是否吸烟，取值为 True 或 False。
• Cancer ($C$)：是否患肺癌，取值为 True 或 False。
• X-ray ($X$)：X光检查结果，取值为 Positive 或 Negative。
• Dyspnoea ($D$)：呼吸困难这一症状，取值为 True 或 False。

根据医学知识，我们可以构建如下贝叶斯网络：

• 肺癌 ($C$) 的发生受环境污染 ($P$) 和吸烟 ($S$) 的影响。
• 如果患肺癌 ($C$)，则会影响X光检查结果 ($X$) 和呼吸困难指标 ($D$)。
• $X$ 和 $D$ 在给定 $C$ 的条件下是独立的。

这可以用以下有向图表示：

      P (Pollution)     S (Smoker)
           \              /
            \            /
             v          v
              C (Cancer)
              / \
             /   \
            v     v
    X (X-ray)   D (Dyspnoea)

现在，我们需要为每个节点定义其条件概率表。这些概率通常来自领域知识或历史数据。

• 先验概率：

  • $P(P = \text{High}) = 0.1$, $P(P = \text{Low}) = 0.9$
  • $P(S = \text{True}) = 0.3$, $P(S = \text{False}) = 0.7$

• 条件概率 $P(C | P, S)$：

  P	S	P(C=True | P, S)	P(C=False | P, S)
  High	True	0.05	0.95
  High	False	0.02	0.98
  Low	True	0.03	0.97
  Low	False	0.001	0.999

• 条件概率 $P(X | C)$：

  C	P(X=Positive | C)	P(X=Negative | C)
  True	0.9	0.1
  False	0.2	0.8

• 条件概率 $P(D | C)$：

  C	P(D=True | C)	P(D=False | C)
  True	0.6	0.4
  False	0.3	0.7

有了网络结构和条件概率表，整个系统的联合概率分布就可以分解计算： $$P(P, S, C, X, D) = P(P) \cdot P(S) \cdot P(C|P,S) \cdot P(X|C) \cdot P(D|C)$$

概率推理：回答“如果…那么…”的问题

贝叶斯网络最重要的应用之一是进行概率推理。即，在观察到部分变量（证据）后，计算其他变量（查询）的后验概率。

例如，问题：如果一位患者的X光检查结果为阳性（$X=\text{Positive}$），那么他吸烟的概率是多少？即求 $P(S=\text{True} | X=\text{Positive})$。

推理过程（概念性）：

1. 根据贝叶斯公式：$P(S|X) \propto P(X|S) \cdot P(S)$。
2. 但 $P(X|S)$ 不能直接从条件概率表获得，因为 $X$ 和 $S$ 不直接相连。我们需要考虑所有可能的 $P$ 和 $C$ 的状态，对它们进行求和（这称为边缘化或消元）： $$P(X|S) = \sum_{P} \sum_{C} P(X|C) \cdot P(C|P,S) \cdot P(P)$$
3. 将 $X=\text{Positive}$ 和 $S=\text{True}$ 代入，计算 $P(X=\text{Positive} | S=\text{True})$。
4. 同样计算 $P(X=\text{Positive} | S=\text{False})$。
5. 最后结合先验 $P(S)$，利用贝叶斯公式归一化得到后验概率 $P(S=\text{True} | X=\text{Positive})$。

在实际中，对于复杂的网络，我们会使用精确算法（如变量消元法、联结树算法）或近似算法（如采样）来进行推理。下面的简单代码演示了在这个小型网络上如何进行一次精确的手动推理计算。

import itertools

# 定义所有变量的取值空间
P_values = ['Low', 'High']
S_values = [False, True] # False: 不吸烟， True: 吸烟
C_values = [False, True] # False: 无癌， True: 有癌
X_values = ['Negative', 'Positive']

# 定义先验和条件概率表 (CPT)
# 为了计算方便，我们用字典存储，键为条件组合的元组
prob_P = {'Low': 0.9, 'High': 0.1}
prob_S = {False: 0.7, True: 0.3}

# P(C=True | P, S)
prob_C_given_PS = {
    ('High', True): 0.05,
    ('High', False): 0.02,
    ('Low', True): 0.03,
    ('Low', False): 0.001,
}
# P(C=False | P, S) = 1 - P(C=True | P, S)

# P(X=Positive | C)
prob_X_given_C = {
    (True, 'Positive'): 0.9,
    (True, 'Negative'): 0.1,
    (False, 'Positive'): 0.2,
    (False, 'Negative'): 0.8,
}

# 计算 P(X=Positive)
prob_X_Positive = 0.0
for p in P_values:
    for s in S_values:
        for c in C_values:
            # P(P=p)
            prior_P = prob_P[p]
            # P(S=s)
            prior_S = prob_S[s]
            # P(C=c | P=p, S=s)
            if c == True:
                prob_C = prob_C_given_PS[(p, s)]
            else:
                prob_C = 1 - prob_C_given_PS[(p, s)]
            # P(X=Positive | C=c)
            prob_X = prob_X_given_C[(c, 'Positive')]
            # 联合概率贡献
            joint = prior_P * prior_S * prob_C * prob_X
            prob_X_Positive += joint

print(f"P(X=Positive) = {prob_X_Positive:.4f}")

# 计算 P(S=True, X=Positive)
prob_STrue_XPositive = 0.0
s_query = True
x_evidence = 'Positive'
for p in P_values:
    for c in C_values:
        prior_P = prob_P[p]
        prior_S = prob_S[s_query] # S=True的先验
        if c == True:
            prob_C = prob_C_given_PS[(p, s_query)]
        else:
            prob_C = 1 - prob_C_given_PS[(p, s_query)]
        prob_X = prob_X_given_C[(c, x_evidence)]
        joint = prior_P * prior_S * prob_C * prob_X
        prob_STrue_XPositive += joint

print(f"P(S=True, X=Positive) = {prob_STrue_XPositive:.4f}")

# 计算后验概率 P(S=True | X=Positive)
posterior_S_given_X = prob_STrue_XPositive / prob_X_Positive
print(f"P(S=True | X=Positive) = {posterior_S_given_X:.4f}")

P(X=Positive) = 0.2081
P(S=True, X=Positive) = 0.0667
P(S=True | X=Positive) = 0.3206

计算结果显示，在观察到X光检查为阳性后，患者吸烟的后验概率从先验的30%上升到了约32.06%。这表明X光阳性结果提供了支持“患者吸烟”这一假设的证据。

从简单到复杂：图模型的层次化扩展

贝叶斯网络的图结构可以清晰地展示模型是如何从简单形式演变为复杂形式的。

朴素贝叶斯分类器

朴素贝叶斯分类器可以看作一个最简单的贝叶斯网络。假设我们有一个类别变量 $C$ 和 $n$ 个特征变量 $X_1, X_2, ..., X_n$。朴素贝叶斯的“朴素”之处在于它假设在给定类别 $C$ 的条件下，所有特征 $X_i$ 都是相互独立的。其图模型如下：

       C (Class)
      / |  |  | \
     /  |  |  |  \
    v   v  v  v   v
   X1  X2 X3 ... Xn

对应的概率分解为： $$P(C, X_1, ..., X_n) = P(C) \prod_{i=1}^{n} P(X_i | C)$$ 这正是我们熟悉的朴素贝叶斯公式。

板表示法

当模型中有重复结构时（例如，有 $N$ 个独立同分布的数据点），我们使用板表示法来简化图形。用一个矩形框（板）将重复的节点括起来，并在角落标注重复次数 $N$。

例如，对于 $N$ 个独立同分布的数据点 ${x^{(1)}, ..., x^{(N)}}$ 都依赖于同一个参数 $\theta$，其板表示如下：

      θ
      |
   -------
  |       |
  |   x   | N
  |       |
   -------

这等价于 $N$ 个独立的节点 $x^{(i)}$ 都从 $\theta$ 指向它们。概率分解为 $P(\theta, x^{(1)}, ..., x^{(N)}) = P(\theta) \prod_{i=1}^{N} P(x^{(i)} | \theta)$。

分层贝叶斯模型：引入超参数

更复杂的模型会引入隐含变量和超参数，形成层次化结构。这是贝叶斯统计和许多高级主题模型（如LDA）的核心思想。

核心理念：模型的参数本身也可以被视为随机变量，并由更高层的参数（超参数）控制。

举例：假设我们观测到数据 $x$，我们认为它来自一个正态分布 $N(\mu, \sigma^2)$。在频率学派中，$\mu$ 和 $\sigma$ 是固定的未知参数。在贝叶斯学派中，我们将 $\mu$ 和 $\sigma$ 也视为随机变量。

• 我们可能认为均值 $\mu$ 本身服从另一个分布，例如均匀分布 $\text{Uniform}(\alpha_1, \alpha_2)$。
• 标准差 $\sigma$ 可能服从另一个分布，例如均匀分布 $\text{Uniform}(\alpha_3, \alpha_4)$。注意：对 $\sigma$ 取均匀先验，与对方差 $\sigma^2$（或精度）取均匀先验并不是同一种先验，二者不可混写。
• $\alpha_1, \alpha_2, \alpha_3, \alpha_4$ 就是超参数，它们控制了参数 $\mu$ 和 $\sigma$ 的分布。

这个生成过程的图模型如下（简化示意）：

α1, α2        α3, α4
   \            /
    \          /
     v        v
   μ ~ Uniform    σ ~ Uniform
          \      /
           \    /
            v  v
         x ~ N(μ, σ^2)

这个过程可以描述为：

1. 根据超参数 $(\alpha_1, \alpha_2)$，从均匀分布中采样得到一个具体的均值 $\mu$。
2. 根据超参数 $(\alpha_3, \alpha_4)$，从均匀分布中采样得到一个具体的标准差 $\sigma$。
3. 使用采样得到的 $\mu$ 和 $\sigma$ 定义出一个具体的正态分布 $N(\mu, \sigma^2)$。
4. 从这个正态分布中采样，得到我们最终观察到的数据点 $x$。

这种层次化建模的优点在于：

• 共享统计强度：多个数据组可以共享超参数，允许信息在不同组间传递。
• 避免过拟合：参数不再是一个固定值，而是一个分布，对数据量少的情况更稳健。
• 表达不确定性：能够量化我们对模型参数本身的不确定性。

在自然语言处理中，主题模型（如LDA） 就是这种分层贝叶斯模型的典型代表。文档-主题分布和主题-词分布都被赋予了先验分布（狄利克雷分布），从而构建了一个强大的文本生成概率模型。

📝 动手练一练

1. 条件独立性辨析：在肺癌诊断的贝叶斯网络中，如果我们已经知道了患者是否患癌（$C$）的信息，那么X光结果（$X$）和呼吸困难指标（$D$）之间是否独立？为什么？如果不知道 $C$ 的信息呢？

2. 后验概率计算：基于上面提供的肺癌网络概率表，请计算：在已知患者不吸烟（$S=\text{False}$）且X光检查为阴性（$X=\text{Negative}$）的条件下，该患者实际患癌（$C=\text{True}$）的后验概率 $P(C=\text{True} | S=\text{False}, X=\text{Negative})$。（提示：需要边缘化环境污染 $P$ 和呼吸困难 $D$，但 $D$ 与问题无关可先边缘化。计算时注意 $P(X=\text{Negative}|C)$ 的概率。）

# —— 重新构建上文用到的微型数据（本节各代码块相互独立，可单独运行）
import itertools
P_values = ['Low', 'High']
S_values = [False, True] # False: 不吸烟， True: 吸烟
C_values = [False, True] # False: 无癌， True: 有癌
X_values = ['Negative', 'Positive']
prob_P = {'Low': 0.9, 'High': 0.1}
prob_S = {False: 0.7, True: 0.3}
prob_C_given_PS = {
    ('High', True): 0.05,
    ('High', False): 0.02,
    ('Low', True): 0.03,
    ('Low', False): 0.001,
}
prob_X_given_C = {
    (True, 'Positive'): 0.9,
    (True, 'Negative'): 0.1,
    (False, 'Positive'): 0.2,
    (False, 'Negative'): 0.8,
}
prob_X_Positive = 0.0
for p in P_values:
    for s in S_values:
        for c in C_values:
            # P(P=p)
            prior_P = prob_P[p]
            # P(S=s)
            prior_S = prob_S[s]
            # P(C=c | P=p, S=s)
            if c == True:
                prob_C = prob_C_given_PS[(p, s)]
            else:
                prob_C = 1 - prob_C_given_PS[(p, s)]
            # P(X=Positive | C=c)
            prob_X = prob_X_given_C[(c, 'Positive')]
            # 联合概率贡献
            joint = prior_P * prior_S * prob_C * prob_X
            prob_X_Positive += joint

# 计算 P(C=True, S=False, X=Negative) 和 P(C=False, S=False, X=Negative)
prob_joint_CTrue = 0.0
prob_joint_CFalse = 0.0

s_evidence = False
x_evidence = 'Negative'

for p in P_values: # 边缘化 P
    # P(P=p)
    prior_P = prob_P[p]
    # P(S=False)
    prior_S = prob_S[s_evidence]
    # 计算 C=True 的情况
    c_val = True
    prob_C_given_PS_val = prob_C_given_PS[(p, s_evidence)] # P(C=True|P,S)
    prob_X_given_C_val = prob_X_given_C[(c_val, x_evidence)] # P(X=Neg|C=True)
    joint_CTrue = prior_P * prior_S * prob_C_given_PS_val * prob_X_given_C_val
    prob_joint_CTrue += joint_CTrue

    # 计算 C=False 的情况
    c_val = False
    prob_C_given_PS_val = 1 - prob_C_given_PS[(p, s_evidence)] # P(C=False|P,S)
    prob_X_given_C_val = prob_X_given_C[(c_val, x_evidence)] # P(X=Neg|C=False)
    joint_CFalse = prior_P * prior_S * prob_C_given_PS_val * prob_X_given_C_val
    prob_joint_CFalse += joint_CFalse

print(f"非归一化分子: P(C=True, S=False, X=Neg) = {prob_joint_CTrue:.6f}")
print(f"非归一化分子: P(C=False, S=False, X=Neg) = {prob_joint_CFalse:.6f}")

# 计算后验概率
posterior_CTrue = prob_joint_CTrue / (prob_joint_CTrue + prob_joint_CFalse)
print(f"后验概率 P(C=True | S=False, X=Negative) = {posterior_CTrue:.6f}")

非归一化分子: P(C=True, S=False, X=Neg) = 0.000203
非归一化分子: P(C=False, S=False, X=Neg) = 0.558376
后验概率 P(C=True | S=False, X=Negative) = 0.000363

📝 动手练一练

1. 概念辨析：在给定的肺癌诊断贝叶斯网络中，变量“X光检查结果($X$)”和“呼吸困难($D$)”在没有任何观测信息时是独立的吗？在给定“是否患肺癌($C$)”的条件下，它们是否独立？请结合贝叶斯网络的局部条件独立性假设进行解释。

2. 手算推理：基于讲义中给出的部分概率表（如下），请计算在已知“环境污染程度为高($P=\text{High}$)”且“吸烟($S=\text{True}$)”的条件下，患者“患肺癌($C=\text{True}$)”的概率 $P(C=\text{True} | P=\text{High}, S=\text{True})$。
   • 先验概率：$P(P=\text{High}) = 0.1$
   • 条件概率表（部分）：
     • $P(C=\text{True} | P=\text{High}, S=\text{True}) = 0.05$
     • $P(C=\text{True} | P=\text{High}, S=\text{False}) = 0.02$
     • $P(C=\text{True} | P=\text{Low}, S=\text{True}) = 0.03$
     • $P(C=\text{True} | P=\text{Low}, S=\text{False}) = 0.001$
   • 提示：利用贝叶斯公式和给定的条件概率直接计算。

本章小结

本节我们深入探讨了概率图模型的基石——贝叶斯网络。我们了解到，图模型通过将复杂的联合概率分布分解为图结构上的局部条件概率乘积，为建模多变量系统提供了清晰、模块化且计算上可处理的框架。

• 贝叶斯网络用有向无环图表示变量间的概率依赖结构，其联合分布分解为 $P(X_1,...,X_n) = \prod_i P(X_i | \text{Parents}(X_i))$。
• 图结构蕴含条件独立性，这是简化推理的关键。例如，给定父节点，节点与其非后代节点独立。
• 概率推理是贝叶斯网络的核心应用，即在给定部分观测证据后，计算其他变量的后验分布。我们通过肺癌诊断的例子演示了推理的概念和计算过程。
• 从简单到复杂：我们看到了朴素贝叶斯分类器作为简单贝叶斯网络的特例，并学习了如何使用板表示法刻画重复结构，以及如何通过引入隐含变量和超参数构建分层贝叶斯模型，这是理解后续主题模型等高级内容的基础。

概率图模型是连接传统统计机器学习与自然语言处理问题的一座桥梁。虽然当前深度学习盛行，但在数据稀缺、需要强先验知识、或模型可解释性至关重要的场景中，图模型依然具有不可替代的价值。

📋 行动清单

• 画出朴素贝叶斯分类器的贝叶斯网络图，并写出其对应的概率分解公式。
• 在肺癌网络例子中，尝试手动计算（或编写代码验证）另一个查询，例如 $P(P=\text{High} | D=\text{True})$。
• 思考一个你熟悉的NLP任务（如词性标注），尝试构思一个简单的贝叶斯网络来描述其中关键变量间的关系。

—— 小象教研组