贝叶斯原理与推理

小象实战讲义 · 自然语言处理

在上一节我们学习了概率论的基本概念，如条件概率和独立性。本节将聚焦于条件概率中最核心、应用最广泛的工具——贝叶斯原理。贝叶斯公式不仅是概率论的基础，更是连接数据与假设、实现从观察到推断的桥梁，是构建朴素贝叶斯分类器、主题模型乃至现代贝叶斯深度学习等众多自然语言处理模型的理论基石。掌握它，你将能从一个全新的视角看待分类、预测和推理问题。

💡 核心导读

• 贝叶斯公式的推导：从联合概率的两种分解方式出发，理解贝叶斯公式的由来。
• 贝叶斯公式的直观解释：学习先验概率、似然、证据（归一化因子）和后验概率的含义。
• 经典硬币问题：通过一个有趣的“特殊硬币”问题，掌握如何运用贝叶斯公式解决实际概率推理。
• 贝叶斯公式在机器学习中的应用：了解如何将贝叶斯公式框架化，用于解决分类等预测问题。

从联合概率到贝叶斯公式

我们从一个基本问题开始：已知事件 $B$ 发生，事件 $A$ 发生的概率是多少？这就是条件概率 $P(A|B)$。

为了推导 $P(A|B)$，我们可以从事件 $A$ 和 $B$ 的联合概率 $P(A, B)$ 入手。联合概率有两种等价的分解方式：

1. 先 $A$ 后 $B$：$P(A, B) = P(A) \cdot P(B|A)$
2. 先 $B$ 后 $A$：$P(A, B) = P(B) \cdot P(A|B)$

既然两者都等于 $P(A, B)$，那么它们必然相等： $$P(A) \cdot P(B|A) = P(B) \cdot P(A|B)$$

将等式两边同时除以 $P(B)$（假设 $P(B) > 0$），我们就得到了著名的贝叶斯公式： $$P(A|B) = \frac{P(B|A) \cdot P(A)}{P(B)}$$

这个公式看似简单，却蕴含着深刻的推理思想：它允许我们利用已知的“逆”条件概率 $P(B|A)$ 和先验知识 $P(A)$，来更新我们对事件 $A$ 在观察到 $B$ 后的信念，即后验概率 $P(A|B)$。

理解贝叶斯公式的组成部分

为了更好地应用贝叶斯公式，我们通常将其中的符号赋予更通用的含义，并对应到机器学习的语境中：

$$P(H|D) = \frac{P(D|H) \cdot P(H)}{P(D)}$$

• $H$ (Hypothesis)：假设。这是我们想要推断的未知量。在分类问题中，$H$ 代表数据所属的类别（例如，邮件是“垃圾邮件”还是“正常邮件”）。
• $D$ (Data)：观察到的数据。这是我们已知的信息（例如，一封邮件的内容特征）。
• $P(H)$：先验概率 (Prior Probability)。在观察到任何数据 $D$ 之前，我们对假设 $H$ 为真的初始信念。它基于历史经验或领域知识。
• $P(D|H)$：似然 (Likelihood)。在假设 $H$ 为真的条件下，观察到当前数据 $D$ 的概率。它衡量了假设 $H$ 对数据的解释能力。
• $P(D)$：证据 (Evidence) 或边际似然。数据 $D$ 在所有可能假设下出现的总概率。它是一个归一化常数，确保所有可能的 $H$ 的后验概率之和为 1。
• $P(H|D)$：后验概率 (Posterior Probability)。在观察到数据 $D$ 之后，我们对假设 $H$ 为真的更新后的信念。这是我们最终想要计算的结果。

由于 $P(D)$ 对于所有假设 $H_i$ 是相同的，在比较不同假设的后验概率大小时，我们可以忽略它，因为比例关系不变： $$P(H|D) \propto P(D|H) \cdot P(H)$$ 即，后验概率与似然和先验概率的乘积成正比。$P(D)$ 的作用是在我们想得到精确的概率值（而不仅仅是相对大小）时，将所有分子的结果归一化到 $[0, 1]$ 区间，并且总和为 1。

归一化的具体做法是，如果假设 $H$ 有 $K$ 种可能的取值 $H_1, H_2, ..., H_K$，那么： $$P(D) = \sum_{i=1}^{K} P(D|H_i) \cdot P(H_i)$$ 因此，完整的后验概率公式为： $$P(H_j|D) = \frac{P(D|H_j) \cdot P(H_j)}{\sum_{i=1}^{K} P(D|H_i) \cdot P(H_i)}$$

实战演练：特殊硬币问题

让我们通过一个经典问题来具体应用贝叶斯公式。

问题描述： 我们有 100 枚硬币。其中 99 枚是普通硬币，一面是正面 (H)，一面是反面 (T)，掷出正反面的概率各为 50%。另外 1 枚是特殊硬币，两面都是正面 (H)。现在，我从这 100 枚硬币中随机挑选一枚，然后我只观察了这枚硬币的其中一面，发现是正面 (H)。请问，我挑中的这枚硬币是特殊硬币的概率是多少？

定义事件：

• $S$：事件“选中的是特殊硬币”。
• $H$：事件“观察到的一面是正面”。

我们需要求：$P(S|H)$，即在观察到正面的条件下，硬币是特殊硬币的概率。

应用贝叶斯公式： $$P(S|H) = \frac{P(H|S) \cdot P(S)}{P(H)}$$

计算各个分量：

1. 先验概率 $P(S)$：从100枚硬币中随机挑一枚，挑中特殊硬币的概率是 $1/100 = 0.01$。
2. 似然 $P(H|S)$：如果选中的是特殊硬币（两面都是正面），那么无论看哪一面，都一定是正面。所以 $P(H|S) = 1$。
3. 证据 $P(H)$：观察到正面的总概率。这需要考虑所有硬币产生正面的可能性。
   • 总共有 $100 \times 2 = 200$ 个面。
   • 其中正面有多少个？99枚普通硬币贡献99个正面，1枚特殊硬币贡献2个正面，总计 $99 + 2 = 101$ 个正面。
   • 随机挑选一枚硬币并随机看它的一面，每个面被看到的概率是相等的。因此，$P(H) = 101 / 200 = 0.505$。

代入公式计算： $$P(S|H) = \frac{1 \times 0.01}{101 / 200} = \frac{0.01}{0.505} \approx 0.0198$$

结论：在观察到一面的结果是正面后，这枚硬币是特殊硬币的概率约为 $0.0198$，即 $2/101$。这个结果远高于最初的先验概率 $0.01$，但依然很小，因为普通硬币产生正面的可能性也很大。

我们可以用简单的枚举法验证这个结果。考虑所有可能被看到的“正面”：

• 来自99枚普通硬币的99个正面。
• 来自1枚特殊硬币的2个正面。 在总共 $101$ 个“被看到的正面”中，只有 $2$ 个来自特殊硬币。因此，在“看到正面”这个条件下，硬币是特殊的概率是 $2/101$。

贝叶斯公式在机器学习中的应用框架

在机器学习，特别是分类任务中，贝叶斯公式提供了一个优雅的框架。假设我们有 $K$ 个类别 $C_1, C_2, ..., C_K$，和一个数据样本（特征向量）$\mathbf{x}$。

我们的目标是计算样本 $\mathbf{x}$ 属于每个类别 $C_i$ 的概率，即 $P(C_i | \mathbf{x})$，然后选择概率最大的类别作为预测结果。这被称为最大后验概率 (MAP) 决策。

根据贝叶斯公式： $$P(C_i | \mathbf{x}) = \frac{P(\mathbf{x} | C_i) \cdot P(C_i)}{P(\mathbf{x})}$$

其中：

• $P(C_i)$ 是类别 $C_i$ 的先验概率，可以从训练集中各类别的样本比例估计。
• $P(\mathbf{x} | C_i)$ 是给定类别 $C_i$ 时，样本 $\mathbf{x}$ 的似然。这通常需要用一个概率模型来估计（例如，假设特征服从高斯分布）。
• $P(\mathbf{x})$ 是样本 $\mathbf{x}$ 的证据，对所有类别相同，在比较时可以不计算。其值为 $\sum_{j=1}^{K} P(\mathbf{x} | C_j) P(C_j)$。

因此，分类决策规则简化为： $$\hat{y} = \arg\max_{C_i} P(\mathbf{x} | C_i) \cdot P(C_i)$$

举例：人脸识别。给定一张人脸图像 $\mathbf{x}$，我们想知道它是张三、李四还是王五。

• $P(张三)$、$P(李四)$、$P(王五)$ 是先验概率，可能根据数据库中三人的照片数量来设定。
• $P(\mathbf{x}|张三)$ 是似然，表示“如果这个人是张三，拍出这张照片的概率有多大”。这需要一个模型来描述张三的人脸特征分布。
• 我们计算 $P(\mathbf{x}|张三)P(张三)$、$P(\mathbf{x}|李四)P(李四)$、$P(\mathbf{x}|王五)P(王五)$，取值最大的对应的类别就是我们的预测。

这个框架是朴素贝叶斯分类器的基础。在后续课程中，我们会看到，通过引入“特征条件独立”的强假设（朴素假设），可以极大地简化 $P(\mathbf{x} | C_i)$ 的计算，使其即使在文本分类等高维数据上也能高效运行。

📝 动手练一练

1. 概念辨析：在贝叶斯公式 $P(H|D) = \frac{P(D|H)P(H)}{P(D)}$ 中，$P(D)$ 被称为“证据”或“归一化因子”。请问，如果我们只关心比较两个不同假设 $H_1$ 和 $H_2$ 在给定数据 $D$ 下的可能性大小（即比较 $P(H_1|D)$ 和 $P(H_2|D)$），是否可以忽略 $P(D)$ 的计算？为什么？

2. 手算应用：假设一种疾病在人群中的发病率（先验概率）为 $P(D) = 0.001$。现有一种检测方法，对于真正患病的人，检测结果为阳性的概率（真阳性率，即似然）为 $P(T^+|D) = 0.99$；对于健康的人，检测结果为阳性的概率（假阳性率）为 $P(T^+|\neg D) = 0.05$。如果一个人检测结果为阳性，请问他实际患病的后验概率 $P(D|T^+)$ 是多少？

本章小结

本节我们深入探讨了概率论与统计中的核心推理工具——贝叶斯原理。我们从联合概率的两种分解方式自然地推导出贝叶斯公式，并详细解读了其各组成部分（先验、似然、证据、后验）在统计学和机器学习中的深刻含义。通过“特殊硬币”和“疾病检测”两个实例，我们练习了如何将实际问题转化为贝叶斯框架并求解。最后，我们勾勒出贝叶斯公式在机器学习分类任务中的应用框架，为后续学习朴素贝叶斯等具体模型奠定了坚实的理论基础。

贝叶斯思想的精髓在于“用数据更新信念”。它为我们提供了一种系统、量化的方式，将已有的经验（先验）与新的观测数据（似然）结合起来，形成更新、更准确的判断（后验）。这种思想贯穿于许多现代自然语言处理模型之中。

📋 行动清单

• 理解推导：确保能独立从 $P(A, B)$ 的两种表达式推导出贝叶斯公式。
• 掌握组件：能清晰说出贝叶斯公式 $P(H|D) = \frac{P(D|H)P(H)}{P(D)}$ 中每个符号的术语（如先验、后验等）及其在机器学习中的对应物。
• 完成练习：动手计算“疾病检测”例题，深刻体会先验概率对后验结果的巨大影响。

—— 小象教研组