主观概率、客观概率与条件概率

小象实战讲义 · 自然语言处理

在自然语言处理与机器学习中，我们经常需要对不确定性进行建模和度量。概率论为我们提供了描述和推理不确定性的强大数学语言。本节将探讨概率的两种哲学基础——客观频率主义与主观贝叶斯主义，并深入理解条件概率这一核心概念，它是后续学习贝叶斯定理、语言模型和序列标注等NLP技术的基石。

💡 核心导读

• 概率的两种诠释：理解基于频率的客观概率与基于信念的主观概率（贝叶斯概率）的区别，明确NLP与机器学习主要采用后者。
• 概率模型公理化：回顾概率的三大公理（非负性、可加性、归一化），建立严谨的数学基础。
• 条件概率的深度理解：通过经典的“两个孩子”问题，辨析条件概率的微妙之处，避免直觉陷阱。
• 全概率公式：掌握将复杂事件概率分解为条件概率之和的方法，为后续贝叶斯推理铺路。

概率的两种面孔：客观与主观

在传统概率论中，我们通常将概率定义为某个事件在大量重复试验中发生的频率。例如，抛一枚均匀硬币，正面朝上的概率是1/2，意味着在足够多次的抛掷中，正面朝上的次数约占总次数的一半。这种基于频率的定义被称为客观概率或频率主义概率。其数学形式通常基于集合论：对于一个样本空间 $\Omega$，事件 $A$ 的概率 $P(A)$ 定义为 $A$ 包含的基本结果数量与 $\Omega$ 中基本结果总数之比（在等可能假设下）。

然而，在机器学习和自然语言处理的许多场景中，我们处理的并非可重复的物理实验，而是基于有限信息对一次性事件或信念的量化。例如：

• 预测未来5分钟外卖送达的概率。
• 评估一篇匿名文章由某位特定作者撰写的可能性。
• 估计向心仪对象表白成功的几率。

这些概率往往不便于、且在这些例子中并非实际通过大量同类重复试验的频率来估计。它们反映的是基于现有知识和证据的主观置信度，被称为主观概率或贝叶斯概率。需要区分：像外卖送达时间这类情形，仍可参照历史订单采样得到频率估计；而对某一次具体送达，往往还要结合距离、高峰等信息形成主观置信度。贝叶斯概率将概率解释为对命题为真的信念强度，其值在0到1之间，并遵循概率论的公理。在NLP中，从词性标注到机器翻译，我们大量使用基于贝叶斯框架的概率模型，将先验知识与新观测数据结合，做出最优决策。

概率模型与公理化基础

无论采用何种诠释，概率的数学表示必须满足一套一致的公理系统，以确保推理的严谨性。一个概率模型包含两个基本要素：

1. 样本空间 $\Omega$：所有可能结果的集合。
2. 概率律 $P$：为事件（样本空间的子集）分配一个满足以下公理的数值：
   • 非负性：对于任何事件 $A$，有 $P(A) \ge 0$。
   • 可加性：如果事件 $A$ 和 $B$ 互斥（即 $A \cap B = \emptyset$），则 $P(A \cup B) = P(A) + P(B)$。对于可数个互斥事件也成立。
   • 归一化：整个样本空间的概率为1，即 $P(\Omega) = 1$。

这些公理是概率论大厦的基石。基于它们，我们可以推导出概率的所有运算规则，例如：

• $P(A \cup B) = P(A) + P(B) - P(A \cap B)$
• $P(A^c) = 1 - P(A)$，其中 $A^c$ 是 $A$ 的补集。

概率与集合运算可以通过文氏图（Venn diagram）直观表示。例如，事件 $A$ 与 $B$ 同时发生的概率 $P(A \cap B)$ 对应图中两集合的交集区域；事件 $A$ 或 $B$ 发生的概率 $P(A \cup B)$ 对应两集合的并集区域。

条件概率：在已知信息下的推理

条件概率是概率论中至关重要且有时反直觉的概念。给定事件 $B$ 发生的条件下，事件 $A$ 发生的条件概率定义为： $$P(A|B) = \frac{P(A \cap B)}{P(B)}, \quad \text{其中 } P(B) > 0$$

其直观解释是，我们将关注范围从整个样本空间 $\Omega$ 缩小到事件 $B$ 已经发生的那个“世界”里，然后看在这个新世界里 $A$ 发生的比例。

经典辨析：“两个孩子”问题

让我们通过一个经典例子来深化对条件概率的理解。

问题背景：邻居老王（John）有两个孩子。

1. 情景P1：老王告诉你：“我两个孩子中有一个是男孩。”请问另一个孩子是女孩的概率是多少？
2. 情景P2：有一天，你看见老王的一个孩子在门外玩耍，并且是个男孩。请问你没看见的那个孩子是女孩的概率是多少？

解答与分析：

首先，我们假设每个孩子是男孩（M）或女孩（F）的概率相等，且性别独立。两个孩子的性别组合样本空间为：{MM, MF, FM, FF}，每种组合概率为1/4。

• 对于P1：条件“至少有一个是男孩”排除了组合FF。因此，缩减后的样本空间为 {MM, MF, FM}，且概率在原空间下重新归一化，每种组合概率为1/3。

  • 在 {MM, MF, FM} 中，“另一个是女孩”对应组合 MF 和 FM。
  • 因此，$P1 = \frac{2}{3}$。

• 对于P2：条件“你看见一个玩耍的男孩”与P1的条件有本质不同。这里，你观察到了特定的一个孩子（比如，老大或老二）是男孩。我们需区分孩子。

  • 设你看见的是老大。那么老大的性别确定是M。对于老二，其性别独立于老大，为M或F的概率各1/2。
  • 因此，$P2 = \frac{1}{2}$。
  • 即使你不确定看见的是老大还是老二，通过更细致的条件概率计算（考虑看见任一孩子的可能性），结果仍是1/2。

关键区别：P1的条件是对两个孩子整体的描述（“存在一个男孩”），它改变了两个孩子的联合分布。P2的条件是对一个特定孩子的观察，它只提供了该孩子的信息，另一个孩子的性别分布保持不变（独立同分布）。这个例子深刻揭示了“给定信息”的精确含义如何影响条件概率的计算。

全概率公式

全概率公式是将复杂事件概率分解为简单条件概率之和的强大工具。设 $A_1, A_2, ..., A_n$ 是样本空间 $\Omega$ 的一个划分（即它们互斥且并集为 $\Omega$），则对任意事件 $B$，有： $$P(B) = \sum_{i=1}^{n} P(A_i) P(B|A_i)$$

其直观意义是，事件 $B$ 发生的总概率，等于它在各种可能“场景” $A_i$ 下发生的概率，按照每个场景的先验概率 $P(A_i)$ 进行加权平均。在文氏图中，$B$ 被划分成了与各个 $A_i$ 相交的部分（$B \cap A_i$），全概率公式就是将这些部分的概率加起来。

全概率公式是推导贝叶斯定理的关键一步，后者是机器学习中从结果反推原因（即从数据更新信念）的核心公式，我们将在后续章节中详细探讨。

📝 动手练一练

1. 概念辨析：在“两个孩子”问题中，如果将P1的条件改为“老王说‘我的大孩子是男孩’”，那么另一个孩子（即小孩子）是女孩的概率是多少？这与P1和P2的哪个结果相同？为什么？

2. 手算练习：假设某疾病在人群中的患病率为1%（先验概率 $P(D)=0.01$）。现有一种检测方法，对于确实患病的人，检测呈阳性的概率为99%（灵敏度 $P(+|D)=0.99$）；对于未患病的人，检测呈阳性的概率为5%（假阳性率 $P(+|\neg D)=0.05$）。请使用全概率公式计算随机一人检测呈阳性的总概率 $P(+)$。

本章小结

本节我们建立了概率论在NLP学习中的思想与数学基础。我们明确了主观（贝叶斯）概率是机器学习中处理不确定性和进行推理的主要范式，它允许我们将概率视为基于证据的合理置信度。我们重温了概率的公理化定义，确保后续所有推导的严谨性。通过对条件概率的深入剖析，特别是经典反例的辨析，我们强调了精确理解“给定条件”的重要性。最后，全概率公式为我们提供了一种分解复杂事件概率的系统方法。

📋 行动清单

• 理解并能举例说明客观概率与主观概率的区别，思考一个NLP任务（如情感分析）中如何应用主观概率。
• 掌握条件概率公式 $P(A|B) = P(A \cap B)/P(B)$，并能清晰解释“两个孩子”问题中P1与P2结果不同的原因。
• 会运用全概率公式 $P(B) = \sum_i P(A_i)P(B|A_i)$ 解决简单的概率分解问题。

—— 小象教研组