统计机器翻译中的对齐模型与参数估计

小象实战讲义 · 自然语言处理

本节将深入探讨统计机器翻译（SMT）的核心组件——对齐模型。我们将学习如何将源语言句子与目标语言句子之间的词语对应关系（对齐）形式化为一个概率生成模型，并利用期望最大化（EM）算法从双语平行语料中自动学习模型参数。理解这一经典框架，是掌握从统计翻译到神经翻译演进脉络的关键。

💡 核心导读

• 对齐作为隐含变量：将词语对齐关系视为一个隐含变量，通过引入对齐变量，将复杂的翻译概率分解为可建模的组件。
• IBM 模型 3 的生成过程：学习一个包含词位生成概率（Fertility）、词汇翻译概率（Translation）和位置扭曲概率（Distortion）的完整生成模型。
• EM 算法求解：掌握如何使用期望最大化算法，在不知道真实对齐的情况下，迭代地估计模型参数和对齐概率。
• 从直觉到计算：通过一个简化的双语例子，手算演示 EM 算法如何从少量数据中学习出合理的翻译对应关系。

对齐：从直觉到概率模型

在上一节中，我们介绍了统计机器翻译的基本目标：寻找使 $P(\mathbf{c} | \mathbf{e})$ 最大的目标语句子 $\mathbf{c}$，其中 $\mathbf{e}$ 是源语句子。直接建模 $P(\mathbf{c} | \mathbf{e})$ 非常困难，因为它涉及到两种语言在词序、词法和句法上的复杂映射。

一个关键的洞见是引入一个隐含变量——对齐（Alignment）$\mathbf{a}$。对齐 $\mathbf{a}$ 指定了目标语中每个词 $c_j$ 是由源语中哪个词 $e_i$ 生成的（或者生成为空 NULL）。形式上，对齐 $\mathbf{a}$ 是一个从目标语位置 $j$（$1 \le j \le m$）到源语位置 $a_j$（$0 \le a_j \le l$，其中 $0$ 代表空词）的映射。

通过引入对齐，我们将翻译概率重写为所有可能对齐的边际概率： $$P(\mathbf{c} | \mathbf{e}) = \sum_{\mathbf{a}} P(\mathbf{c}, \mathbf{a} | \mathbf{e})$$

这样，问题就转化为如何建模 $P(\mathbf{c}, \mathbf{a} | \mathbf{e})$，即给定源语句子，生成特定对齐和目标语句子的联合概率。IBM 模型系列（特别是 IBM 模型 3）提供了一个经典的生成式模型来解决这个问题。

IBM 模型 3 的生成过程

IBM 模型系列是一串逐级加码的生成模型，先把三者边界说清，免得后面张冠李戴：

本节的生成过程用到了 n(φ|e)（词位），因此它讲的是 IBM 模型 3，不是模型 2。模型 2 里没有词位这一步——每个源语词恰好产出一个目标语词。这是本节最容易混淆的一处，记住一句判别式：看到 n(φ|e) 就是模型 3。

IBM 模型 3 假设生成目标语句子 $\mathbf{c}$ 的过程如下：

1. 确定源语句子长度：首先确定源语句子 $\mathbf{e} = e_1, e_2, ..., e_l$。
2. 生成词位（Fertility）：对于每个源语词 $e_i$，生成一个“词位” $\phi_i$。$\phi_i$ 是一个非负整数，表示 $e_i$ 将生成多少个目标语词。词位为零意味着该词被“删除”。词位生成概率记为 $n(\phi_i | e_i)$。
3. 生成目标语词：对于每个源语词 $e_i$，根据其词位 $\phi_i$，生成 $\phi_i$ 个目标语词。每个生成的目标语词 $c$ 的概率由词汇翻译概率 $t(c | e_i)$ 决定。
4. 确定目标语词位置（扭曲）：为每个生成的目标语词分配一个在目标语句子中的位置 $j$。这个位置分配的概率由位置扭曲概率 $d(j | i, l, m)$ 决定，它表示在源语句子长度为 $l$、目标语句子长度为 $m$ 的条件下，源语位置 $i$ 生成的目标语词出现在目标语位置 $j$ 的概率。

整个生成过程的概率可以形式化地表示为（无 NULL 的简化 Model 3 口径：$a_j$ 只取 $1$ 到 $l$ 的真实源语位置，不含空词对齐分支）： $$P(\mathbf{c}, \mathbf{a} | \mathbf{e}) = \prod_{i=1}^{l} n(\phi_i | e_i) \times \prod_{j=1}^{m} t(c_j | e_{a_j}) \times \prod_{j=1}^{m} d(j | a_j, l, m)$$

其中，$\phi_i$ 是由对齐 $\mathbf{a}$ 决定的（即 $\phi_i$ 等于对齐中映射到 $i$ 的 $j$ 的数量）。$e_{a_j}$ 是对齐 $\mathbf{a}$ 中生成 $c_j$ 的源语词。

需要注意：上式的词位乘积只遍历真实源语位置 $i=1…l$，尚未计入 NULL 一侧。若允许 $a_j=0$，完整模型必须另给 NULL 的插入概率（$p_1$）与 NULL 词位分布 $n(\phi \mid \mathrm{NULL})$，并在 E 步、M 步对 NULL 产出单独计数；本节后续的对齐演示按 $a_j$ 取值 $1$ 到 $l$ 的简化口径处理，即暂不引入空词对齐。

模型参数：

• $n(\phi | e)$：词位概率，表示源语词 $e$ 生成 $\phi$ 个目标语词的概率。
• $t(c | e)$：词汇翻译概率，表示源语词 $e$ 翻译成目标语词 $c$ 的概率。
• $d(j | i, l, m)$：扭曲概率，表示在给定句子长度下，源语位置 $i$ 生成的目标语词出现在目标语位置 $j$ 的概率。
• 空词 NULL：$a_j = 0$ 表示 $c_j$ 在源语里找不到来源，它由 NULL 生成。模型 3 为它单独留了一步——每个位置先以 $p_1$ 的概率判定”要不要插入一个由空词生成的目标词”，而 NULL 自己也有词位分布 $n(\phi \mid \mathrm{NULL})$。正是 NULL 吸掉了目标语里那些源语没有对应的词（英文冠词 the、虚词 to 之类）。只允许 $a_j=0$ 却不给它数量与插入概率，联合概率就不封闭：各 $\phi_i$ 之和加上 NULL 产出必须正好等于目标语长度 $m$，否则这个 $(\mathbf{c}, \mathbf{a})$ 组合根本不可能出现。

我们的目标是从双语平行语料 ${ (\mathbf{e}^{(k)}, \mathbf{c}^{(k)}) }$ 中学习这些参数。

使用 EM 算法估计参数

由于对齐 $\mathbf{a}$ 是隐含变量，我们无法直接观测到，因此可以使用期望最大化（EM） 算法来估计模型参数 $\theta = { n, t, d }$。

EM 算法迭代以下两步：

1. E 步（期望步）：在给定当前参数估计 $\theta^{old}$ 和观测数据（句子对）的情况下，计算隐含变量（对齐）的后验概率 $P(\mathbf{a} | \mathbf{c}, \mathbf{e}; \theta^{old})$。
2. M 步（最大化步）：利用 E 步计算出的对齐后验概率作为权重，重新估计参数 $\theta^{new}$，以最大化完整数据的对数似然期望。

对于 IBM 模型 3，这两个步骤可以具体化为计数和归一化操作。

E 步的关键量：对于每个句子对 $(\mathbf{e}, \mathbf{c})$ 和每个可能对齐 $\mathbf{a}$，我们需要计算： $$P(\mathbf{a} | \mathbf{c}, \mathbf{e}; \theta^{old}) = \frac{P(\mathbf{c}, \mathbf{a} | \mathbf{e}; \theta^{old})}{\sum_{\mathbf{a}'} P(\mathbf{c}, \mathbf{a}' | \mathbf{e}; \theta^{old})}$$ 这个概率衡量了在当前参数下，某个对齐方式解释当前句子对的“合理”程度。

M 步的参数更新：利用 E 步得到的对齐后验概率作为权重，累加“计数”，然后归一化得到新的参数估计。

• 词汇翻译概率 $t(c|e)$ 的更新：统计所有句子对中，$e$ 对齐到 $c$ 的加权次数，然后除以 $e$ 对齐到任何词的加权总次数。
• 扭曲概率 $d(j|i,l,m)$ 的更新：统计所有句子对中，源语位置 $i$ 对齐到目标语位置 $j$ 的加权次数（在特定的 $l, m$ 下），然后除以源语位置 $i$ 对齐到任何目标语位置的加权总次数。
• 词位概率 $n(\phi|e)$ 的更新：统计所有句子对中，$e$ 的词位为 $\phi$ 的加权次数，然后除以 $e$ 出现的总加权次数。

一个手算示例：理解 EM 迭代

让我们通过一个极度简化的例子来直观感受 EM 算法如何工作。假设我们有一个微型双语语料库：

• 句子 1: 源语 B C → 目标语 X Y
• 句子 2: 源语 B → 目标语 Y

我们忽略空词对齐和词位变化（假设每个词生成且仅生成一个目标语词，即 $\phi_i \equiv 1$），并简化扭曲模型（假设位置概率均匀）。这样，模型的核心参数就简化为词汇翻译概率 $t$。

我们的目标是学习 $t(X|B), t(Y|B), t(X|C), t(Y|C)$。

步骤 1：初始化 随机初始化参数。我们假设所有翻译概率均等：

• $t^{(0)}(X|B) = 0.5$, $t^{(0)}(Y|B) = 0.5$
• $t^{(0)}(X|C) = 0.5$, $t^{(0)}(Y|C) = 0.5$

步骤 2：第一次迭代的 E 步 对于句子 1 (B C → X Y)，有两种可能的对齐 $a$：

• $a_1$: B→X, C→Y
• $a_2$: B→Y, C→X

计算每种对齐的概率（在均匀扭曲假设下，概率正比于词汇翻译概率的乘积）：

• $P(a_1 | \text{B C}, \text{X Y}) \propto t^{(0)}(X|B) \times t^{(0)}(Y|C) = 0.5 \times 0.5 = 0.25$
• $P(a_2 | \text{B C}, \text{X Y}) \propto t^{(0)}(Y|B) \times t^{(0)}(X|C) = 0.5 \times 0.5 = 0.25$

归一化后，$P(a_1) = 0.5$, $P(a_2) = 0.5$。

对于句子 2 (B → Y)，只有一种对齐：B→Y，其概率为 1。

步骤 3：第一次迭代的 M 步 利用 E 步得到的对齐概率作为权重，收集计数。

• 对于 B→X：只在句子1的对齐 $a_1$ 中出现，权重为 0.5。计数 = 0.5。
• 对于 B→Y：在句子1的对齐 $a_2$ 中出现（权重 0.5），在句子2中出现（权重 1）。计数 = 0.5 + 1 = 1.5。
• 对于 C→X：在句子1的对齐 $a_2$ 中出现，权重 0.5。计数 = 0.5。
• 对于 C→Y：在句子1的对齐 $a_1$ 中出现，权重 0.5。计数 = 0.5。

现在归一化得到新的 $t$ 参数：

• $t^{(1)}(X|B) = 0.5 / (0.5 + 1.5) = 0.25$
• $t^{(1)}(Y|B) = 1.5 / (0.5 + 1.5) = 0.75$
• $t^{(1)}(X|C) = 0.5 / (0.5 + 0.5) = 0.5$
• $t^{(1)}(Y|C) = 0.5 / (0.5 + 0.5) = 0.5$

可以看到，经过一次迭代，B 更倾向于翻译成 Y 了（概率从 0.5 上升到 0.75），这与我们的直觉（句子2提供了强证据）相符。

步骤 4：第二次迭代 用 $t^{(1)}$ 重复 E 步和 M 步。

E 步（句子1）：

• $P(a_1) \propto t^{(1)}(X|B) \times t^{(1)}(Y|C) = 0.25 \times 0.5 = 0.125$
• $P(a_2) \propto t^{(1)}(Y|B) \times t^{(1)}(X|C) = 0.75 \times 0.5 = 0.375$
• 归一化：$P(a_1) = 0.25$, $P(a_2) = 0.75$

M 步（重新计数并归一化）：

• B→X 计数: 0.25
• B→Y 计数: 0.75 (来自句子1) + 1 (来自句子2) = 1.75
• C→X 计数: 0.75
• C→Y 计数: 0.25

新的参数：

• $t^{(2)}(X|B) = 0.25 / (0.25 + 1.75) = 0.125$
• $t^{(2)}(Y|B) = 1.75 / (0.25 + 1.75) = 0.875$
• $t^{(2)}(X|C) = 0.75 / (0.75 + 0.25) = 0.75$
• $t^{(2)}(Y|C) = 0.25 / (0.75 + 0.25) = 0.25$

趋势更加明显：B→Y 的概率增至 0.875，C→X 的概率也增至 0.75。如果继续迭代，参数将收敛到极值点：B 几乎确定翻译成 Y，C 几乎确定翻译成 X。这正是我们从有限数据中期望学到的最佳对应关系。

这个简化例子清晰地展示了 EM 算法如何通过迭代，在没有标注对齐的数据中，自动发现词语之间的翻译联系。

对齐模型的意义与局限

IBM 对齐模型是统计机器翻译的基石。它将翻译这个复杂的结构化预测问题，分解为相对简单的概率组件（词位、翻译、扭曲）的乘积，并通过 EM 算法实现了无监督的参数学习。基于此类对齐模型，后续发展出了更复杂的基于短语的、基于句法的 SMT 系统，在神经机器翻译兴起之前一直是主流。

然而，这些模型也存在明显的局限性：

1. 独立性假设过强：生成目标语词时假设条件独立，忽略了目标语的语言模型和上下文信息。
2. 建模能力有限：对长距离依赖、复杂句法结构的捕捉能力不足。
3. 特征工程：需要精心设计特征和模型结构，扩展性差。

今天怎么做：现代神经机器翻译（NMT）使用编码器-解码器架构配合注意力机制，隐式地、动态地学习软对齐。注意力权重直接给出了源语和目标语词之间的关联强度，无需显式定义对齐变量和复杂的生成过程。Transformer 模型进一步通过自注意力机制，极大地提升了对长距离依赖和复杂结构的建模能力，成为当前机器翻译的主流方法。尽管如此，理解经典的基于对齐的 SMT 模型，对于深入把握翻译问题的本质和 NMT 中注意力机制的动机，仍然具有重要价值。

📝 动手练一练

1. 概念辨析：在 IBM 模型 3 中，词位概率 $n(\phi_i | e_i)$、词汇翻译概率 $t(c_j | e_{a_j})$ 和扭曲概率 $d(j | a_j, l, m)$ 分别试图捕捉翻译过程中的哪些现象？如果我们要将中文“我喜欢机器学习”翻译成英文“I like machine learning”，请为一种可能的手工对齐，定性描述这三个概率组件如何参与计算该对齐的联合概率 $P(\mathbf{c}, \mathbf{a} | \mathbf{e})$。

2. 手算验证：沿用本节简化示例（忽略词位和扭曲），假设初始参数 $t^{(0)}(X|B)=0.4, t^{(0)}(Y|B)=0.6, t^{(0)}(X|C)=0.7, t^{(0)}(Y|C)=0.3$。请计算第一次 EM 迭代后（即执行一次 E 步和 M 步）的新参数 $t^{(1)}(Y|B)$ 是多少？

本章小结

本节我们深入剖析了统计机器翻译的核心——基于对齐的概率生成模型。我们学习了如何将词语对齐形式化为隐含变量，并介绍了 IBM 模型 3 的完整生成过程，该过程由词位、词汇翻译和位置扭曲三个概率组件构成。通过期望最大化（EM）算法，我们可以从无标注对齐的双语平行语料中，迭代地学习这些模型参数。一个手算的简化示例清晰地展示了 EM 算法如何自动发现词语间合理的翻译对应关系。

理解这一经典框架至关重要，它不仅揭示了机器翻译问题的概率建模本质，也为后续神经机器翻译中注意力机制的设计提供了思想渊源。尽管如今已被基于神经网络的端到端方法所取代，但统计机器翻译中的对齐思想仍然是自然语言处理中概念建模的典范。

📋 行动清单

• 理解对齐作为隐含变量在分解翻译概率问题中的作用。
• 掌握 IBM 模型 3 中 $n$, $t$, $d$ 三个概率组件的具体含义。
• 能够描述 EM 算法在估计对齐模型参数时的 E 步和 M 步分别做了什么。
• 通过简化例子的手算，验证 EM 迭代如何使参数向直觉上的正确翻译收敛。

—— 小象教研组