KL散度与JS散度

小象实战讲义 · 基于深度学习的计算机视觉

在进入图像生成模型，特别是变分自编码器（VAE）和生成对抗网络（GAN）的深入探讨之前，我们需要先理解两个关键的数学概念：KL散度与JS散度。它们是衡量两个概率分布之间差异的核心工具，直接关系到VAE中潜在空间的约束以及GAN中生成器与判别器的博弈目标。本节将为你厘清熵、交叉熵、相对熵（KL散度）以及JS散度的定义、计算与直观意义，为后续学习奠定坚实的数学基础。

💡 核心导读

• 熵：度量一个概率分布本身的“混乱程度”或“不确定性”，也代表最优编码下的平均编码长度。
• 交叉熵：使用一个估计分布Q去编码来自真实分布P的样本所需的平均编码长度。它总是大于等于真实分布P的熵。
• KL散度（相对熵）：衡量两个概率分布P和Q之间差异的非对称性度量，等于交叉熵减去真实分布的熵。它不满足距离的性质。
• JS散度：为了解决KL散度的非对称性问题而提出的对称性度量，其值域在0到1之间。

从熵到交叉熵

熵（Entropy）是信息论中的核心概念。对于一个离散随机变量，其概率分布为 $P$，熵 $H(P)$ 定义为：

$$H(P) = -\sum_{x} P(x) \log P(x)$$

熵可以直观地理解为“混乱程度”或“不确定性”的度量。从编码的角度看，$H(P)$ 表示按照真实分布 $P$ 来编码样本所需的最短平均编码长度（期望）。其单位通常是比特（当对数以2为底时）。

交叉熵（Cross-Entropy）则用于衡量当我们使用一个估计的分布 $Q$ 去编码来自真实分布 $P$ 的样本时，所需的平均编码长度。其定义为：

$$H(P, Q) = -\sum_{x} P(x) \log Q(x)$$

这里，$P$ 是真实的数据分布（例如训练集的标签分布），$Q$ 是模型预测的分布（例如神经网络的softmax输出）。根据吉布斯不等式（Gibbs’ inequality），交叉熵 $H(P, Q)$ 总是大于或等于真实分布的熵 $H(P)$，即 $H(P, Q) \ge H(P)$。当且仅当 $P=Q$ 时取等号。

一个编码长度的例子

让我们通过一个具体的例子来理解熵和交叉熵的直观含义。

假设有一个数据集只包含四个字母：A, B, C, D。

• 真实分布 $p$：A和B出现的概率均为 $1/2$，C和D出现的概率均为 $0$。即 $p = [1/2, 1/2, 0, 0]$。
• 估计分布 $q$：模型错误地估计四个字母等可能出现，即 $q = [1/4, 1/4, 1/4, 1/4]$。

1. 计算真实分布的熵 $H(p)$（最优编码长度）

import numpy as np

# 定义真实分布 p
p = np.array([0.5, 0.5, 0.0, 0.0])
# 计算熵 H(p)，以2为底
H_p = -np.sum(p * np.log2(p + 1e-12)) # 加一个小量避免log(0)
print(f"熵 H(p) (比特): {H_p:.4f}")

熵 H(p) (比特): 1.0000

计算过程：$H(p) = -[0.5 \times \log_2(0.5) + 0.5 \times \log_2(0.5) + 0 + 0] = -[0.5 \times (-1) + 0.5 \times (-1)] = 1$。

结果解读：只需要 1 比特 就能最优地编码这个数据。因为实际上只有A和B会出现，我们可以用0代表A，1代表B（或者反之）。猜一次就能确定是哪个字母。

2. 计算使用估计分布 $q$ 时的交叉熵 $H(p, q)$

import numpy as np

# 定义真实分布 p 和估计分布 q
p = np.array([0.5, 0.5, 0.0, 0.0])
q = np.array([0.25, 0.25, 0.25, 0.25])

# 计算交叉熵 H(p, q)，以2为底
H_pq = -np.sum(p * np.log2(q + 1e-12)) # 同样避免log(0)
print(f"交叉熵 H(p, q) (比特): {H_pq:.4f}")

交叉熵 H(p, q) (比特): 2.0000

计算过程：$H(p, q) = -[0.5 \times \log_2(0.25) + 0.5 \times \log_2(0.25) + 0 + 0] = -[0.5 \times (-2) + 0.5 \times (-2)] = 2$。

结果解读：使用错误的分布 $q$ 进行编码，平均需要 2 比特。因为模型认为C和D也可能出现（各占1/4概率），所以它必须为所有四个字母分配码字，例如：00->A, 01->B, 10->C, 11->D。这就产生了编码冗余——为实际永远不会出现的C和D预留了编码空间，导致平均编码长度变长。

这个例子清晰地展示了交叉熵如何度量估计分布与真实分布之间的差异：差异越大，交叉熵相比真实熵的“额外开销”就越大。

KL散度：相对熵

KL散度（Kullback–Leibler divergence），也称为相对熵，直接量化了这种“额外开销”。它定义为交叉熵与真实熵之差：

$$D_{KL}(P \parallel Q) = H(P, Q) - H(P) = \sum_{x} P(x) \log \frac{P(x)}{Q(x)}$$

重要性质：

1. 非负性：$D_{KL}(P \parallel Q) \ge 0$。
2. 同一性：当且仅当 $P=Q$（几乎处处相等）时，$D_{KL}(P \parallel Q) = 0$。
3. 非对称性：$D_{KL}(P \parallel Q) \ne D_{KL}(Q \parallel P)$。因此，KL散度不是距离度量（不满足对称性和三角不等式）。

在机器学习的语境下，$P$ 通常代表真实数据分布，$Q$ 代表模型学到的分布。KL散度衡量了用 $Q$ 来近似 $P$ 时造成的信息损失。

让我们计算之前例子中的KL散度。

import numpy as np

# 定义真实分布 p 和估计分布 q
p = np.array([0.5, 0.5, 0.0, 0.0])
q = np.array([0.25, 0.25, 0.25, 0.25])

# 计算KL散度 D_KL(p||q)，以2为底
# 注意：当 p_i = 0 时，项为 0 * log(0/q) = 0，在计算中自动处理
D_kl_pq = np.sum(p * np.log2((p + 1e-12) / (q + 1e-12))) # 加小量保证数值稳定
print(f"KL散度 D_KL(p||q) (比特): {D_kl_pq:.4f}")

# 验证 D_KL = H(p,q) - H(p)
H_p = -np.sum(p * np.log2(p + 1e-12))
H_pq = -np.sum(p * np.log2(q + 1e-12))
print(f"验证: H(p,q) - H(p) = {H_pq - H_p:.4f}")

KL散度 D_KL(p||q) (比特): 1.0000
验证: H(p,q) - H(p) = 1.0000

结果 $D_{KL}(P \parallel Q) = 1$ 比特，正好是交叉熵（2比特）减去真实熵（1比特）的值。这1比特的差异，正是由于错误估计分布所带来的额外编码成本。

JS散度：对称化的解决方案

KL散度的非对称性在某些场景下会带来问题。信息论的约定是 $0 \log 0 = 0$：当某一点 $P(x)=0$ 时，该项对 $D_{KL}(P \parallel Q)$ 的贡献为 0，因此只要 $Q$ 的支撑集覆盖 $P$ 的支撑集（即凡是 $P(x)>0$ 处都有 $Q(x)>0$），$D_{KL}(P \parallel Q)$ 仍是有限值；但反过来，只要存在一点 $P(x)=0$ 且 $Q(x)>0$，$D_{KL}(Q \parallel P)$ 在该点的项 $Q(x)\log(Q(x)/0)$ 就会发散，整个散度为 $+\infty$。同一对分布、两个方向的散度一个是有限值、一个是无穷大，这种不对称性使得KL散度作为分布相似性度量时不够稳健。

JS散度（Jensen–Shannon divergence）通过对称化解决了这个问题。它定义为：

$$D_{JS}(P \parallel Q) = \frac{1}{2} D_{KL}\left(P \parallel M\right) + \frac{1}{2} D_{KL}\left(Q \parallel M\right)$$

其中 $M = \frac{1}{2}(P + Q)$ 是两个分布的平均分布。

重要性质：

1. 对称性：$D_{JS}(P \parallel Q) = D_{JS}(Q \parallel P)$。
2. 有界性：$0 \le D_{JS}(P \parallel Q) \le 1$（当使用以2为底的对数时）。
3. 同一性：当且仅当 $P=Q$ 时，$D_{JS}(P \parallel Q) = 0$。

JS散度可以理解为，先构造一个中间分布 $M$，然后分别计算 $P$ 和 $Q$ 到 $M$ 的KL散度，再取平均。这样就得到了一个对称且平滑的度量。

import numpy as np

# 定义两个不同的分布 P 和 Q
P = np.array([0.7, 0.2, 0.1])
Q = np.array([0.1, 0.2, 0.7])

# 计算中间分布 M
M = 0.5 * (P + Q)

# 计算 KL 散度的辅助函数（以2为底）
def kl_div(p, q):
    # 只对 p>0 的项求和
    return np.sum(p[p>0] * np.log2(p[p>0] / q[p>0]))

# 计算 JS 散度
D_js_pq = 0.5 * kl_div(P, M) + 0.5 * kl_div(Q, M)
print(f"JS散度 D_JS(P||Q): {D_js_pq:.4f}")

# 验证对称性
D_js_qp = 0.5 * kl_div(Q, M) + 0.5 * kl_div(P, M)
print(f"验证对称性 D_JS(Q||P): {D_js_qp:.4f}")
print(f"两者是否相等: {np.isclose(D_js_pq, D_js_qp)}")

JS散度 D_JS(P||Q): 0.3651
验证对称性 D_JS(Q||P): 0.3651
两者是否相等: True

在生成模型中的应用

理解了这些概念后，我们就能明白它们在后续生成模型中的关键作用：

• 在变分自编码器（VAE）中：损失函数包含一个重构误差项和一个正则化项。这个正则化项正是编码器输出的潜在变量分布与标准正态分布之间的 KL散度。它的作用是约束潜在空间具有良好结构（如连续性、平滑性），便于采样和解码。
• 在生成对抗网络（GAN）中：在最优判别器下，原始GAN的生成器损失等价于最小化真实数据分布与生成数据分布之间的 JS散度（相差因子 2 和一个常数）。判别器的训练是在逼近这个最优判别器，而生成器的更新则推动两个分布的JS散度减小。然而，后续研究（如WGAN）也指出，当两个分布没有重叠或重叠可忽略时，JS散度会饱和，梯度消失，导致训练困难，从而引出了Wasserstein距离等改进方案。

📝 动手练一练

1. 概念辨析：为什么说KL散度不是真正的“距离”？请至少列举两点原因。
2. 手算验证：假设真实分布 $P = [0.8, 0.2]$，模型分布 $Q = [0.5, 0.5]$。请计算以2为底的熵 $H(P)$、交叉熵 $H(P, Q)$ 和KL散度 $D_{KL}(P \parallel Q)$。

本章小结

本节我们建立了衡量概率分布差异的数学框架。熵量化了分布自身的不确定性；交叉熵衡量了用错误分布进行编码的成本；KL散度（相对熵）是交叉熵超出真实熵的部分，直接度量了两个分布的差异，但它不对称；JS散度通过对KL散度进行对称化平均，得到了一个对称且有界的相似性度量。这些概念是理解VAE、GAN等现代生成模型损失函数设计的关键。

今天，生成模型的主流已转向扩散模型（DDPM、Stable Diffusion）与流匹配；但 KL/JS 仍是理解 VAE、GAN 以及分布对齐（如 RLHF 中的 KL 正则、知识蒸馏）的基础工具。

📋 行动清单

• 理解熵、交叉熵、KL散度、JS散度的定义公式及其编码长度解释。
• 能够手动计算简单离散分布的熵、交叉熵和KL散度。
• 明确KL散度的非对称性与JS散度的对称性，并理解它们在生成模型（VAE、GAN）中的作用位置。

—— 小象教研组