误差反向传播

小象实战讲义 · 基于深度学习的计算机视觉

在上一节我们学习了梯度下降法，它是优化神经网络权重的核心思想。然而，对于一个由多层神经元构成的复杂网络，如何高效地计算目标函数对每一层权重的梯度，是训练能否成功的关键。本节将深入讲解神经网络训练的基石——误差反向传播（Backpropagation, BP）算法，它将告诉我们如何将输出层的误差，一层层地“反向”传播回网络深处，从而计算出所有参数的梯度。

💡 核心导读

• 链式法则：理解误差反向传播的数学核心，即如何通过中间变量逐层求导。
• 输出层梯度：学习如何计算目标函数对隐藏层与输出层之间权重的偏导数。
• 隐藏层梯度：掌握如何将误差进一步反向传播，计算输入层与隐藏层之间权重的偏导数。
• 统一公式：总结误差反向传播的通用迭代公式，理解其“残差”与“输入”相乘的本质。
• 算法意义：认识BP算法在神经网络发展史上的奠基性作用。

梯度下降与链式法则回顾

在开始推导之前，我们需要明确目标。神经网络的训练目标是最小化一个目标函数（或称损失函数）。对于分类问题，一个常见的目标函数是均方误差（Mean Squared Error, MSE）。假设网络有 c 个输出单元，对于单个样本，期望输出为 t = (t1, t2, ..., tc)，网络实际输出为 z = (z1, z2, ..., zc)，则目标函数 J 定义为：

$$J(\mathbf{w}) = \frac{1}{2} \sum_{k=1}^{c} (t_k - z_k)^2$$

其中，w 代表网络中所有的权重参数。我们的任务就是找到一组 w，使得 J(w) 最小。

梯度下降法告诉我们，要找到最小值，需要沿着目标函数梯度的反方向（即下降最快的方向）更新参数。参数 w 在第 m+1 轮的更新公式为：

$$\mathbf{w}^{(m+1)} = \mathbf{w}^{(m)} + \Delta \mathbf{w}^{(m)} = \mathbf{w}^{(m)} - \eta \cdot \frac{\partial J}{\partial \mathbf{w}}$$

其中，η 是学习率（步长），∂J/∂w 是目标函数对权重的梯度（偏导数向量）。问题的核心就转化为：如何高效地计算这个梯度 ∂J/∂w？

对于一个多层网络，J 与深层权重 w 的关系是嵌套了多层函数的复杂关系。直接求导非常困难。这时就需要用到微积分中的链式法则。

链式法则指出，如果 y 是 u 的函数，而 u 又是 x 的函数，即 y = f(u), u = g(x)，那么 y 对 x 的导数可以通过中间变量 u 来传递：

$$\frac{dy}{dx} = \frac{dy}{du} \cdot \frac{du}{dx}$$

在神经网络中，我们将大量使用链式法则，通过引入每一层神经元的加权输入和激活输出作为中间变量，将复杂的全局梯度分解为一系列简单的局部梯度相乘。

网络架构与符号定义

为了清晰地推导，我们以一个典型的三层前馈神经网络为例，它包括输入层、一个隐藏层和输出层。

• 输入层：有 d 个神经元，输入向量记为 x = (x1, x2, ..., xd)。输入层神经元没有计算功能，仅传递信号。
• 隐藏层：有 H 个神经元。第 j 个隐藏层神经元的加权输入（或称净输入）记为 net_j，其输出记为 y_j。
  • net_j = Σ_{i=1}^{d} w_{ji} * x_i （w_{ji} 是输入层第 i 个神经元到隐藏层第 j 个神经元的权重）
  • y_j = f(net_j) （f 是激活函数，如 sigmoid）
• 输出层：有 c 个神经元。第 k 个输出层神经元的加权输入记为 net_k，其输出记为 z_k。
  • net_k = Σ_{j=1}^{H} w_{kj} * y_j （w_{kj} 是隐藏层第 j 个神经元到输出层第 k 个神经元的权重）
  • z_k = f(net_k)

我们的目标是计算目标函数 J 对两类权重 w_{kj} 和 w_{ji} 的偏导数 ∂J/∂w_{kj} 和 ∂J/∂w_{ji}。

输出层权重的梯度计算

首先计算离误差更近的权重 w_{kj}（隐藏层到输出层）的梯度。

根据链式法则，我们可以引入中间变量 net_k（输出层第 k 个神经元的加权输入）：

$$\frac{\partial J}{\partial w_{kj}} = \frac{\partial J}{\partial net_k} \cdot \frac{\partial net_k}{\partial w_{kj}}$$

第一步：计算 ∂net_k / ∂w_{kj} 根据 net_k 的定义：net_k = w_{k1}y_1 + w_{k2}y_2 + ... + w_{kj}y_j + ...。当对特定的 w_{kj} 求偏导时，只有包含 w_{kj} 的项起作用，其他项视为常数，导数为0。因此： $$\frac{\partial net_k}{\partial w_{kj}} = y_j$$ 这一项非常直观：权重 w_{kj} 的系数就是来自隐藏层第 j 个神经元的输出 y_j。

第二步：计算 ∂J / ∂net_k J 与 net_k 没有直接关系，需要再引入中间变量 z_k（输出层第 k 个神经元的输出）： $$\frac{\partial J}{\partial net_k} = \frac{\partial J}{\partial z_k} \cdot \frac{\partial z_k}{\partial net_k}$$

• 计算 ∂J / ∂z_k： 根据 J = 1/2 * Σ (t_k - z_k)^2，对 z_k 求偏导（注意求和号中只有第 k 项与 z_k 有关）： $$\frac{\partial J}{\partial z_k} = -(t_k - z_k)$$ 这里的负号源于 (t_k - z_k) 的平方求导。

• 计算 ∂z_k / ∂net_k： 根据 z_k = f(net_k)，这就是激活函数 f 在 net_k 处的导数： $$\frac{\partial z_k}{\partial net_k} = f'(net_k)$$

因此，∂J / ∂net_k = -(t_k - z_k) * f'(net_k)。

第三步：合并结果 将第一、二步的结果代入链式法则： $$\frac{\partial J}{\partial w_{kj}} = [-(t_k - z_k) f'(net_k)] \cdot y_j$$

为了简化表达式，我们定义一个非常重要的量——残差（δ，delta），对于输出层第 k 个神经元： $$\delta_k \triangleq (t_k - z_k) f'(net_k)$$ 注意，$\delta$ 取 $(t-z)f'$ 的方向，因此下面梯度式带负号；更新时用 $W \leftarrow W - \eta \cdot \partial J/\partial W$ 自然体现。于是，梯度可以简洁地写为： $$\frac{\partial J}{\partial w_{kj}} = -\delta_k \cdot y_j$$

物理意义：输出层权重 w_{kj} 的梯度，等于输出层神经元 k 的残差 δ_k 与来自隐藏层神经元 j 的输入 y_j 的乘积的负值。δ_k 包含了该神经元的输出误差 (t_k - z_k) 和激活函数在该点的变化率 f'(net_k)。

隐藏层权重的梯度计算

接下来计算更靠内的权重 w_{ji}（输入层到隐藏层）的梯度。这需要将误差从输出层进一步反向传播到隐藏层。

同样使用链式法则，并引入隐藏层神经元 j 的加权输入 net_j 作为中间变量： $$\frac{\partial J}{\partial w_{ji}} = \frac{\partial J}{\partial net_j} \cdot \frac{\partial net_j}{\partial w_{ji}}$$

第一步：计算 ∂net_j / ∂w_{ji} 与输出层情况类似，根据 net_j = Σ_i w_{ji} x_i，对特定的 w_{ji} 求偏导，结果是其系数 x_i： $$\frac{\partial net_j}{\partial w_{ji}} = x_i$$

第二步：计算 ∂J / ∂net_j 这是关键且稍复杂的一步。J 与 net_j 没有直接联系，我们引入隐藏层神经元 j 的输出 y_j 作为中间变量： $$\frac{\partial J}{\partial net_j} = \frac{\partial J}{\partial y_j} \cdot \frac{\partial y_j}{\partial net_j}$$

• 计算 ∂y_j / ∂net_j： 根据 y_j = f(net_j)，这就是隐藏层激活函数的导数： $$\frac{\partial y_j}{\partial net_j} = f'(net_j)$$

• 计算 ∂J / ∂y_j： 这是难点。隐藏层神经元 j 的输出 y_j 会馈送到所有输出层神经元（k=1 到 c）。因此，y_j 的变化会通过所有与之相连的权重 w_{kj} 影响所有输出 z_k，进而影响总误差 J。必须考虑所有路径的影响。 $$\frac{\partial J}{\partial y_j} = \sum_{k=1}^{c} \frac{\partial J}{\partial net_k} \cdot \frac{\partial net_k}{\partial y_j}$$ 这个求和体现了“全连接”的特性。

  • ∂J/∂net_k 我们在计算输出层梯度时已经求过了，它就是 -δ_k（注意，δ_k 本身不带负号，定义为 δ_k = (t_k - z_k)f'(net_k)，因此 ∂J/∂net_k = -δ_k）。
  • ∂net_k/∂y_j 根据 net_k 的定义很简单：net_k = Σ_j w_{kj} y_j，所以 ∂net_k/∂y_j = w_{kj}。

  因此： $$\frac{\partial J}{\partial y_j} = \sum_{k=1}^{c} (-\delta_k) \cdot w_{kj} = -\sum_{k=1}^{c} \delta_k w_{kj}$$

第三步：合并结果 将各部分组合起来： $$\frac{\partial J}{\partial net_j} = \left( -\sum_{k=1}^{c} \delta_k w_{kj} \right) \cdot f'(net_j)$$

同样，我们为隐藏层神经元 j 定义一个残差 δ_j： $$\delta_j \triangleq f'(net_j) \sum_{k=1}^{c} \delta_k w_{kj}$$ 注意，这里 δ_j 的定义与输出层 δ_k 不同。输出层的 δ_k 直接依赖于输出误差 (t_k - z_k)；而隐藏层的 δ_j 依赖于下一层（输出层）所有神经元的残差 δ_k 的加权和，权重正是连接这两层的权重 w_{kj}。

于是，隐藏层权重的梯度可以简洁地写为： $$\frac{\partial J}{\partial w_{ji}} = -\delta_j \cdot x_i$$

物理意义：隐藏层权重 w_{ji} 的梯度，等于隐藏层神经元 j 的残差 δ_j 与来自输入层神经元 i 的输入 x_i 的乘积的负值。δ_j 不是直接由最终误差计算，而是由后一层所有神经元的残差反向传播、加权求和后再乘以本层激活函数的导数得到。

误差反向传播的通用公式

总结上面的推导，我们可以得到误差反向传播算法的统一表述。

对于网络中的任意一层（记当前层为 l），假设它接收前一层（l-1层）的输入 a^{(l-1)}，计算加权和 z^{(l)} = W^{(l)} a^{(l-1)}，然后通过激活函数得到输出 a^{(l)} = f(z^{(l)})。

1. 前向传播：计算每一层的 z^{(l)} 和 a^{(l)}，直到得到最终输出 a^{(L)}（L 为输出层）。
2. 计算输出层残差： $$\delta^{(L)} = (t - a^{(L)}) \odot f'(z^{(L)})$$ 其中 ⊙ 表示逐元素相乘（Hadamard积）。
3. 反向传播残差：对于 l = L-1, L-2, ..., 2（即从后往前逐层计算）： $$\delta^{(l)} = (W^{(l+1)})^T \delta^{(l+1)} \odot f'(z^{(l)})$$ 这里 (W^{(l+1)})^T δ^{(l+1)} 正是下一层残差的加权和。
4. 计算梯度：得到各层残差后，权重 W^{(l)} 的梯度为： $$\frac{\partial J}{\partial W^{(l)}} = -\delta^{(l)} (a^{(l-1)})^T$$ （这里 $\delta = (t-a)\odot f'$ 的定义已把“目标减预测”的方向含进去，故梯度带负号；若把残差定义为 $(a-t)\odot f'$，负号就要反过来，两者只能取其一）。
5. 更新权重：使用梯度下降法更新权重： $$W^{(l)} \leftarrow W^{(l)} - \eta \cdot \frac{\partial J}{\partial W^{(l)}}$$

这个算法清晰地展示了“误差反向传播”的过程：误差信号 δ 从输出层开始，沿着网络反向传播，每经过一层，就利用该层的激活函数导数和来自后一层的权重矩阵进行转换。一旦计算出某一层的残差 δ，该层权重的梯度就简单地等于负的残差与前一层输出的外积（负号由 $\delta=(t-a)f'$ 的定义带来）。

BP算法的意义与影响

误差反向传播算法因 Rumelhart、Hinton 和 Williams 在 1986 年发表的论文《Learning representations by back-propagating errors》而广为人知（其思想更早可追溯到 Werbos 等人在 1970 年代的工作）。这篇论文让 BP 从数学技巧变成了可操作的训练方法，解决了多层神经网络训练的核心难题，使得利用梯度下降法训练深度网络成为可能。

• 高效性：BP算法利用链式法则，把“求所有参数的梯度”从“每个参数各做一次前向传播”的平方级代价，降到与一次前向传播同量级（代价线性于网络的边数），使得训练大规模网络变得可行。
• 奠基性：它是现代深度学习几乎所有训练流程的基础。后续出现的各种优化器（如SGD、Adam）、正则化技术、乃至卷积神经网络（CNN）和循环神经网络（RNN）的训练，都建立在BP算出的梯度之上。
• 局限性：标准的BP算法也存在一些挑战，如梯度消失/爆炸问题（在深层网络中，梯度在反向传播时可能指数级缩小或增大）、对初始值和学习率敏感、容易陷入局部极小值等。这些挑战也催生了ReLU激活函数、残差连接（ResNet）、批量归一化（BatchNorm）等一系列重要的深度学习技术。

📝 动手练一练

1. 概念辨析：在误差反向传播中，输出层神经元的残差 δ_k 和隐藏层神经元的残差 δ_j 在计算公式上有何本质区别？这反映了网络训练的什么逻辑？

2. 手算练习：考虑一个极简网络：输入层1个节点（x=0.5），隐藏层1个节点（权重 w_ji=0.8，偏置 b_j=0.1，激活函数 f(x)=sigmoid(x)），输出层1个节点（权重 w_kj=1.5，偏置 b_k=0.2，激活函数同上）。给定目标输出 t=0.9。 a) 请进行前向传播，计算网络实际输出 z。 b) 假设使用MSE损失，计算输出层残差 δ_k（提示：sigmoid导数 f'(x)=f(x)*(1-f(x))）。 c) 计算隐藏层残差 δ_j。 d) 根据BP公式，计算损失 J 对权重 w_kj 和 w_ji 的梯度（学习率 η=0.1）。

本章小结

本节我们深入推导了神经网络的核心训练算法——误差反向传播（BP）。我们从梯度下降的目标出发，利用链式法则，一步步推导出输出层和隐藏层权重的梯度计算公式，并最终将其统一为简洁的“残差 × 输入”的形式。BP算法的精髓在于它高效地实现了误差信号从网络输出端到输入端的反向流动，使得深度网络的端到端训练成为可能。

今天你几乎不需要手写这套公式：PyTorch、TensorFlow 的自动微分（autograd）会在前向传播时记录计算图，反向时自动套用本节这条残差递推。但正因为框架把它藏了起来，理解 δ 的来源、知道梯度为什么会消失，才更能帮你判断训练异常到底出在哪一层。

📋 行动清单

• 理解链式法则的应用：确保能清晰说出在计算 ∂J/∂w_{kj} 和 ∂J/∂w_{ji} 时，分别引入了哪些中间变量，以及每一步求导的物理意义。
• 掌握残差的定义与传播：能够区分输出层残差 δ_k 和隐藏层残差 δ_j 的计算公式，并理解 δ_j 是 δ_k 的加权和这一反向传播的本质。
• 尝试手算推导：参照动手练一练中的极简网络，在纸上完整地演练一遍前向传播、误差计算、反向传播和权重更新的全过程，加深对公式的理解。

—— 小象教研组