神经元与反向传播速览（指向深度学习课）

小象实战讲义 · 自然语言处理

在自然语言处理中，我们常常需要建模词语之间复杂的非线性关系，例如预测一个词在给定上下文后出现的概率。传统的统计方法（如 n-gram）难以捕捉这种深层关联。本节将引入神经网络作为解决此类问题的强大工具。我们将从最基本的计算单元——神经元入手，理解其数学本质，并快速了解神经网络如何通过误差反向传播算法进行学习。本节旨在为后续的神经语言模型等高级内容打下基础，更深入的神经网络原理请参考站内《深度学习基础》课程。

💡 核心导读

• 从统计到神经：理解为何需要引入神经网络来建模语言中复杂的非线性关系。
• 神经元与逻辑回归的联系：掌握神经元作为基本计算单元的数学形式，即线性加权后接激活函数；只有 sigmoid 二分类概率输出时，单个神经元才等价于逻辑回归。
• 前馈网络：了解如何将多个神经元连接成层，并通过线性组合与非线性激活的交替堆叠构成前馈神经网络。
• 反向传播原理：理解通过链式法则将输出误差梯度反向传播至网络各层权重，从而实现参数更新的核心思想。
• 梯度问题：初步认识梯度消失与梯度爆炸问题，以及 ReLU 等现代激活函数的作用。

神经语言模型的动机

在之前的课程中，我们学习了基于统计的语言模型，例如 n-gram 模型。它的核心是计算一个词序列 $W_1, W_2, ..., W_m$ 出现的概率 $P(W)$。n-gram 模型通过统计频率来近似条件概率，例如 bigram 模型 $P(W_i | W_{i-1})$ 或 trigram 模型 $P(W_i | W_{i-2}, W_{i-1})$。

然而，词与词之间的关系可能远比简单的统计共现要复杂，它们之间可能存在非线性的依赖关系。对于这种复杂的非线性关系，我们很难预先指定一个精确的数学模型。神经网络，特别是神经语言模型，提供了一种通用的解决方案：我们可以将上下文词（如前 n-1 个词）作为神经网络的输入，而网络的输出则是预测下一个词的概率分布。这种模型能够自动从数据中学习词与词之间的复杂关联模式。

为了理解神经语言模型，我们首先需要回顾神经网络的基本构建块。

神经元：基本计算单元

人工神经网络（Artificial Neural Networks）的灵感来源于生物神经系统，但其本质是一个数学计算模型。其最基本的组成单元是神经元。

一个神经元可以看作一个数学函数，其结构如下图所示（概念图）：

输入: x1, x2, ..., xn
        ↓
加权求和: z = (w1*x1 + w2*x2 + ... + wn*xn) + b
        ↓
激活函数: a = σ(z)
        ↓
输出: a

其中：

• $x_1, x_2, ..., x_n$ 是输入向量。
• $w_1, w_2, ..., w_n$ 是对应的权重（Weight），是需要学习的参数。
• $b$ 是偏置（Bias），也是一个需要学习的参数。
• $z$ 是输入的线性组合。
• $σ$ 是激活函数（Activation Function），一个非线性函数。
• $a$ 是神经元的输出。

当激活函数 $σ$ 是 sigmoid 函数时，这个结构就是一个逻辑回归（Logistic Regression）模型：输出 $a$ 被压缩到 (0, 1) 区间，可以解释为概率。若换成 tanh、ReLU 等其他激活，同一计算单元就不再是逻辑回归。sigmoid 函数的公式为： $$\sigma(z) = \frac{1}{1 + e^{-z}}$$

因此，一个神经元就是一个“决策单元”，它通过线性加权和偏置，再经过一个非线性变换，将输入映射到一个输出值。

全连接前馈神经网络

单个神经元能力有限。神经网络通过将许多神经元连接在一起，形成强大的函数逼近器。最常见的一种是全连接前馈神经网络。

网络结构与符号

考虑相邻的两层，第 $l-1$ 层和第 $l$ 层。

• 第 $l-1$ 层有 $N_{l-1}$ 个神经元，其输出向量记为 $\mathbf{a}^{l-1} = [a_1^{l-1}, a_2^{l-1}, ..., a_{N_{l-1}}^{l-1}]^T$。
• 第 $l$ 层有 $N_l$ 个神经元。
• 连接这两层的权重用一个矩阵 $\mathbf{W}^l$ 表示。其元素 $w_{ij}^l$ 表示从第 $l-1$ 层的第 $j$ 个神经元到第 $l$ 层的第 $i$ 个神经元的连接权重。
• 第 $l$ 层还有一个偏置向量 $\mathbf{b}^l = [b_1^l, b_2^l, ..., b_{N_l}^l]^T$。

前向传播计算

对于第 $l$ 层的第 $i$ 个神经元，其输入 $z_i^l$ 是上一层所有输出的加权和加上偏置： $$z_i^l = \sum_{j=1}^{N_{l-1}} w_{ij}^l a_j^{l-1} + b_i^l$$ 然后，该神经元的输出 $a_i^l$ 是： $$a_i^l = \sigma(z_i^l)$$ 我们可以用矩阵形式简洁地表示整个第 $l$ 层的计算： $$\mathbf{z}^l = \mathbf{W}^l \mathbf{a}^{l-1} + \mathbf{b}^l$$ $$\mathbf{a}^l = \sigma(\mathbf{z}^l)$$ 这里 $\sigma$ 被应用于向量的每个元素。

通过将多个这样的层堆叠起来，我们就得到了一个深度前馈网络。例如，一个三层网络的计算流程为：

输入 x -> (线性组合 W1, b1) -> z1 -> (激活 σ) -> a1 -> (线性组合 W2, b2) -> z2 -> (激活 σ) -> a2 -> (线性组合 W3, b3) -> z3 -> (激活 σ) -> 输出 y

这个过程就是前向传播。

为何需要激活函数？

激活函数引入了非线性。如果没有非线性激活函数，无论堆叠多少层，整个网络仍然等价于一个线性变换，无法学习复杂的模式。此外，像 sigmoid 这样的激活函数还能将输出值规范到一个固定的范围（如 0 到 1），有助于数值稳定性和概率解释。对于多分类问题，我们通常在最后一层使用 softmax 函数，它是 sigmoid 函数在多维上的推广，可以将输出转化为一个概率分布。

神经网络的强大之处在于其通用近似定理：一个足够大的神经网络可以以任意精度逼近任何连续函数。这意味着我们不需要对数据背后的具体函数形式做出强假设（如线性、高斯分布等），网络可以通过调整权重来自动学习数据中复杂的关系。

反向传播算法原理

神经网络的学习过程就是寻找一组权重和偏置参数，使得网络在训练数据上的预测误差最小。这通常通过梯度下降法实现：参数沿着损失函数梯度的反方向更新。反向传播（Back Propagation, BP）算法就是高效计算网络中每个参数梯度的方法。

链式法则：核心思想

反向传播的核心是微积分中的链式法则。对于一个复合函数 $f(g(x))$，其对 $x$ 的导数为： $$\frac{df}{dx} = \frac{df}{dg} \cdot \frac{dg}{dx}$$ 对于更复杂的嵌套函数 $k(f(g(x)))$，其导数为： $$\frac{dk}{dx} = \frac{dk}{df} \cdot \frac{df}{dg} \cdot \frac{dg}{dx}$$ 神经网络的正向传播就是一个极其复杂的复合函数。反向传播就是从最终输出层的误差开始，利用链式法则，将误差梯度一层层反向传播到每一层的权重和偏置上。

一个简化示例

考虑一个极其简单的计算：$f(x, y, z) = (x + y) * z$。令 $x=-2, y=5, z=-4$。

1. 前向传播：
   • $q = x + y = -2 + 5 = 3$
   • $f = q * z = 3 * (-4) = -12$
2. 反向传播（计算梯度）：
   • 首先计算 $f$ 对 $q$ 的梯度：$\frac{\partial f}{\partial q} = z = -4$
   • 计算 $f$ 对 $z$ 的梯度：$\frac{\partial f}{\partial z} = q = 3$
   • 计算 $q$ 对 $x$ 的梯度：$\frac{\partial q}{\partial x} = 1$
   • 计算 $q$ 对 $y$ 的梯度：$\frac{\partial q}{\partial y} = 1$
   • 利用链式法则，$f$ 对 $x$ 的梯度为：$\frac{\partial f}{\partial x} = \frac{\partial f}{\partial q} \cdot \frac{\partial q}{\partial x} = -4 * 1 = -4$
   • 同理，$\frac{\partial f}{\partial y} = -4 * 1 = -4$

这个过程可以形象地看作梯度从输出 $f$ 反向流回输入 $x, y, z$。

应用于一个神经元

让我们看一个具体的神经元例子。假设神经元函数为 $f = \sigma(z)$，其中 $z = w_0 x_0 + w_1 x_1 + w_2$（这里 $w_2$ 是偏置项；$x_0$、$x_1$ 都是普通输入，本例 $x_0=-1$、$x_1=-2$，并非恒为 1 的虚拟输入）。给定值：$w_0=2, w_1=-3, w_2=-3, x_0=-1, x_1=-2$。

前向传播计算过程如下：

import math

# 给定参数
w0, w1, w2 = 2, -3, -3
x0, x1 = -1, -2

# 前向传播
z = w0 * x0 + w1 * x1 + w2
print(f"线性组合 z = {w0}*({x0}) + ({w1})*({x1}) + ({w2}) = {z}")
# 经过 sigmoid 激活
f = 1 / (1 + math.exp(-z))
print(f"sigmoid 输出 f = 1 / (1 + exp(-{z})) = {f:.4f}")

线性组合 z = 2*(-1) + (-3)*(-2) + (-3) = 1
sigmoid 输出 f = 1 / (1 + exp(-1)) = 0.7311

现在，我们的目标是计算损失函数 $L$（例如均方误差）关于权重 $w_0$ 的梯度 $\frac{\partial L}{\partial w_0}$。根据链式法则： $$\frac{\partial L}{\partial w_0} = \frac{\partial L}{\partial f} \cdot \frac{\partial f}{\partial z} \cdot \frac{\partial z}{\partial w_0}$$

• $\frac{\partial L}{\partial f}$ 取决于具体的损失函数。假设是平方误差 $L = \frac{1}{2}(y - f)^2$，则 $\frac{\partial L}{\partial f} = -(y - f)$。这里我们先计算 $\frac{\partial f}{\partial w_0}$，即 $f$ 对 $w_0$ 的敏感度。
• $\frac{\partial f}{\partial z}$：sigmoid 函数的导数有一个优美性质：$\sigma'(z) = \sigma(z)(1 - \sigma(z))$。已知 $f = \sigma(z) = 0.7311$，所以 $\frac{\partial f}{\partial z} = 0.7311 * (1 - 0.7311) = 0.1966$。
• $\frac{\partial z}{\partial w_0} = x_0 = -1$。

因此，$\frac{\partial f}{\partial w_0} = \frac{\partial f}{\partial z} \cdot \frac{\partial z}{\partial w_0} = 0.1966 * (-1) = -0.1966$。

如果我们将整个计算图拆解成最基本的加、乘、指数、倒数等运算，然后从输出 $f$ 开始，每一步计算局部梯度并乘以来自上一步的梯度，最终也能得到相同的结果。这就是反向传播的微观操作。

权重更新

得到梯度后，我们就可以用梯度下降法更新权重。例如，更新 $w_0$： $$w_0^{\text{new}} = w_0^{\text{old}} - \alpha \cdot \frac{\partial L}{\partial w_0}$$ 其中 $\alpha$ 是学习率。假设 $\alpha = 0.01$，且 $\frac{\partial L}{\partial w_0}$ 中的 $\frac{\partial L}{\partial f} = -0.5$（仅为示例），则 $\frac{\partial L}{\partial w_0} = -0.5 * -0.1966 = 0.0983$。那么： $$w_0^{\text{new}} = 2 - 0.01 * 0.0983 \approx 1.9990$$ 权重被轻微调整，以使损失减小。

梯度消失与激活函数

在深层网络中，反向传播需要将梯度从输出层传递到输入层。如果使用 sigmoid 或 tanh 等激活函数，当输入值的绝对值较大时，其导数会趋近于 0。在多层连乘后，传到前面层的梯度会变得极其微小，导致前面层的权重几乎无法更新，这就是梯度消失问题。这曾是训练深度网络的主要障碍。

为了解决这个问题，现代神经网络常使用 ReLU（Rectified Linear Unit）及其变体作为激活函数。ReLU 函数为 $f(x) = \max(0, x)$，在正区间的导数为 1，有效缓解了梯度消失问题，使得深层网络的训练成为可能。

在 NLP 中的意义与展望

本节我们快速回顾了神经网络的基础：神经元、前馈网络和反向传播。在 NLP 中，神经网络使我们能够构建神经语言模型，它比传统的 n-gram 模型更能捕捉长距离和复杂的词义依赖。此外，词向量（如 Word2Vec）本质上也是浅层神经网络训练的副产品。

更重要的是，神经网络为后续更强大的序列模型（如 RNN、LSTM）和注意力机制奠定了基础，这些模型彻底改变了机器翻译、文本生成等任务。而这一切模型训练的核心引擎，就是反向传播算法。

对于希望深入理解神经网络架构、卷积神经网络（CNN）以及更优化技巧的同学，强烈建议学习站内《深度学习基础》与《计算机视觉》课程。

📝 动手练一练

1. 概念辨析：一个使用 sigmoid 激活函数的神经元，当输入线性组合 $z$ 的值非常大（如 10）或非常小（如 -10）时，其输出 $a$ 和梯度 $\frac{da}{dz}$ 分别会趋近于什么值？这对训练有什么潜在影响？

2. 手算梯度：考虑一个无隐藏层的单个输出神经元（直接由输入映射到输出）。输入 $x=2$，权重 $w=1.5$，偏置 $b=1$，使用 sigmoid 激活函数。假设真实标签 $y=0.8$，使用平方损失函数 $L = \frac{1}{2}(y - \hat{y})^2$。请手动计算损失 $L$ 对权重 $w$ 的梯度 $\frac{\partial L}{\partial w}$。（提示：先做前向传播得到预测值 $\hat{y}$，然后按链式法则分解为 $\frac{\partial L}{\partial \hat{y}}$, $\frac{\partial \hat{y}}{\partial z}$, $\frac{\partial z}{\partial w}$ 并计算。）

本章小结

本节我们完成了从统计语言模型到神经语言模型的思维跨越，并速览了神经网络的核心机制：

• 神经元是神经网络的基本单元，其数学形式是线性变换后接一个非线性激活函数；只有在 sigmoid 二分类概率输出这一特定情形下，它才等同于一个逻辑回归模型，采用 tanh、ReLU 等其他激活时并不等价。
• 全连接前馈神经网络通过将神经元分层连接，并交替进行线性变换与非线性激活，能够拟合输入与输出之间极其复杂的函数关系。
• 反向传播算法是训练神经网络的关键。它利用链式法则，将最终输出层的误差梯度高效地反向传播至网络中的每一个权重和偏置参数，从而指导参数通过梯度下降法进行更新。
• 梯度消失是训练深层网络的历史性挑战，与 sigmoid/tanh 激活函数在饱和区的微小梯度有关。ReLU 等现代激活函数在很大程度上缓解了此问题。

📋 行动清单

• 理解神经元的前向计算公式，并能手动计算给定输入和权重下的输出。
• 掌握链式法则在计算复合函数导数中的应用，并能将其与反向传播的思想联系起来。
• 了解梯度消失问题的成因及其对深度网络训练的影响。

—— 小象教研组