上下文窗口与长文本处理

小象实战讲义 · 自然语言处理

在构建大语言模型应用时，我们常常希望模型能理解并处理更长的文本，例如整篇论文、长篇小说或复杂的代码库。然而，简单地增加模型的“上下文窗口”长度会带来巨大的计算和内存成本。本节将深入剖析长文本处理背后的核心限制、主流的技术解决方案，以及在实际工程中如何权衡利弊，实现高效的长文本理解。

💡 核心导读

• 成本根源：理解注意力机制的平方计算复杂度和推理时 KV 缓存的线性内存消耗，是评估长文本处理方案的起点。
• 技术路线：掌握从低成本的“位置编码外推/插值”，到结构化的“稀疏/滑窗注意力”，再到“检索式外挂（RAG）”这三条主要技术路径的机制与代价。
• 评估关键：长文本能力的核心不是“能否塞进去”，而是“能否用得上”。学习通过位置鲁棒性、干扰鲁棒性等自测方法评估模型的长文本理解质量。
• 工程实践：了解当前工程实践中“分块+检索+重排+少量长上下文”的组合策略，学会根据任务特性选择最经济的解决方案。

一、窗口长不长，卡在两件事上

要让模型处理更长的文本，我们首先需要理解限制窗口长度的两个根本性瓶颈：计算复杂度和内存占用。这两个瓶颈都源于 Transformer 架构的核心——注意力机制。

1. 注意力是平方的

在标准的自注意力机制中，为了计算序列中每个 token 与其他所有 token 的关联程度，需要生成一个注意力分数矩阵。对于一个长度为 n 的序列，这个矩阵的大小是 n × n。

这意味着，序列长度 n 翻倍，需要存储和计算的注意力分数数量会变为原来的 4 倍（平方关系）。序列长度变为原来的 4 倍，矩阵大小则变为原来的 16 倍。

我们可以通过一个简单的计算来感受这种增长：

• 当上下文长度 n = 1024 时，注意力分数矩阵包含 1024 × 1024 = 1,048,576 个数值。
• 当 n = 2048 时，矩阵包含 4,194,304 个数值。
• 当 n = 4096 时，矩阵包含 16,777,216 个数值。

这种平方级的增长使得直接处理超长序列（例如数万甚至数十万 token）在计算上变得极其昂贵。

2. 推理时的 KV Cache 是线性的，但绑定批量

在模型进行自回归生成（如对话、续写）时，为了避免对已生成 token 的键（Key）和值（Value）进行重复计算，通常会将它们缓存起来，这就是 KV Cache。

KV Cache 的内存占用是线性的，但其公式中的多个因子共同决定了实际消耗的巨大规模。占用公式如下：

$$\text{KV 字节} = 2 \text{ (K与V)} \times \text{层数 } L \times \text{隐层维度 } d \times \text{序列长度 } n \times \text{批量 } b \times \text{每个数值的字节数}$$

让我们代入一组示例参数来感受一下：

• 假设模型层数 L=32，隐层维度 d=4096，当前序列长度 n=8192，批量大小 b=1，使用半精度浮点数（fp16，每个数值占 2 字节）。
• 计算：2 × 32 × 4096 × 8192 × 1 × 2 = 4,294,967,296 字节 ≈ 4 GiB。

这个计算结果揭示了一个关键事实：仅处理一个请求、维持 8K 的上下文，光 KV 缓存就可能消耗掉 4 GiB 的显存。这解释了为什么支持更长上下文的模型往往意味着更高的硬件门槛，或者在并发处理时需要降低精度、分块处理以节省内存。

从这个公式我们还能读出更多工程权衡：

• 序列长度 n 和批量大小 b：两者翻倍，缓存占用各翻一倍。
• 精度：如果将精度从 fp16（2字节）降至 int8（1字节），缓存占用可以直接减半。这就是工程上常见的“用量化换长度”策略。

二、窗口怎么被“拉长”

面对上述瓶颈，研究者们发展出了三条主要的技术路线来扩展上下文窗口，它们按照对模型改动和计算代价从低到高排列。

1. 位置编码外推 / 插值

Transformer 本身不具备感知 token 位置的能力，需要依靠位置编码（Positional Encoding）。模型在训练时只见过有限长度（如 2048）内的位置编码。当输入序列超过这个长度时，直接使用会导致模型“位置错乱”，性能急剧下降。

核心思路：对位置索引进行数学变换，使其能适配更长的序列。

• 线性插值（Linear Interpolation）：将超出训练长度的位置索引按比例压缩回训练范围内。例如，将位置 3000 映射为 1500。
• NTK-aware 插值：一种更精细的方法，对不同频率的 sinusoidal 位置编码分量进行不同程度的缩放，以更好地保持相对位置关系。
• 旋转位置编码（RoPE）的外推：RoPE 通过旋转角来表示位置。外推时，可以调整旋转角随距离变化的公式，使其能表示更长的距离。

代价与局限：这类方法几乎不改变模型结构，代价最低。但单纯的外推或插值通常会导致中远距离的注意力精度下降。为了校准性能，通常需要在少量长文本数据上进行继续训练（continual pre-training）。

2. 稀疏 / 滑窗 / 分块注意力

既然平方复杂度的根源在于“每个 token 要看所有 token”，那么一个直接的思路就是限制每个 token 能“看到”的范围。

核心思路：设计注意力模式，将全局的、稠密的注意力矩阵变为局部的、稀疏的。

• 滑动窗口注意力（Sliding Window）：每个 token 只关注其前后固定窗口内的 token。复杂度从 $O(n^2)$ 降为 $O(n \times w)$，其中 w 是窗口大小。
• 分块注意力（Blockwise）：将序列分成块，块内做全连接注意力，块与块之间通过少量“全局 token”或跨块连接来传递信息（如 Longformer 的全局 token）。
• 固定稀疏模式（Strided / Fixed）：按固定步长或固定规则挑选要关注的 token（如 Sparse Transformer 的跨步模式），而不是随机挑——随机模式在实现上难以与硬件高效配合，也会让”该看的地方”变得不可控。

代价与局限：这类方法能显著降低计算复杂度，实现近似线性的增长。但其代价是可能丢失长程依赖信息。设计不佳的稀疏模式可能导致关键信息无法在需要时被模型获取，需要精心设计全局连接或信息传递机制。

3. 检索式外挂（RAG）

前两种方法试图让模型“直接看”更长的文本。而 RAG（Retrieval-Augmented Generation）换了一种思路：不让模型一次性看完所有材料，而是先从一个外部知识库中检索出与当前问题最相关的几段文本，再将它们拼接到提示中送给模型。

核心思路：“按需取用”，而非“全部加载”。

• 流程：用户查询 → 检索器从文档库中查找相关片段 → 将片段与查询拼接成提示 → 模型生成答案。
• 优势：上下文窗口只需容纳检索到的相关片段，通常很短，完全避开了平方复杂度和巨大的 KV 缓存问题。知识更新也只需更新检索库，无需重新训练模型。

定位：RAG 是一条独立且强大的技术路线，与后面「语义检索与向量库实战」「RAG 知识库问答」两节直接衔接。本节只讲它作为长文本方案的「为什么」，建库、召回、重排与拼装留给那两节，避免越界重讲。

三、长文本真正难的地方：不是塞得进去，是“用得上”

即使通过技术手段将长文本塞进了模型的上下文窗口，我们还会面临一个更微妙的问题：模型是否真的有效利用了中间部分的信息？工程实践和评测中普遍观察到一个现象：模型对开头和结尾的信息利用度，通常高于中间部分。

• 现象层：在超长上下文中，位于文档开头（可能是系统指令）和结尾（最近输入）的信息更容易被模型捕捉并用于生成答案。中间部分的信息存在被“忽略”或“稀释”的风险。
• 机制层：
  1. 注意力稀释：在超长序列中，真正相关的信息 token 被大量无关 token 包围，其获得的注意力权重被严重稀释。
  2. 训练分布偏差：在常见的训练数据（如对话、文档续写）中，查询与答案证据在位置上的关联模式可能更倾向于“就近匹配”，导致模型不擅长从长序列中部提取信息。
• 实践建议：基于此现象，一个有效的经验法则是 “把最关键的要求和指令放在提示的最前面或最后面”。

我们可以通过一个简单的自测方法来验证模型的长文本利用能力：

位置敏感性测试：准备一个需要特定信息才能回答的问题。制作三个版本的提示：

1. 关键证据放在提示开头。
2. 关键证据放在提示正中间。
3. 关键证据放在提示末尾。 观察模型对这三个提示给出的答案是否一致且正确。如果放在中间时答案质量下降，则说明模型存在位置利用不均的问题。

四、评估长文本能力的四条自测

除了依赖外部榜单，我们可以通过以下四种自测方法，定性评估一个模型或系统处理长文本的真实能力：

1. 位置鲁棒性（Positional Robustness）：如上所述，改变关键信息在上下文中的位置，检查模型答案的正确率是否保持稳定。
2. 干扰鲁棒性（Distraction Robustness）：在上下文中插入大量与问题相似但无关的干扰性段落，测试模型是否会被“带偏”，能否依然精准定位到真正的证据。
3. 多跳推理（Multi-hop Reasoning）：设计一个问题，其答案需要综合上下文窗口中两个以上且不相邻的段落信息才能推导出来。测试模型能否完成这种跨段落的“跳跃”和逻辑连接。
4. 长度-延迟曲线（Length-Latency Curve）：对于同一个请求，分别测试其在 1/4 窗口、1/2 窗口和满窗口下的性能。重点关注“首 Token 延迟”和“总生成耗时”，观察其增长趋势是否接近理论上的平方或线性关系，从而评估系统的工程效率。

五、今天怎么做

在当前的技术和工程条件下，处理长文本的普遍策略是 “组合拳”，而非单一地追求无限大的上下文窗口。

• 主流工程模式：分块（Chunking） + 检索（Retrieval） + 重排（Re-ranking） + 适量长上下文。
  • 先将长文档分割成语义块。
  • 根据用户查询，使用检索模型找到最相关的若干个块。
  • 可选地，对检索结果进行重排，选出质量最高的片段。
  • 最后，将这些精选的片段（总长度在模型高效处理范围内）送入一个具备一定长上下文能力的模型进行最终生成。
• 超长窗口的应用场景：主要用于那些必须整篇、按顺序阅读的任务，例如：
  • 长文档问答（需理解全文结构）。
  • 代码库分析（需理解跨文件的依赖）。
  • 对超长单一样本（如一本小说）进行摘要或分析。

选型决策的关键问题：在面对一个长文本任务时，首先问自己：“这个任务能否通过检索相关片段来解决？” 如果答案是肯定的，那么优先考虑基于 RAG 的架构，避免为处理整个长文档支付平方级的计算成本。只有当任务本质上需要全局的、序列性的理解时，才考虑采用或定制超长上下文窗口的模型。

延伸阅读

1. Attention Is All You Need（Vaswani et al., 2017, arXiv:1706.03762）：Transformer 架构的奠基论文，引入了自注意力机制。
2. RoFormer: Enhanced Transformer with Rotary Position Embedding（Su et al., 2021, arXiv:2104.09864）：提出了旋转位置编码（RoPE），其外推性质被后续许多长上下文模型利用。
3. Longformer: The Long-Document Transformer（Beltagy et al., 2020, arXiv:2004.05150）：结合滑动窗口注意力和全局注意力的早期高效长文本 Transformer 模型。
4. Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks（Lewis et al., 2020, arXiv:2005.11401）：提出了 RAG 框架，将检索与生成相结合。

📝 动手练一练

1. 概念辨析：位置编码插值（Interpolation）和外推（Extrapolation）在处理长文本时的主要区别是什么？哪种方法通常需要后续的继续训练来校准性能？

2. 成本估算：假设一个推理场景，使用 fp16 精度，模型层数 L=40，隐层维度 d=5120，批量大小 b=2。请计算当序列长度 n 从 4096 增加到 16384 时，KV Cache 的显存占用（以 GiB 为单位）增加了多少倍？并写出计算过程。

# 验证计算
L = 40
d = 5120
b = 2
bytes_per_value = 2

n1 = 4096
kv_bytes_1 = 2 * L * d * n1 * b * bytes_per_value
kv_gib_1 = kv_bytes_1 / (1024**3)

n2 = 16384
kv_bytes_2 = 2 * L * d * n2 * b * bytes_per_value
kv_gib_2 = kv_bytes_2 / (1024**3)

increase_ratio = kv_gib_2 / kv_gib_1

print(f"n=4096 时 KV Cache 占用: {kv_gib_1:.2f} GiB")
print(f"n=16384时 KV Cache 占用: {kv_gib_2:.2f} GiB")
print(f"占用增加倍数: {increase_ratio:.1f}")

n=4096 时 KV Cache 占用: 6.25 GiB
n=16384时 KV Cache 占用: 25.00 GiB
占用增加倍数: 4.0

本章小结

本节我们深入探讨了大语言模型处理长文本所面临的挑战与解决方案。核心在于理解注意力机制带来的平方计算复杂度和 KV Cache 带来的线性内存增长，这是所有扩展方案的出发点。我们学习了三条主要技术路径：低成本但需校准的位置编码插值/外推、能降低复杂度但可能损失信息的稀疏注意力、以及另辟蹊径的检索增强生成（RAG）。更重要的是，我们认识到长文本处理的难点在于模型对信息的有效利用，并学习了通过位置鲁棒性、多跳推理等方法来评估这一能力。最终，现代工程实践倾向于采用分块、检索与适量长上下文模型结合的混合策略，以实现效率与效果的最佳平衡。

📋 行动清单

• 理清瓶颈：能清晰解释注意力平方复杂度和 KV Cache 线性内存公式对长文本处理的限制。
• 对比方案：能简述位置编码外推、稀疏注意力和 RAG 三种方案的核心思想与优缺点。
• 设计测试：针对一个长文本问答场景，能设计一个简单的“位置鲁棒性”测试来验证模型能力。

—— 小象教研组