GPT-1 到 GPT-4 的演进

小象实战讲义 · 自然语言处理

在掌握了 Transformer 架构和 BERT 等预训练模型后，我们自然要追问：那条专注于生成任务的预训练路径是如何发展的？本节将系统梳理 OpenAI GPT 系列模型的演进脉络，从开创性的两阶段预训练微调范式，到无需微调的提示与上下文学习，再到多模态与黑箱化的现代大模型。理解这条路径，能帮助我们看清自然语言处理如何从依赖任务标注数据，走向依赖大规模预训练与提示工程。

💡 核心导读

• GPT-1：确立了“无监督预训练 + 有监督微调”的两阶段范式，证明了预训练知识的可迁移性。
• GPT-2：提出“语言模型即多任务学习者”，探索仅通过提示（Prompt）进行零样本（Zero-shot）推理，无需微调。
• GPT-3：系统化“上下文学习”（In-context Learning），模型仅通过前向推理，利用提示中的少量示例（Few-shot）即可完成任务。
• GPT-4：迈向多模态输入（图像与文本），技术细节转为黑箱，报告重点转向能力评估与安全对齐。

演进主线：从微调到提示，再到黑箱

GPT 系列的演进，清晰地反映了自然语言处理范式的变迁。我们可以从三个维度来把握这条主线：

共同趋势是：下游任务所需的标注数据越来越少，对预训练模型规模、提示工程和上下文学习能力的依赖越来越大。

逐代详解：一手报告中的关键设计

GPT-1：两阶段范式的确立

GPT-1 的贡献在于系统性地验证并工程化了生成式预训练的有效性 (Improving Language Understanding by Generative Pre-Training, Radford et al., 2018，官方PDF)。

• 模型结构：采用12层Decoder-only的Transformer架构，隐层维度768，12个注意力头，参数总量约1.17亿（报告值）。
• 预训练数据：使用BooksCorpus数据集，包含约7,000本未出版书籍的文本。
• 核心流程：
  1. 无监督预训练：标准语言模型目标，最大化序列的似然概率。
  2. 有监督微调：将下游任务（如分类、蕴含、相似度）的输入改写成单一的token序列（使用[START], [DELIM], [EXTRACT]等特殊token分隔），模型在任务数据上继续训练。微调目标函数为 $L_{\text{task}} + 0.5 \cdot L_{\text{LM}}$，即任务损失加上一个辅助的语言模型损失，以防止灾难性遗忘。
• 意义：在12个评测任务中的9个取得了当时的最优结果，证明了基于Transformer的生成式预训练是一种强大的通用文本表示学习方法。

GPT-2：零样本任务执行的探索

GPT-2 的核心主张是：一个足够强大的语言模型，无需微调就能通过理解任务描述（提示）来执行多种任务 (Language Models are Unsupervised Multitask Learners, Radford et al., 2019，官方PDF)。

• 模型规模：最大版本拥有15.42亿参数（报告值），48层，隐层维度1600，使用50,257大小的BPE词表，上下文窗口为1024个token。
• 核心思想：零样本（Zero-shot）学习。例如，将翻译任务提示写成“translate English to French: cheese =>”，让模型直接续写“fromage”。模型在训练时见过大量互联网文本中自然存在的“任务描述-结果”模式，从而学会了在推理时执行任务。
• 重要影响：论文明确讨论了模型能力可能被双用途（Dual Use）的问题，因此采取了分阶段发布的策略。这标志着大模型的社会影响开始进入研究者的核心考量。

顺手算一笔参数账，看看「词表」和「上下文」这两个数字到底意味着什么（只用乘法和百分比，不涉及任何训练）：

import numpy as np

vocab, d_model = 50257, 1600
emb_params = vocab * d_model
print(f"词表嵌入参数量 = {emb_params:,} ≈ {emb_params/1e6:.2f}M")
print(f"占 GPT-2 最大版 1.542B 的比例 = {emb_params/1.542e9:.2%}")

for ctx in (1024, 2048, 4096):
    scores = ctx * ctx
    print(f"上下文 {ctx:>4} → 单层单头注意力分数矩阵 {scores:,} 个数，是 1024 时的 {scores/1024**2:.0f} 倍")

词表嵌入参数量 = 80,411,200 ≈ 80.41M
占 GPT-2 最大版 1.542B 的比例 = 5.21%
上下文 1024 → 单层单头注意力分数矩阵 1,048,576 个数，是 1024 时的 1 倍
上下文 2048 → 单层单头注意力分数矩阵 4,194,304 个数，是 1024 时的 4 倍
上下文 4096 → 单层单头注意力分数矩阵 16,777,216 个数，是 1024 时的 16 倍

两行读数各有用途：① 光词表嵌入就吃掉 5.21% 的参数，所以后面讲义讲「词表大小」时不能当成无关紧要的一个数；② 上下文从 1024 翻到 4096 是 4 倍长度，但注意力分数矩阵涨了 16 倍——长度线性、成本平方，这就是长上下文要额外做工程（如分块、稀疏注意力、位置外推）的原因。

GPT-3：上下文学习的系统化

GPT-3 在结构上没有革命性改动，其真正的贡献是将 上下文学习（In-context Learning） 作为一种可靠的能力进行了系统性探索和展示 (Language Models are Few-Shot Learners, Brown et al., 2020，arXiv:2005.14165)。

• 模型规模：参数量达到1750亿（报告值）。论文用规模-性能曲线呈现「参数越大、同样设置下分数越高」这一规律（scaling law 的提法出自同期另一篇专门研究，见论文引用）；把它当成「规模一涨就自动出现新能力」的涌现叙事，是后来才流行起来的解读，本节不作此断言。
• 三种推理设置：
  1. Zero-shot：仅给出任务指令。
  2. One-shot：给出指令和一个示例。
  3. Few-shot：给出指令和少量（通常10-100个）示例。
• 关键澄清：上下文学习不是微调。模型参数在整个过程中完全冻结，仅通过一次前向传播，利用注意力机制将提示中的示例作为“临时工作记忆”来指导对当前问题的回答。这是一种基于推理的元学习。
• 结果：在众多任务上，GPT-3的Few-shot性能接近甚至超过了需要大量任务特定数据微调的模型基线。

GPT-4：多模态与黑箱时代

GPT-4 报告标志着大模型开发从“可复现的研究”向“黑箱化的产品”的转变 (GPT-4 Technical Report, OpenAI, 2023，arXiv:2303.08774)。

• 最直观的革新：支持多模态输入，能够同时处理图像和文本，并基于此生成文本输出。这超越了纯文本语言模型的范畴。
• 最大的变化：技术细节的隐匿。报告开篇即声明：“鉴于竞争格局和安全影响，本报告不包含关于架构（包括模型大小）、硬件、训练计算、数据集构建、训练方法等的进一步细节。” 因此：
  • 任何关于GPT-4具体参数量、层数、训练数据量的数字都属于猜测，不应在讲义中引用。
  • 报告重点转向对模型能力的广泛评估（尤其在专业和学术考试上的表现）以及对齐（Alignment）与安全性的讨论（配套的 System Card 文档详细记录了红队测试和风险缓解措施）。
• 意义：GPT-4的报告更像一份产品能力说明书和安全白皮书，而非可供学术界复现的技术论文。这提醒我们，学习此类报告的目标是理解模型的能力边界和产业界的安全评估方法，而非其实现细节。

演进背后的轴线

1. 范式轴：全参数微调 → 零样本提示 → 上下文学习 → 多模态对齐。这条轴线反映了人机交互方式的根本变化：机器越来越擅长理解人的意图（通过自然语言提示），而人需要提供的任务特异性信息越来越少。
2. 规模轴：1.17亿 → 15.42亿 → 1750亿 → 不披露。规模扩大是能力提升的关键驱动力，但GPT-4对规模的保密也表明，规模优势本身已成为企业的核心壁垒。
3. 透明度轴：完整的技术论文 → 保留部分细节的论文 → 侧重能力评估的报告。透明度降低是产业竞争与安全顾虑下的必然结果，也促使开源社区（如LLaMA系列）发展出另一条可复现、可研究的路径。

今天怎么做：预训练、对齐与增强

GPT系列的演进指明了当代大语言模型发展的核心范式：“预训练 + 对齐 + 工具/检索增强”。

• 预训练：在海量文本（和多模态）数据上训练一个基础语言模型，获得通用知识和能力。
• 对齐：通过指令微调（Instruction Tuning）和基于人类反馈的强化学习（RLHF）等技术，使模型行为与人类价值观和意图对齐。这将在下一节详细讨论。
• 增强：通过检索增强生成（RAG）为模型接入外部知识库，或通过函数调用（Function Calling）让模型使用外部工具，以克服其固有缺陷（如知识过时、幻觉等）。这将在第11、12章的实战中涉及。

本节作为演进历史的梳理，旨在帮助大家建立清晰的坐标系，理解当前各种大模型技术所处的历史位置。

📝 动手练一练

1. 概念辨析：请简述 GPT-3 的“Few-shot 上下文学习”与传统的“有监督微调”最根本的区别是什么？

2. 报告理解：为什么在撰写关于 GPT-4 的技术内容时，我们不能引用其具体的参数量或层数？

延伸阅读

1. Improving Language Understanding by Generative Pre-Training (Radford et al., 2018) – 官方PDF
2. Language Models are Unsupervised Multitask Learners (Radford et al., 2019) – 官方PDF
3. Language Models are Few-Shot Learners (Brown et al., 2020) – arXiv:2005.14165
4. GPT-4 Technical Report (OpenAI, 2023) – arXiv:2303.08774
5. GPT-4 System Card (OpenAI, 2023) – 官方PDF

本章小结

本节我们追溯了 GPT 系列模型从 1 到 4 的演进历程，这条路径清晰地展示了自然语言处理如何从依赖任务微调，走向依赖大规模预训练、提示工程和上下文学习。GPT-1 确立了预训练-微调范式；GPT-2 探索了零样本提示的潜力；GPT-3 将上下文学习能力推向主流；GPT-4 则开启了多模态与黑箱化的产品新时代。理解这一演进，是理解当前大模型生态的基础。

📋 行动清单

• 能够清晰阐述 GPT-1, GPT-2, GPT-3 各自解决的核心问题与采用的关键技术。
• 理解“上下文学习”与“微调”的本质区别，并能向他人解释。
• 认识到 GPT-4 技术报告的特点（重能力评估与安全，轻技术细节），并以此为例思考大模型时代技术透明度的变化。

—— 小象教研组