《深度学习基础：从神经网络到 Transformer》是一门面向零基础到进阶的系统图文课，用 9 章 40 节把深度学习的核心思想、经典模型与工程实践串成一条完整主线。课程从张量、自动微分与反向传播讲起，逐步推进到卷积网络、序列模型、Transformer、预训练范式与生成模型，最后落到 PyTorch 2.x 训练、混合精度、实验管理与推理部署。每节都配有可复制运行的代码与带折叠答案的练习，强调“先懂直觉、再推公式、最后动手”，帮助你建立能迁移到真实项目的深度学习能力。
课程大纲
共 40 节，按建议顺序学习。
- 01从规则到学习：深度学习解决什么问题为什么手工写规则走不通？ 小象实战讲义 · 深度学习基础：从神经网络到 Transformer 在编程与数学基础之上，我们即将踏入深度学习的世界。第一课，我们不急于跳入公式和代码，而要回答一个根本问题
- 02表示学习与端到端训练表示学习与端到端训练：深度学习如何自动抽取特征？ 小象实战讲义 · 深度学习基础：从神经网络到 Transformer 在上一节，我们了解了深度学习的宏观图景。本节我们将深入其核心机制：表示学习与端到
- 03张量、计算图与自动微分张量、计算图与自动微分：深度学习如何自动求导？ 小象实战讲义 · 深度学习基础：从神经网络到 Transformer 在上一节，我们了解了深度学习的基本概念和发展脉络。现在，我们将直面其核心的工程实现
- 04训练三要素：数据、模型、目标函数训练三要素：数据、模型、目标函数 小象实战讲义 · 深度学习基础：从神经网络到 Transformer 在上一节，我们了解了深度学习的基本概念和发展脉络。从本节开始，我们将进入实战环节。任何深度学习任
- 05从感知机到多层感知机从感知机到多层感知机：神经网络如何学会分类？ 小象实战讲义 · 深度学习基础：从神经网络到 Transformer 学完本节，你将能回答：一个最简单的神经元（感知机）是如何工作的？为什么单个感知机无法
- 06反向传播：手推一个两层网络反向传播到底在反什么？ 小象实战讲义 · 深度学习基础：从神经网络到 Transformer 上一节我们把神经网络拆成了「线性变换 + 激活函数」的堆叠，并知道训练就是在梯度下降的方向上一步步挪动参数
- 07激活函数与初始化激活函数：从 Sigmoid 到 GELU，非线性如何驱动深度学习？ 小象实战讲义 · 深度学习基础：从神经网络到 Transformer 在上一节，我们学习了神经元的基本结构和前向传播过程。一个关键
- 08优化器：SGD → Momentum → Adam优化器：从 SGD 到 Adam，梯度下降如何“聪明”起来？ 小象实战讲义 · 深度学习基础：从神经网络到 Transformer 在上一节，我们掌握了反向传播算法，它能高效地计算出神经网络中每个参数
- 09正则化：权重衰减、Dropout、BN/LN正则化：权重衰减、Dropout、BN/LN 小象实战讲义 · 深度学习基础：从神经网络到 Transformer 神经网络拥有强大的拟合能力，但这也是一把双刃剑。当模型过于复杂而数据不足时，它会“记
- 10卷积的直觉与参数共享卷积的直觉与参数共享 小象实战讲义 · 深度学习基础：从神经网络到 Transformer 在上一节，我们掌握了用全连接网络处理向量数据。但面对图像这类高维、结构化的数据，全连接网络会因参数爆炸而失效
- 11池化、感受野与下采样池化、感受野与下采样：为什么卷积网络需要“降维”？ 小象实战讲义 · 深度学习基础：从神经网络到 Transformer 上一节我们学习了卷积操作，它通过局部连接和权值共享，从图像中提取了丰富的局部特
- 12经典网络演进：LeNet → AlexNet → VGG → ResNet卷积网络如何越变越深？从 LeNet 到 ResNet 的演进逻辑 小象实战讲义 · 深度学习基础：从神经网络到 Transformer 学完本节，你将能清晰地回答：为什么深度卷积网络会从 LeNet
- 13残差连接与归一化为什么有效残差连接与归一化为什么有效？ 小象实战讲义 · 深度学习基础：从神经网络到 Transformer 在上一节，我们学习了卷积神经网络的基本结构，并看到了VGG等网络通过堆叠卷积层来增加深度。然而，简单
- 14迁移学习与特征可视化迁移学习与特征可视化：卷积网络到底学到了什么？ 小象实战讲义 · 深度学习基础：从神经网络到 Transformer 学完本讲，你将能回答：一个在 ImageNet 上预训练好的卷积网络，其内部特征图
- 15RNN 与 BPTTRNN 如何捕捉序列信息？—— 循环神经网络与 BPTT 算法详解 小象实战讲义 · 深度学习基础：从神经网络到 Transformer 在前几节中，我们学习了处理空间结构数据（如图像）的卷积神经网络
- 16LSTM/GRU：门控如何缓解梯度问题LSTM/GRU：门控如何缓解梯度问题？ 小象实战讲义 · 深度学习基础：从神经网络到 Transformer 上一节我们学习了循环神经网络（RNN）的基本结构，它通过引入循环连接，让网络具备了处理序
- 17Seq2Seq 与编码器-解码器Seq2Seq 与编码器-解码器：如何让神经网络学会“翻译”？ 小象实战讲义 · 深度学习基础：从神经网络到 Transformer 在上一节，我们学习了循环神经网络（RNN）及其变种LSTM，它们擅
- 18注意力前史：Bahdanau 加性注意力注意力前史：Bahdanau 加性注意力 小象实战讲义 · 深度学习基础：从神经网络到 Transformer 在上一节，我们学习了循环神经网络（RNN）如何通过隐藏状态处理序列。但 RNN 在处理长
- 19Self-Attention：QKV 与缩放点积注意力为什么除以 d k \sqrt{dk} d k ？ 小象实战讲义 · 深度学习基础：从神经网络到 Transformer 上一章的 RNN 有个硬约束：第 t t t 步必须等第 t −
- 20多头注意力：并行的多种关系多头注意力：并行的多种关系 小象实战讲义 · 深度学习基础：从神经网络到 Transformer 在上一节，我们学习了注意力机制的核心思想：通过查询（Query）、键（Key）、值（Value）的交互
- 21位置编码：正弦与可学习位置编码：正弦与可学习 小象实战讲义 · 深度学习基础：从神经网络到 Transformer 上一节我们把单个注意力头扩成了多头，但所有头加起来仍然只做一件事：拿内容去和内容比。这带来一个问题——自注
- 22残差、LayerNorm 与前馈层残差、LayerNorm 与前馈层：Transformer 的稳定器 小象实战讲义 · 深度学习基础：从神经网络到 Transformer 在上一节，我们学习了 Transformer 的核心机制——
- 23从零实现一个最小 Transformer block一个 Transformer block 最少要几个零件？ 小象实战讲义 · 深度学习基础：从神经网络到 Transformer 前四节我们拆出了注意力、多头、位置编码、残差与 LayerNorm 这
- 24训练稳定性、复杂度与常见误区训练稳定性、复杂度与常见误区 小象实战讲义 · 深度学习基础：从神经网络到 Transformer 在掌握了 Transformer 模型的核心组件——注意力机制、多头注意力、前馈网络和位置编码——之
- 25自监督与语言建模目标自监督与语言建模目标：填空与续写 小象实战讲义 · 深度学习基础：从神经网络到 Transformer 上一章我们把 Transformer 的零件拼齐了。这一章换个问法：没有人工标注的数据，模型靠什
- 26BERT：掩码语言模型与双向编码BERT：掩码语言模型与双向编码 小象实战讲义 · 深度学习基础：从神经网络到 Transformer 上一节我们厘清了自监督与两种语言建模目标，这一节深入这条线的里程碑——BERT。它用一个巧妙的预
- 27GPT：自回归生成与缩放定律GPT：自回归生成与缩放定律 小象实战讲义 · 深度学习基础：从神经网络到 Transformer 在掌握了 Transformer 架构和预训练的基本概念后，我们面临一个核心问题：如何利用 Tran
- 28指令微调与对齐：SFT → RLHF/DPO指令微调与对齐：SFT → RLHF/DPO 小象实战讲义 · 深度学习基础：从神经网络到 Transformer 预训练出来的模型只会“接龙”，不会“听话”。本节拆解让模型对齐人类意图的三段路：监督
- 29参数高效微调：LoRA 与适配器参数高效微调：LoRA 与适配器 小象实战讲义 · 深度学习基础：从神经网络到 Transformer 全参数微调一个 1750 亿参数的模型，每个任务都要存一份完整副本——这条路在工程上走不通。本节
- 30自编码器与 VAE自编码器与 VAE 小象实战讲义 · 深度学习基础：从神经网络到 Transformer 上一章我们让模型学会“读”和“接龙”，这一章换个方向：让模型学会造。生成模型的第一站是自编码器——它用“压缩再
- 31GAN：对抗训练与模式崩塌GAN：对抗训练与模式崩塌 小象实战讲义 · 深度学习基础：从神经网络到 Transformer 上一节的 VAE 用“重建 + KL”把生成过程变成了概率建模。这一节换一条完全不同的路：不建模分布，
- 32扩散模型：前向加噪与反向去噪扩散模型：前向加噪与反向去噪 小象实战讲义 · 深度学习基础：从神经网络到 Transformer 学完本节，你将能回答：扩散模型是如何通过一个逐步加噪的前向过程破坏数据，再训练一个神经网络去学习反向
- 33扩散模型的应用与采样加速扩散模型的应用与采样加速 小象实战讲义 · 深度学习基础：从神经网络到 Transformer 学完本节，你将能回答：扩散模型在生成高分辨率图像时为何计算成本高昂？Latent Diffusion M
- 34对比学习与 CLIP对比学习与 CLIP 小象实战讲义 · 深度学习基础：从神经网络到 Transformer 学完本节，你将能回答：为什么仅通过判断“图片和文字是否匹配”就能训练出强大的图像分类器？CLIP 如何实现“
- 35ViT：把图像当序列ViT：把图像当序列 小象实战讲义 · 深度学习基础：从神经网络到 Transformer 上一节的 CLIP 用对比学习把图像和文本拉进同一个表征空间，但它用的图像编码器仍是 ResNet。这一节换
- 36多模态架构：对齐、融合与生成多模态架构：对齐、融合与生成 小象实战讲义 · 深度学习基础：从神经网络到 Transformer 第 8 章前两节分别看了 CLIP 的对比对齐与 ViT 的图像编码，这一节把两者拼起来：多模态架构
- 37能力边界、幻觉与评测能力边界、幻觉与评测 小象实战讲义 · 深度学习基础：从神经网络到 Transformer 学完本节，你将能回答：为什么看似强大的大语言模型会“一本正经地胡说八道”？怎么量化评估一个模型，而不是凭感觉
- 38PyTorch 2.x 训练循环与混合精度PyTorch 2.x 训练循环与混合精度 小象实战讲义 · 深度学习基础：从神经网络到 Transformer 模型结构讲完，最后一步是把它们真正训练出来。本节讲 PyTorch 2.x 的训练循环
- 39实验管理、评测与复现实验管理、评测与复现 小象实战讲义 · 深度学习基础：从神经网络到 Transformer 模型跑通只是起点。当你要调超参、比模型、换随机种子重跑时，真正麻烦的是：配置记不全、指标对不上、结果复现不出
- 40推理部署与成本：量化/蒸馏概览推理部署与成本：量化/蒸馏概览 小象实战讲义 · 深度学习基础：从神经网络到 Transformer 训练好的模型怎么塞进手机、又怎么在高并发服务器上省钱？本节讲两条互补路线：量化把权重和激活从 fp
课程要收费吗？
本课程免费，无有效期限制，学完为止，视频、讲义、代码与作业配套开放。企业内训为定制付费服务，如有团队培训需求可查看企业内训。
同主题课程
主题内继续学
机器学习算法精讲
从数学基础（线性代数/概率）到经典监督模型（KNN/朴素贝叶斯/决策树/GBDT/逻辑回归）、SVM 与核方法、统计学习（EM/GMM/HMM/主题模型）、无监督学习（聚类/PCA/t-SNE）、高斯过程，再到神经网络与强化学习，全部算法以纯 Python 标准库手写实现，20 章 82 节贯通机器学习的数学推导与代码落地。
机器学习 · 82 节免费
特征工程精讲与实践
从数据探索、缺失值与异常值处理、缩放与变换、离散化与编码，到特征构建与衍生、特征选择与降维、特征监控与数据漂移检测，再到电商销量预测综合实战——8 章 35 节体系化讲透特征工程，全部代码在最新锁定环境实跑验证，图文讲义独立完整交付。
机器学习 · 35 节免费
免费