《自然语言处理》是一门面向有 Python 与机器学习基础学习者的系统图文课，用 12 章 69 节把 NLP 的核心思想、经典模型与现代大模型范式串成一条完整主线。课程从语言、信息与统计直觉讲起，依次推进概率与统计基础、语言模型与中文分词、词表示与词向量、序列标注与隐变量模型、概率图与主题模型、句法与机器翻译，再到神经网络与文本建模、注意力与 Transformer，继而覆盖预训练与大模型（BERT/GPT、指令微调、分词器、上下文窗口与成本边界），最后落到文本分类、命名实体识别、生成摘要、语义检索与 RAG 知识库问答等应用实战，以及评估指标、幻觉与展望。每节配有可复制运行的最小代码与带折叠答案的练习，强调“先懂直觉、再推公式、最后动手”，与机器学习、深度学习、计算机视觉、知识图谱等既有课程互链不重复。
课程大纲
共 69 节，按建议顺序学习。
- 01NLP 的研究领域、应用与学习路径NLP 的研究领域、应用与学习路径 小象实战讲义 · 自然语言处理 欢迎来到《自然语言处理》课程的第一节。本节我们将开启一段探索语言与智能奥秘的旅程。对于已具备 Python 与机器学习基础的你，本节
- 02自然语言的基本术语自然语言的基本术语 小象实战讲义 · 自然语言处理 在开始系统学习自然语言处理（NLP）之前，我们需要建立一套共同的语言。自然语言本身具有复杂的结构，从最基础的词到完整的句子，再到其背后的含义，每个层
- 03信息论基础：信息熵与交叉熵信息论基础：信息熵与交叉熵 小象实战讲义 · 自然语言处理 信息论是自然语言处理乃至整个机器学习领域的数学基石之一。它为我们提供了一套严谨的数学工具，用以量化“信息”本身，并衡量概率分布之间的差异。本
- 04语言的进化与语义变迁语言的进化与语义变迁 小象实战讲义 · 自然语言处理 语言并非一成不变的化石，而是随着社会使用、技术进步和文化演变而不断进化的活体。理解语言的动态性，对于我们构建能够处理真实、多变文本的自然语言处理系
- 05主观概率、客观概率与条件概率主观概率、客观概率与条件概率 小象实战讲义 · 自然语言处理 在自然语言处理与机器学习中，我们经常需要对不确定性进行建模和度量。概率论为我们提供了描述和推理不确定性的强大数学语言。本节将探讨概率的两种
- 06贝叶斯原理与推理贝叶斯原理与推理 小象实战讲义 · 自然语言处理 在上一节我们学习了概率论的基本概念，如条件概率和独立性。本节将聚焦于条件概率中最核心、应用最广泛的工具——贝叶斯原理。贝叶斯公式不仅是概率论的基础，更
- 07随机变量：二项式、期望方差与联合概率随机变量：二项式、期望方差与联合概率 小象实战讲义 · 自然语言处理 本节是《概率与统计基础》的核心内容，我们将从随机变量的基本概念出发，深入理解二项式分布及其与伯努利分布的关系，并掌握描述分布特性的
- 08常见概率分布常见概率分布 小象实战讲义 · 自然语言处理 在掌握了概率论的基本概念，如联合概率、条件概率和独立性之后，我们需要了解一系列刻画不同随机现象的数学模型——概率分布。本节将系统介绍自然语言处理中常用的离
- 09辛普森悖论与贝叶斯解题实例辛普森悖论与贝叶斯解题实例 小象实战讲义 · 自然语言处理 在掌握了概率论的基本概念和常用分布后，我们常常需要运用这些工具去分析和解决现实世界中的不确定性问题。本节将聚焦于两个关键主题：辛普森悖论（S
- 10语言模型：语言概率与词袋模型语言模型：语言概率与词袋模型 小象实战讲义 · 自然语言处理 欢迎来到《自然语言处理》课程的第三章。在前两章，我们探讨了自然语言处理的基本任务和挑战。从本章开始，我们将深入NLP的核心技术之一——语言
- 11n-gram 语言模型（二元 / 三元 / N-Gram）n-gram 语言模型（二元 / 三元 / N-Gram） 小象实战讲义 · 自然语言处理 在上一节，我们学习了最简单的词袋模型（Bag-of-Words），它假设句子中的词是独立出现的。然而，语言具
- 12语言模型评价：交叉熵、困惑度与插值语言模型评价：交叉熵、困惑度与插值 小象实战讲义 · 自然语言处理 在上一节中，我们学习了如何构建n-gram语言模型来估计句子出现的概率。然而，面对多种模型（如unigram, bigram, tr
- 13朴素贝叶斯文本分类：垃圾邮件朴素贝叶斯文本分类：垃圾邮件 小象实战讲义 · 自然语言处理 在上一节中，我们学习了语言模型如何描述语言的概率规律。本节我们将看到，这种概率化的思想如何直接应用于解决一个经典的文本分类问题——垃圾邮件
- 14拼写检查拼写检查 小象实战讲义 · 自然语言处理 在上一节中，我们学习了如何利用朴素贝叶斯模型进行垃圾邮件分类。本节我们将探讨一个看似不同但底层原理相通的任务：拼写检查。无论是输入法、搜索引擎还是文本编辑器，
- 15中文分词：构词法、最大匹配、最优路径与 Jieba中文分词：构词法、最大匹配、最优路径与 Jieba 小象实战讲义 · 自然语言处理 在上一节我们探讨了语言模型在拼写纠错、语音识别等任务中的核心作用。然而，当我们面对中文文本时，一个更基础、更独特的问
- 16词表示问题与语义相似度词表示问题与语义相似度 小象实战讲义 · 自然语言处理 在自然语言处理中，如何让计算机“理解”词语的含义是核心挑战。本节我们将探讨词表示（Word Representation）的基本问题，即如何将离
- 17TF-IDF 权重处理TF-IDF 权重处理 小象实战讲义 · 自然语言处理 在上一节中，我们学习了基于计数的词表示方法，它通过统计一个词在特定上下文窗口中的共现频率来构建词向量。然而，简单的计数存在一个明显问题：它平等地
- 18One-Hot 表达与词表示的局限One-Hot 表达与词表示的局限 小象实战讲义 · 自然语言处理 在自然语言处理中，如何将离散的符号（如单词）转化为计算机能够理解和计算的数学形式，是构建所有模型的第一步。本节我们将从最直观的 On
- 19Word2Vec 核心思想Word2Vec 核心思想 小象实战讲义 · 自然语言处理 在上一节，我们探讨了基于统计的共现矩阵方法（如 TF-IDF、PMI）来获取词向量。这些方法直观，但面临稀疏性和计算效率的挑战。本节我们将进
- 20Word2Vec 训练过程Word2Vec 训练过程 小象实战讲义 · 自然语言处理 在上一节我们了解了 Word2Vec 的核心思想与两种模型架构（CBOW 和 Skip-gram）。本节我们将深入 CBOW 模型的训练过程
- 21Skip-gram 模型详解Skip-gram 模型详解 小象实战讲义 · 自然语言处理 在上一节我们学习了 CBOW 模型，它通过上下文词来预测中心词。本节我们将介绍 Word2Vec 的另一种核心模型——Skip-gram。
- 22词性标注任务与标注方法（规则 + N-Gram）词性标注任务与标注方法（规则 + N-Gram） 小象实战讲义 · 自然语言处理 在上一章学习了词的向量表示后，我们开始进入自然语言处理的核心任务之一：序列标注。词性标注（Part-of-Speech
- 23EM 算法与混合模型EM 算法与混合模型 小象实战讲义 · 自然语言处理 在自然语言处理中，我们常常会遇到数据中存在“隐藏”信息的情况。例如，在词性标注中，我们能看到单词序列，但看不到每个单词对应的词性标签（隐变量）。如
- 24高斯混合模型 GMM高斯混合模型 GMM 小象实战讲义 · 自然语言处理 在上一节中，我们通过混合伯努利模型（三硬币问题）深入理解了期望最大化（EM）算法的运作机制。本节我们将探讨一个更复杂、应用更广泛的模型——高斯混合
- 25从混合模型到隐马尔可夫模型从混合模型到隐马尔可夫模型 小象实战讲义 · 自然语言处理 在上一节中，我们学习了使用 n-gram 模型进行词性标注，但这种方法仅考虑了词性标签之间的序列关系，忽略了词语本身与词性之间的关联。为了同
- 26隐马尔可夫模型（HMM）推导与维特比解码隐马尔可夫模型（HMM）推导与维特比解码 小象实战讲义 · 自然语言处理 在上一节中，我们引入了隐马尔可夫模型（HMM）作为词性标注问题的概率框架。本节我们将深入HMM的数学核心，理解其如何从一个动态
- 27线性链条件随机场 CRF线性链条件随机场 CRF 小象实战讲义 · 自然语言处理 在上一节，我们学习了隐马尔可夫模型（HMM），它通过建模状态序列的联合概率 p(x, y) 来解决序列标注问题。然而，HMM 的生成式模型特性
- 28贝叶斯网络与图模型贝叶斯网络与图模型 小象实战讲义 · 自然语言处理 在自然语言处理中，我们常常需要处理多个随机变量之间复杂的依赖关系。例如，一个词的出现可能依赖于它的词性，而词性又依赖于句子的结构。如何清晰、高效地表
- 29隐马尔可夫链与 HMM 推导隐马尔可夫链与 HMM 推导 小象实战讲义 · 自然语言处理 在自然语言处理中，我们常常需要处理序列数据，例如词性标注、语音识别等任务。这些任务的核心是推断序列背后隐含的结构或状态。隐马尔可夫模型（H
- 30PLSA 主题模型PLSA 主题模型 小象实战讲义 · 自然语言处理 在掌握了隐马尔可夫模型（HMM）和期望最大化（EM）算法等概率图模型基础后，我们正式进入主题模型（Topic Model）的世界。主题模型旨在从大量
- 31LSI 与 SVD 向量表达LSI 与 SVD 向量表达 小象实战讲义 · 自然语言处理 在自然语言处理中，如何将文本从离散的符号序列转化为连续的数学向量，是进行语义分析和计算的基础。本节我们将深入探讨一种经典的文本向量化方法—
- 32LDA 与狄利克雷分布LDA 与狄利克雷分布 小象实战讲义 · 自然语言处理 在前面的学习中，我们接触了 PLSA 等概率主题模型，它们为理解文本的潜在结构提供了框架。然而，PLSA 存在过拟合风险，且模型参数随文档数量线
- 33主题模型实验复现（困惑度 / 分类 / 相似度 / 延展）主题模型实验复现（困惑度 / 分类 / 相似度 / 延展） 小象实战讲义 · 自然语言处理 本节我们将通过一组示例分析，梳理主题模型（Topic Model）的实际应用与评估方法。我们将聚焦于 LDA
- 34上下文无关文法（CFG）与句法分析上下文无关文法（CFG）与句法分析 小象实战讲义 · 自然语言处理 在前面的学习中，我们主要关注了词的表示（向量化）和文本的概率模型。然而，自然语言不仅仅是词的集合，它拥有内在的结构。一个句子的含义不
- 35概率上下文无关文法 PCFG概率上下文无关文法 PCFG 小象实战讲义 · 自然语言处理 在上一节中，我们学习了上下文无关文法（CFG）如何为句子生成多种可能的句法解析树。然而，CFG 无法告诉我们哪种解析更“合理”或更“常见”
- 36统计机器翻译：词对齐与翻译模型统计机器翻译：词对齐与翻译模型 小象实战讲义 · 自然语言处理 机器翻译（Machine Translation， MT）是自然语言处理领域最具挑战性和影响力的任务之一，其目标是实现不同语言之间的自动
- 37统计机器翻译中的对齐模型与参数估计统计机器翻译中的对齐模型与参数估计 小象实战讲义 · 自然语言处理 本节将深入探讨统计机器翻译（SMT）的核心组件——对齐模型。我们将学习如何将源语言句子与目标语言句子之间的词语对应关系（对齐）形式化
- 38从统计机器翻译到神经机器翻译从统计机器翻译到神经机器翻译 小象实战讲义 · 自然语言处理 在掌握了句法分析和早期机器翻译的概率模型基础后，我们迎来了机器翻译领域的一次范式革命。本节将作为关键衔接，回顾统计机器翻译（SMT）的核心
- 39神经元与反向传播速览（指向深度学习课）神经元与反向传播速览（指向深度学习课） 小象实战讲义 · 自然语言处理 在自然语言处理中，我们常常需要建模词语之间复杂的非线性关系，例如预测一个词在给定上下文后出现的概率。传统的统计方法（如 n-gr
- 40CNN 原理及其在 NLP 中的应用CNN 原理及其在 NLP 中的应用 小象实战讲义 · 自然语言处理 在掌握了神经网络的基本原理后，我们面临一个核心问题：如何将神经网络高效地应用于文本这类具有结构特点的数据？卷积神经网络（CNN）最
- 41循环神经网络的基本原理与 Elman / Jordan 网络循环神经网络的基本原理与 Elman / Jordan 网络 小象实战讲义 · 自然语言处理 在自然语言处理中，我们处理的文本数据本质上是序列数据——一个词接着一个词，一句话接着一句话。如何让模型“记
- 42LSTM：长短期记忆网络的核心思想与分步实现LSTM：长短期记忆网络的核心思想与分步实现 小象实战讲义 · 自然语言处理 在上一节中，我们学习了循环神经网络（RNN）的基本结构及其在序列建模中的应用。然而，标准的RNN在处理长序列时，会面临梯度
- 43Encoder-Decoder 框架Encoder-Decoder 框架 小象实战讲义 · 自然语言处理 在自然语言处理中，我们常常需要处理序列到序列（Sequence-to-Sequence, Seq2Seq）的转换任务，例如机器翻译
- 44Seq2Seq 与早期注意力机制Seq2Seq 与早期注意力机制 小象实战讲义 · 自然语言处理 在掌握了循环神经网络（RNN）与长短期记忆网络（LSTM）之后，我们面临一个更现实的问题：如何将一个序列（如一句中文）映射为另一个序列
- 45注意力机制的背景与动机注意力机制的背景与动机 小象实战讲义 · 自然语言处理 在深度学习席卷自然语言处理领域之后，我们拥有了强大的序列建模工具——循环神经网络（RNN）及其变体LSTM。然而，在处理复杂的序列到序列任务，如
- 46注意力模型实现原理与匹配函数注意力模型实现原理与匹配函数 小象实战讲义 · 自然语言处理 在上一节我们了解了注意力机制的基本思想和宏观架构。本节课，我们将深入其内部，详细拆解注意力模型的具体实现原理，并介绍一个关键组件——匹配函
- 47记忆网络：组成与计算记忆网络：组成与计算 小象实战讲义 · 自然语言处理 在上一节中，我们学习了注意力机制，它让模型在处理序列时能够动态地聚焦于输入的不同部分。然而，注意力机制通常作用于当前输入序列的“内部记忆”。如果我
- 48注意力机制的应用与历史延展注意力机制的应用与历史延展 小象实战讲义 · 自然语言处理 在上一节中，我们学习了注意力机制在神经机器翻译（NMT）中的核心应用，它通过动态对齐源语言与目标语言的词，显著提升了翻译质量。然而，注意力机
- 49Transformer 结构：Encoder-Decoder 栈与 Self-AttentionTransformer 结构：Encoder-Decoder 栈与 Self-Attention 小象实战讲义 · 自然语言处理 在掌握了注意力机制的基本思想后，我们迎来了自然语言处理领域一个里程碑式
- 50Multi-Head Attention、FFNN 与位置编码Multi-Head Attention、FFNN 与位置编码 小象实战讲义 · 自然语言处理 在上一节中，我们学习了自注意力（Self-Attention）机制，它让模型在处理序列时能够动态地关注不
- 51层归一化、损失函数与 Universal Transformer 延展层归一化、损失函数与 Universal Transformer 延展 小象实战讲义 · 自然语言处理 在掌握了 Transformer 的核心组件——自注意力与位置编码之后，本节我们将深入其内部的两
- 52预训练范式：从 ELMo 到 BERT预训练范式：从 ELMo 到 BERT 小象实战讲义 · 自然语言处理 在掌握了词向量、序列模型和注意力机制等基础工具后，我们来到了自然语言处理发展的一个关键分水岭：预训练范式。静态词向量虽然奠定了表
- 53BERT 与掩码语言模型BERT 与掩码语言模型 小象实战讲义 · 自然语言处理 在前面的章节里，我们已经掌握了词向量、RNN/LSTM、注意力机制与 Transformer 的基本结构。本节进入预训练模型这一主题，讨论一个
- 54BERT 下游任务微调与 GLUE 口径BERT 下游任务微调与 GLUE 口径 小象实战讲义 · 自然语言处理 在上一节中，我们深入剖析了 BERT 的预训练机制。然而，一个强大的预训练模型最终的价值，体现在它能否有效地适应并解决各种下游
- 55GPT 与自回归语言建模GPT 与自回归语言建模 小象实战讲义 · 自然语言处理 在上一节，我们学习了BERT及其双向掩码预训练范式，它擅长理解与判别任务。本节我们将转向另一条技术路线：自回归语言模型。以OpenAI的GPT
- 56GPT-1 到 GPT-4 的演进GPT-1 到 GPT-4 的演进 小象实战讲义 · 自然语言处理 在掌握了 Transformer 架构和 BERT 等预训练模型后，我们自然要追问：那条专注于生成任务的预训练路径是如何发展的？本节
- 57指令微调与 RLHF指令微调与 RLHF 小象实战讲义 · 自然语言处理 在掌握了预训练模型的基础能力后，我们面临一个关键问题：如何让模型更好地理解和遵循人类的意图？传统的预训练模型（如 GPT-3）虽然能生成流畅的文本
- 58分词器：BPE、WordPiece 与中文词表分词器：BPE、WordPiece 与中文词表 小象实战讲义 · 自然语言处理 在构建自然语言处理模型时，如何将连续的文本切分成离散的、可处理的单元，是第一步也是至关重要的一步。从早期的按词切分，到如
- 59上下文窗口与长文本处理上下文窗口与长文本处理 小象实战讲义 · 自然语言处理 在构建大语言模型应用时，我们常常希望模型能理解并处理更长的文本，例如整篇论文、长篇小说或复杂的代码库。然而，简单地增加模型的“上下文窗口”长度会
- 60能力边界、成本与适用场景能力边界、成本与适用场景 小象实战讲义 · 自然语言处理 在掌握了预训练大模型的核心原理与架构后，将其投入实际应用时，我们必须面对两个现实问题：它到底能做什么、不能做什么？以及，使用它的成本是多少，如
- 61文本分类实战：从朴素贝叶斯到逻辑回归文本分类实战：从朴素贝叶斯到逻辑回归 小象实战讲义 · 自然语言处理 文本分类是自然语言处理最基础、应用最广泛的任务之一，从垃圾邮件过滤、情感分析到工单自动分派，其核心都是将一段文本归入预定义的类别。
- 62命名实体识别实战命名实体识别实战 小象实战讲义 · 自然语言处理 命名实体识别（NER）要回答的问题是：「这句话里有哪些人名、地名、机构名，它们各自从第几个字到第几个字？」注意这句话里有两个要素——是什么（类型）和在
- 63文本生成与摘要实战文本生成与摘要实战 小象实战讲义 · 自然语言处理 摘要看起来是个"算法题"，实际是个"取舍题"：抽出来的句子够不够覆盖原文、有没有重复、长度守不守预算、分数怎么算才算数。本节只做抽取式摘要，用一个
- 64语义检索与向量库实战语义检索与向量库实战 小象实战讲义 · 自然语言处理 欢迎来到《自然语言处理》课程的第11章《应用与实战》。在前面的章节中，我们系统学习了从词表示、序列标注到预训练大模型等一系列核心技术。现在，我们将
- 65RAG 知识库问答RAG 知识库问答 小象实战讲义 · 自然语言处理 前面的章节已经讲过词向量、相似度检索、注意力机制与预训练模型。在企业与个人场景里，大量知识其实存放在文档、FAQ、工单与制度文件中，并不在模型参数里
- 66NLP 评估指标：BLEU / ROUGE / BERTScore 与人工评估NLP 评估指标：BLEU / ROUGE / BERTScore 与人工评估 小象实战讲义 · 自然语言处理 在自然语言处理（NLP）的模型开发与迭代中，如何科学、客观地评估模型生成文本的质量，是贯
- 67幻觉与事实性问题幻觉与事实性问题 小象实战讲义 · 自然语言处理 在自然语言生成任务中，我们常常会遇到一个棘手的问题：模型生成的文本听起来流畅合理，但内容却与事实不符或凭空捏造。这种现象被称为“幻觉”。随着大语言模型
- 68文本与知识结合（知识图谱压缩）文本与知识结合（知识图谱压缩） 小象实战讲义 · 自然语言处理 自然语言处理的发展并非始于深度学习。在更早的时代，研究者们怀揣着理解语言背后“真理”的宏大理想，致力于构建基于逻辑和规则的专家系统，以期
- 69跨媒体信息检索与未来展望跨媒体信息检索与未来展望 小象实战讲义 · 自然语言处理 在之前的课程中，我们主要探讨了自然语言内部的建模与理解。然而，现实世界的信息是丰富且多模态的，文本、图像、音频、视频常常交织在一起，共同描述同
课程要收费吗？
本课程免费，无有效期限制，学完为止，视频、讲义、代码与作业配套开放。企业内训为定制付费服务，如有团队培训需求可查看企业内训。
同主题课程
主题内继续学
免费