自然语言的基本术语

小象实战讲义 · 自然语言处理

在开始系统学习自然语言处理（NLP）之前，我们需要建立一套共同的语言。自然语言本身具有复杂的结构，从最基础的词到完整的句子，再到其背后的含义，每个层面都有其特定的术语和研究问题。本节将系统梳理这些核心术语，如词、形态学、词性标注、句法、语义等，帮助你理解当我们处理一段文本时，我们究竟在分析什么。这是后续所有模型和算法的基础。

💡 核心导读

• 词与分词：理解什么是“词”以及为何中文等语言需要分词。
• 形态学：学习词的内部结构及其语法变化，如时态、单复数等。
• 词性标注：掌握如何为每个词赋予其语法类别（如名词、动词）。
• 句法分析：了解如何将句子解析为树状结构，揭示其语法构成。
• 语义分析：初步探索语言背后的含义，这是NLP的终极挑战之一。

从词到句子：语言的基本单元

我们从一个简单的英文句子开始：“This is a simple sentence.”。在计算机看来，这首先是一串连续的字符。为了处理它，我们需要将其分解为更小的、有意义的单元。

词与分词

对于英文，一个直观的分解方式是利用空格将句子切分成一个个词（Words）：

• This, is, a, simple, sentence.

这个过程对于以空格分隔单词的英文来说相对简单，但并非所有语言都如此。例如，中文句子“这是一句中文”在书写时词与词之间没有空格。为了处理它，我们需要进行分词（Word Segmentation），即识别出词与词之间的边界：

• 这, 是, 一句, 中文.

因此，分词是许多语言（尤其是中文、日文、泰文等）NLP任务的首要步骤。即便是英文，在处理手写体或某些特殊格式时，也可能面临类似的分词问题。

形态学

观察英文单词“is”，我们知道它是动词“be”的第三人称单数现在时形式。同样，“worked”是“work”的过去式，“he likes”中的“likes”是“like”的第三人称单数形式。这些变化体现了词的形态学（Morphology）。

形态学研究词的内部结构和构词规则，包括：

• 屈折变化：不改变词的基本意义，只改变其语法属性，如时态（work/worked）、数（cat/cats）、人称（am/is/are）。
• 派生变化：通过添加前缀或后缀构造新词，可改变词义，也可改变词性，二者不必同时发生，如happy（形容词）→ unhappy（形容词，反义）→ happiness（名词）。

理解形态学对于词形还原（如将“running”还原为“run”）、词干提取以及处理未登录词（Out-Of-Vocabulary words）都至关重要。

词性标注与句法分析

将句子分解为词之后，我们可以进一步分析这些词的语法功能和它们之间的关系。

词性标注

为句子中的每个词分配一个语法类别标签，这个过程称为词性标注（Part-of-Speech Tagging，简称 POS Tagging）。

例如，对于句子“This is a simple sentence.”：

• This: 指示限定词（Determiner, DT）
• is: 动词，第三人称单数现在时（Verb, 3rd person singular present, VBZ）
• a: 不定冠词（Determiner, DT）
• simple: 形容词（Adjective, JJ）
• sentence: 名词（Noun, NN）

词性标注是许多高级NLP任务（如句法分析、命名实体识别）的基础预处理步骤。它帮助我们理解每个词在句子中的语法角色。

句法分析

词性标注描述了单个词的属性，而句法分析（Syntactic Parsing）则关注词如何组合成更大的结构（如短语、子句），并最终形成完整的句子。其输出通常是一棵句法分析树（Parse Tree）。

以“This is a simple sentence.”为例，其句法结构可以用树状图表示：

          Sentence (S)
         /            \
    Noun Phrase (NP)   Verb Phrase (VP)
        |              /               \
      Determiner (DT)    Verb (VBZ)        Noun Phrase (NP)
        |              /               \
       This            is     Determiner Adjective    Noun
                                      |         |        |
                                       a      simple  sentence

这棵树告诉我们：

• 整个句子（S）由一个名词短语（NP：“This”）和一个动词短语（VP：“is a simple sentence”）组成。
• 动词短语（VP）由一个动词（VBZ：“is”）和另一个名词短语（NP：“a simple sentence”）组成。
• 第二个名词短语（NP）又由一个限定词（DT：“a”）、一个形容词（JJ：“simple”）和一个名词（NN：“sentence”）组成。

这种基于规则的、形式化的句法描述（如上下文无关文法，CFG）是早期句法分析的核心。句法分析有助于理解句子成分之间的关系，例如识别主语和谓语，这对于信息提取和机器翻译等任务非常重要。

语义：从形式到含义

到目前为止，我们处理的都是语言的“形式”：词的形态、词性、句法结构。然而，NLP的终极目标之一是理解语言的语义（Semantics），即语言所表达的真实含义。

“This is a simple sentence.” 的语义是什么？它陈述了一个事实：存在一个实体“this”，这个实体具有“是一个简单句子”的属性。

在传统人工智能和计算语义学中，人们尝试用形式逻辑（如一阶谓词逻辑）来表示句子的语义。例如，可以将上述句子表示为：

• 存在一个实体 x（指代“this”）和一个实体 y（指代“a simple sentence”），并且 x 是 y。
• 同时，y 具有“简单”的属性。

用逻辑公式可以粗略表示为： $$\exists y (Sentence(y) \land Simple(y) \land Is(this, y))$$

当然，这只是一个高度简化的示例。真实的语义表示要复杂得多，涉及词义消歧（如“apple”指水果还是公司）、指代消解（如“it”指代什么）、语义角色标注（如谁对谁做了什么）等一系列难题。

语义理解是NLP中最困难的部分，也是推动从基于规则的方法到统计方法，再到如今基于深度学习和大型语言模型方法的核心动力。现代方法不再试图显式地编写逻辑规则，而是让模型从海量数据中自动学习语义的分布式表示。

📝 动手练一练

1. 概念辨析：请简要说明“形态学”和“句法”在自然语言处理中分别关注什么层面的问题，并各举一个例子。

2. 手动分词与词性标注：请对以下中文句子进行分词，并为每个分词结果尝试标注你认为可能的词性（如名词、动词等）。

   “自然语言处理技术正在快速发展。”

   👉 点击查看参考答案

   分词结果（一种可能）： - `自然语言` (名词) - `处理` (动词) - `技术` (名词) - `正在` (副词) - `快速` (形容词) - `发展` (动词) - `。` (标点)

   说明：中文分词可能存在多种合理结果，例如“自然语言处理”也可以作为一个整体名词。词性标注也依赖于上下文和具体任务。这体现了NLP中“歧义性”的挑战。

本章小结

本节我们建立了自然语言处理的基础术语体系，从表层的词到深层的语义，逐层剖析了语言的结构：

• 词是语言处理的基本单元，分词是处理连续书写语言的关键第一步。
• 形态学揭示了词的内部语法变化规律。
• 词性标注为每个词赋予语法角色，是句法分析的基石。
• 句法分析通过树状结构展示词如何组合成合法的句子。
• 语义分析致力于理解语言背后的含义，是NLP的核心挑战。

理解这些术语和它们所代表的问题，是学习后续所有具体模型和技术（如n-gram语言模型、隐马尔可夫模型、句法解析器、神经网络等）的前提。每一种技术都是为了更好地解决这些层面中的一个或多个问题而诞生的。

📋 行动清单

• 能够清晰解释“分词”、“词性标注”、“句法分析”、“语义分析”各自的目标和区别。
• 对给定的中英文句子，能进行基本的分词和词性标注思考。
• 理解句法分析树如何直观地表示句子的语法结构。

—— 小象教研组