过拟合与欠拟合

小象实战讲义 · Python数据分析实战

在机器学习模型训练过程中，我们追求的是模型不仅能记住训练数据，更要能理解数据背后的规律，从而对新的、未见过的数据做出准确的预测。然而，模型的能力与数据之间需要精妙的平衡，否则就会出现两种典型问题：模型过于简单而“学不会”，或者模型过于复杂而“死记硬背”。本节我们将深入探讨这两种现象——欠拟合与过拟合，理解其成因、表现及核心的解决思路。

💡 核心导读

• 过拟合：模型在训练数据上表现极佳，但在新数据上表现糟糕，失去了泛化能力。
• 欠拟合：模型在训练数据和新数据上表现都不佳，未能捕捉数据的基本规律。
• 核心成因：过拟合常因模型过于复杂或训练数据过少；欠拟合则因模型过于简单。
• 解决之道：针对过拟合，可通过收集更多数据、降低模型复杂度（如正则化）来解决。
• 平衡艺术：机器学习的目标是在模型复杂度与泛化能力之间找到最佳平衡点。

理解过拟合与欠拟合

我们通过一个回归预测的例子来直观理解这两个概念。假设我们有一些样本点（蓝色），它们背后真实的规律是一条平滑的曲线（绿色）。我们的目标是训练一个模型，用一条线（蓝色线）去拟合这些点，并希望这条线能尽可能接近真实的绿色曲线。

# 本节仅为概念讲解，此处用文字描述图示内容，不运行代码。
# 图示展示了三种拟合情况：
# 1. 欠拟合：使用一条简单的直线（degree=1）去拟合，蓝色直线与绿色真实曲线相差甚远。
# 2. 适度拟合：使用一个适度复杂的模型（degree=4），蓝色曲线与绿色曲线基本吻合。
# 3. 过拟合：使用一个非常复杂的模型（degree=15），蓝色曲线蜿蜒曲折，穿过了几乎所有训练样本点，但与绿色真实曲线差异巨大。

[概念图示描述]
左图：欠拟合 (Underfitting)
- 数据点：蓝色散点
- 真实分布：绿色平滑曲线
- 模型拟合：蓝色直线 (degree=1)
- 特点：模型过于简单，无法捕捉数据趋势。

中图：适度拟合 (Just right)
- 数据点：蓝色散点
- 真实分布：绿色平滑曲线
- 模型拟合：蓝色曲线 (degree=4)
- 特点：模型复杂度适中，与真实分布基本一致。

右图：过拟合 (Overfitting)
- 数据点：蓝色散点
- 真实分布：绿色平滑曲线
- 模型拟合：蓝色复杂曲线 (degree=15)
- 特点：模型过于复杂，完美拟合训练点但背离真实趋势。

过拟合就像学生在备考时，只死记硬背了所有练习题的标准答案，却没有理解题目背后的知识点。一旦考试题目稍有变化，他就无法作答。在模型中，这表现为模型对于训练数据拟合程度过当，变得“太适应”训练数据，以至于失去了泛化能力（即举一反三的能力）。结果就是模型在训练集上误差（如均方误差 MSE）非常小，但在测试集或验证集上误差很大。

欠拟合则相反，就像学生连基础练习题都没做明白，知识点完全没掌握。这通常是因为模型过于简单（例如用直线去拟合曲线关系），无法捕捉数据中存在的内在规律或趋势。因此，模型在训练集和测试集上的表现都不好。

过拟合的成因与解决思路

造成过拟合的两个主要原因是：

1. 训练数据过少：数据量不足以支撑复杂模型学到普遍规律，模型只能记住有限的样本。
2. 模型过于复杂：模型拥有过多的参数或自由度，使其有能力“记住”训练数据中的噪声和细节，而非一般规律。

相应地，解决过拟合的思路也直指病因：

1. 收集更多的数据：这是最直接有效的方法，更多的数据有助于模型揭示更稳定的规律。
2. 降低模型复杂度：这是本节的重点。我们可以选择更简单的模型（如减少多项式次数），或者对于一个已经确定的复杂模型，通过技术手段来约束其复杂度，这个技术就是正则化。

正则化：控制模型复杂度的数学手段

正则化的核心思想是修改我们模型优化的目标。原本，我们只追求最小化模型在训练数据上的误差（称为损失函数）。正则化则是在这个损失函数后面，额外加上一个“惩罚项”，这个惩罚项与模型的复杂度正相关。

新的优化目标 = 训练误差 (Loss) + λ × 模型复杂度惩罚项

其中，λ（或常写作 C 的倒数）是一个正则化系数，它由我们手动指定，用于平衡“拟合训练数据”和“保持模型简单”这两个目标。

• 如果 λ 很大（或 C 很小），惩罚项权重高，优化时会强烈倾向于选择简单的模型，可能导致欠拟合。
• 如果 λ 很小（或 C 很大），惩罚项权重低，优化时更关注减小训练误差，可能走向过拟合。

因此，选择合适的正则化系数 λ（或 C）至关重要，它本身是模型的一个超参数，不能从数据中自动学习，需要人工通过诸如交叉验证等方法来调优。

模型复杂度与性能的权衡

下面的示意图揭示了模型复杂度、训练集性能与测试集性能之间的经典关系：

[模型复杂度与性能关系示意图]
横轴：模型复杂度 (Model Complexity) ————————>
纵轴：模型性能/准确率 (Model Performance)

两条曲线：
1. 训练集性能 (Training Score)：随着复杂度增加，单调上升，最终趋于高位。
2. 测试集性能 (Test Score)：随着复杂度增加先上升后下降，呈倒U型。

区域标注：
- 左侧区域：欠拟合 (Underfitting)。训练集和测试集性能都较低。
- 中间顶点区域：最佳复杂度 (Sweet Spot)。测试集性能达到最高，泛化能力最好。
- 右侧区域：过拟合 (Overfitting)。训练集性能很高，但测试集性能显著下降。

我们的目标就是找到图中测试集性能曲线的顶点，即模型复杂度与泛化能力的最佳平衡点。

# 演示正则化系数的影响（以岭回归Ridge为例，它使用L2正则化）
import numpy as np
from sklearn.linear_model import Ridge
from sklearn.preprocessing import PolynomialFeatures
from sklearn.pipeline import make_pipeline
from sklearn.metrics import mean_squared_error

# 构造新的模拟数据（自包含）
np.random.seed(123)
x_demo = np.linspace(0, 1, 10)
y_demo = np.sin(2 * np.pi * x_demo) + np.random.normal(0, 0.1, size=x_demo.shape)

X_train_demo = x_demo.reshape(-1, 1)

# 使用不同正则化强度（alpha，即λ）训练高复杂度模型（这里用14次多项式）
complexity = 14
alphas = [0, 1e-10, 1e-5, 1e-2, 1]

print(f"多项式次数: {complexity}")
print("不同正则化强度(alpha)下的训练集均方误差(MSE):")
for alpha in alphas:
    model = make_pipeline(PolynomialFeatures(complexity), Ridge(alpha=alpha))
    model.fit(X_train_demo, y_demo)
    y_pred = model.predict(X_train_demo)
    mse = mean_squared_error(y_demo, y_pred)
    # 格式化输出，便于观察趋势
    print(f"  alpha={alpha:<8} -> MSE = {mse:.6f}")

多项式次数: 14
不同正则化强度(alpha)下的训练集均方误差(MSE):
  alpha=0        -> MSE = 0.000000
  alpha=1e-10    -> MSE = 0.000216
  alpha=1e-05    -> MSE = 0.007508
  alpha=0.01     -> MSE = 0.080839
  alpha=1        -> MSE = 0.246216

从输出可以看到，当正则化强度 alpha（即 λ）为 0 时，模型没有任何复杂度约束，其训练误差（MSE）几乎为 0，这是典型的过拟合迹象。随着 alpha 增大，对模型复杂度的惩罚变强，训练误差也随之上升，这意味着模型被约束得更加“平滑”和简单。在实际中，我们需要在独立的验证集上测试，以选择一个能使验证集误差最小的 alpha 值。

📝 动手练一练

1. 概念辨析：假设你训练了一个图像分类模型，它在训练集上准确率达到99.8%，但在测试集上只有65%。这最可能是什么问题？你可以从哪两个主要方向尝试解决？

2. 代码思考：在上一节的K近邻（KNN）模型中，参数 n_neighbors（即k）的大小如何影响模型的复杂度？k值很大或很小，分别可能对应欠拟合还是过拟合？

本章小结

本节我们深入探讨了机器学习模型开发中的两个关键挑战：欠拟合与过拟合。理解它们的本质、识别它们的表现，是构建有效模型的基础。正则化作为对抗过拟合的强大工具，其思想是通过在优化目标中引入对模型复杂度的惩罚，来引导模型走向更好的泛化性能。

📋 行动清单

• 建立诊断意识：在评估自己训练的模型时，不仅要看训练集指标，一定要关注验证集/测试集的表现，警惕两者差距过大的情况。
• 理解正则化：认识到正则化系数（如λ、C、alpha）是一个需要精心调节的超参数，它的选择直接影响模型的最终效果。
• 思考参数影响：对于学过的模型（如线性回归、KNN），主动思考其关键参数（如多项式次数、k值）如何影响模型复杂度，并与过拟合/欠拟合的概念联系起来。

—— 小象教研组