数据集准备及划分

小象实战讲义 · Python数据分析实战

在上一节中，我们直接在训练集上测试了模型，这就像用练习题来考试，无法真实评估模型面对未知数据的能力。本节我们将学习如何正确地准备数据集，并将其划分为训练集和测试集，从而科学地评估机器学习模型的性能。

💡 核心导读

• 为什么需要划分数据集？ 避免“练习题当考试”，确保模型评估的客观性。
• 数据集的标准格式是什么？ 特征矩阵 X（二维数组）和标签向量 y（一维数组）。
• 如何进行划分？ 使用 train_test_split 函数，并理解 test_size 和 random_state 参数的作用。
• 完整的建模流程是怎样的？ 从数据划分、模型训练、预测到性能评估（准确率计算）。

数据集的准备：标准格式

在将数据输入机器学习模型之前，我们需要将其整理成统一的格式。这主要包括两部分：

1. 样本特征 X：一个二维数组（NumPy ndarray 或类似结构）。其形状为 (n_samples, n_features)，其中：

   • n_samples：样本的数量（行数）。
   • n_features：特征的维度或数量（列数）。
   • 每一行代表一个样本，每一列代表一个特征。

2. 标签 y：一个一维数组。其形状为 (n_samples,)，即长度等于样本数量。对于分类任务，y 中的每个元素是该样本对应的类别标签。

特征矩阵 X (形状: n_samples × n_features)
┌─────────────────────────────────────┐
│ 样本1特征1, 样本1特征2, ..., 样本1特征m │
│ 样本2特征1, 样本2特征2, ..., 样本2特征m │
│ ...                                 │
│ 样本n特征1, 样本n特征2, ..., 样本n特征m │
└─────────────────────────────────────┘

标签向量 y (形状: n_samples, )
[ 样本1的标签, 样本2的标签, ..., 样本n的标签 ]

数据集的划分：训练集与测试集

为了避免在训练集上测试导致的评估偏差，标准做法是将手头所有的数据划分为两部分：

• 训练集 (Training Set)：用于“学习”或“训练”模型。模型会看到这部分数据的特征 X_train 和对应的真实标签 y_train。
• 测试集 (Test Set)：用于“考试”或“评估”模型。我们假设不知道这部分数据的标签，模型只接收特征 X_test 并做出预测 y_pred。然后，我们将预测结果 y_pred 与真实的、被我们“藏起来”的标签 y_test 进行比较，从而评估模型性能。

划分的比例没有固定标准，常见做法是：

• 数据量很大时（如上百万），测试集可以很小（如 1/10 或 1/20）。
• 数据量一般时，常用 7:3、8:2 或 4:1（即测试集占 20%-25%）。

使用 train_test_split 进行划分

Scikit-learn 提供了便捷的 train_test_split 函数来完成这项工作。

# 代码块1：构造示例数据集并查看格式
import numpy as np

# 构造一个简单的示例数据集：10个样本，每个样本2个特征
# 特征矩阵 X
X = np.array([
    [1.5, 2.0],
    [2.0, 2.5],
    [2.5, 3.0],
    [3.0, 3.5],
    [3.5, 4.0],
    [4.0, 4.5],
    [4.5, 5.0],
    [5.0, 5.5],
    [5.5, 6.0],
    [6.0, 6.5]
])
# 标签向量 y (假设是二分类，0和1)
y = np.array([0, 0, 0, 0, 0, 1, 1, 1, 1, 1])

print("特征矩阵 X 的形状:", X.shape)
print("标签向量 y 的形状:", y.shape)
print("\n前3个样本的特征和标签:")
for i in range(3):
    print(f"样本{i}: X={X[i]}, y={y[i]}")

特征矩阵 X 的形状: (10, 2)
标签向量 y 的形状: (10,)

前3个样本的特征和标签:
样本0: X=[1.5 2. ], y=0
样本1: X=[2.  2.5], y=0
样本2: X=[2.5 3. ], y=0

# 代码块2：划分数据集 (完全自包含)
import numpy as np
from sklearn.model_selection import train_test_split

# 重新构造与代码块1相同的数据（保证本块独立）
X = np.array([
    [1.5, 2.0], [2.0, 2.5], [2.5, 3.0], [3.0, 3.5], [3.5, 4.0],
    [4.0, 4.5], [4.5, 5.0], [5.0, 5.5], [5.5, 6.0], [6.0, 6.5]
])
y = np.array([0, 0, 0, 0, 0, 1, 1, 1, 1, 1])

# 划分数据集
# test_size: 测试集比例，这里设为 0.25 (25%，即10*0.25=2.5；scikit-learn 对比例参数采用向上取整 ceil，故测试集为3个样本，余下7个作为训练集)
# random_state: 随机种子，保证每次划分结果一致
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.25, random_state=10)

print("原始数据集样本数:", X.shape[0])
print("训练集样本数 (X_train):", X_train.shape[0])
print("测试集样本数 (X_test):", X_test.shape[0])
print("\n训练集标签 (y_train):", y_train)
print("测试集标签 (y_test):", y_test)

原始数据集样本数: 10
训练集样本数 (X_train): 7
测试集样本数 (X_test): 3

训练集标签 (y_train): [1 0 0 0 1 0 1]
测试集标签 (y_test): [1 0 1]

关键参数解释：

• test_size：指定测试集的比例（如 0.25）或绝对数量（如 2）。
• random_state：随机数种子。这是为了保证结果的可复现性。如果不设置，每次运行都会得到不同的随机划分结果，不利于实验的重复和比较。设置一个固定的整数值（如 10）即可。

函数返回四个对象：X_train, X_test, y_train, y_test。命名约定上，大写 X 通常表示二维矩阵，小写 y 表示一维向量。

完整的建模与评估流程

划分好数据后，我们就可以进行标准的机器学习工作流了。

# 代码块3：模型训练、预测与评估 (完全自包含)
import numpy as np
from sklearn.model_selection import train_test_split
from sklearn.neighbors import KNeighborsClassifier
from sklearn.metrics import accuracy_score

# 1. 准备数据 (使用与之前相同的示例数据，保证独立)
X = np.array([
    [1.5, 2.0], [2.0, 2.5], [2.5, 3.0], [3.0, 3.5], [3.5, 4.0],
    [4.0, 4.5], [4.5, 5.0], [5.0, 5.5], [5.5, 6.0], [6.0, 6.5]
])
y = np.array([0, 0, 0, 0, 0, 1, 1, 1, 1, 1])

# 2. 划分数据集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.25, random_state=10)

# 3. 选择并初始化模型 (这里使用K近邻分类器)
knn_model = KNeighborsClassifier(n_neighbors=3) # 指定近邻数k=3

# 4. 在训练集上训练模型 (输入: X_train, y_train)
knn_model.fit(X_train, y_train)

# 5. 在测试集上进行预测 (输入: X_test)
# 注意：预测时我们只输入特征，不提供标签，模拟真实预测场景
y_pred = knn_model.predict(X_test)

# 6. 评估模型性能
print("测试集真实标签 (y_test):", y_test)
print("测试集预测标签 (y_pred):", y_pred)
print("\n模型预测准确率:", accuracy_score(y_test, y_pred))

测试集真实标签 (y_test): [1 0 1]
测试集预测标签 (y_pred): [1 0 0]

模型预测准确率: 0.6666666666666666

流程总结：

1. 准备数据：将原始数据处理成 (X, y) 格式。
2. 划分数据：使用 train_test_split 得到 (X_train, X_test, y_train, y_test)。
3. 训练模型：在训练集上调用模型的 .fit(X_train, y_train) 方法进行学习。
4. 进行预测：在测试集上调用模型的 .predict(X_test) 方法得到预测结果 y_pred。
5. 评估性能：比较 y_pred 和 y_test，使用 accuracy_score 等指标计算准确率。

如果模型在测试集上的性能（如准确率）符合预期，那么这个模型就可以被保存下来，用于对未来真正的未知数据进行预测。

📝 动手练一练

1. 概念辨析：如果不设置 train_test_split 的 random_state 参数，直接用于划分数据并训练模型，可能会对项目开发带来什么影响？

2. 动手实践：将上面代码块3中的 test_size 参数从 0.25 改为 0.4（即测试集占40%），重新运行代码。观察训练集和测试集的样本数量如何变化，并记录新的预测准确率。

本章小结

本节我们解决了机器学习中一个至关重要的基础问题：如何公正地评估模型。核心在于理解并实践 数据集划分 这一标准流程。

📋 行动清单

• 理解 为什么不能直接在训练集上测试模型（练习题当考试）。
• 记住 数据集的标准格式：特征矩阵 X (n_samples, n_features) 和标签向量 y (n_samples,)。
• 掌握 使用 sklearn.model_selection.train_test_split 划分数据集，并会使用 test_size 和 random_state 参数。
• 实践 完整的“划分 → 训练 → 预测 → 评估”机器学习建模流程。

—— 小象教研组