实战：通过移动设备行为数据预测性别和年龄

小象实战讲义 · Python数据分析实战

本节我们将通过一个来自Kaggle的真实竞赛案例，串联起数据分析的完整链路。我们将学习如何从多个关联的原始数据表中提取特征、进行数据清洗与探索性分析，并最终构建机器学习模型来预测用户的性别与年龄分组。这是一个典型的分类任务，能让你将前面学到的Pandas数据处理、特征工程、可视化以及scikit-learn建模等知识融会贯通。

💡 核心导读

• 项目背景：使用移动设备行为数据（APP使用、事件记录）预测用户的性别与年龄分组。
• 数据特点：数据由多个CSV文件关联而成，需要进行数据融合与特征提取。
• 核心步骤：数据解读与融合 → 特征提取与EDA → 特征归一化 → 多模型构建与调参 → 结果比较。
• 技术要点：Pandas的merge与groupby操作、LabelEncoder编码、MinMaxScaler归一化、GridSearchCV调参以及K近邻、线性SVM、逻辑回归等分类模型的应用。

数据解读与项目任务

本次实战案例的数据来源于Kaggle竞赛“TalkingData Mobile User Demographics”。原始数据集规模较大（约20万用户），包含6个相互关联的CSV文件。我们的目标是根据用户使用移动设备的行为数据（如APP安装、事件类型），预测其所属的“性别+年龄”分组。

分组共有四类：

• M29+: 男性，29岁及以上
• F29+: 女性，29岁及以上
• F28-: 女性，28岁及以下
• M28-: 男性，28岁及以下

这是一个四分类问题。在真实项目中，数据往往分散在多个表中，我们的首要任务就是理解数据关系，并将它们整合起来。

# 数据关系解读与模拟数据构造
import pandas as pd

# 模拟 gender_age 表：设备ID与分组标签
gender_age_data = {
    'device_id': ['dev_001', 'dev_002', 'dev_003', 'dev_004'],
    'group': ['M29+', 'F29+', 'F28-', 'M28-']
}
gender_age_df = pd.DataFrame(gender_age_data)

# 模拟 events 表：事件ID与发生该事件的设备ID
events_data = {
    'event_id': [1001, 1002, 1003, 1004, 1005, 1006],
    'device_id': ['dev_001', 'dev_001', 'dev_002', 'dev_003', 'dev_003', 'dev_004']
}
events_df = pd.DataFrame(events_data)

# 模拟 app_events 表：事件ID与在该事件中涉及的APP ID
app_events_data = {
    'event_id': [1001, 1001, 1002, 1003, 1004, 1005, 1006],
    'app_id': ['app_a', 'app_b', 'app_c', 'app_a', 'app_d', 'app_e', 'app_f']
}
app_events_df = pd.DataFrame(app_events_data)

print("1. 设备分组表 (gender_age):")
print(gender_age_df)
print("\n2. 事件表 (events):")
print(events_df)
print("\n3. 应用事件表 (app_events):")
print(app_events_df)

1. 设备分组表 (gender_age):
  device_id group
0   dev_001  M29+
1   dev_002  F29+
2   dev_003  F28-
3   dev_004  M28-

2. 事件表 (events):
   event_id device_id
0      1001   dev_001
1      1002   dev_001
2      1003   dev_002
3      1004   dev_003
4      1005   dev_003
5      1006   dev_004

3. 应用事件表 (app_events):
   event_id app_id
0      1001  app_a
1      1001  app_b
2      1002  app_c
3      1003  app_a
4      1004  app_d
5      1005  app_e
6      1006  app_f

通过观察模拟数据，我们可以理清表间关系：

• gender_age 表提供了每个设备（device_id）对应的预测目标（group）。
• events 表记录了每个事件（event_id）由哪个设备产生。
• app_events 表记录了每个事件涉及了哪些APP。
• 一个设备可以有多个事件，一个事件可以涉及多个APP。我们可以通过event_id连接events和app_events表，再通过device_id与gender_age表关联，最终为每个设备统计出行为特征。

特征提取与数据融合

基于上述关系，我们为每个设备提取两个特征：

1. 事件类型个数：该设备产生的不同事件（event_id）的数量。
2. 安装APP个数：该设备在所有事件中涉及的不同APP（app_id）的数量。

下面我们使用Pandas的merge和groupby操作来完成数据融合与特征提取。

# 特征提取与数据融合演示
import pandas as pd

# 使用上一代码块构造的模拟数据
gender_age_data = {'device_id': ['dev_001', 'dev_002', 'dev_003', 'dev_004'], 'group': ['M29+', 'F29+', 'F28-', 'M28-']}
events_data = {'event_id': [1001, 1002, 1003, 1004, 1005, 1006], 'device_id': ['dev_001', 'dev_001', 'dev_002', 'dev_003', 'dev_003', 'dev_004']}
app_events_data = {'event_id': [1001, 1001, 1002, 1003, 1004, 1005, 1006], 'app_id': ['app_a', 'app_b', 'app_c', 'app_a', 'app_d', 'app_e', 'app_f']}

gender_age_df = pd.DataFrame(gender_age_data)
events_df = pd.DataFrame(events_data)
app_events_df = pd.DataFrame(app_events_data)

# 1. 合并事件与APP数据，并统计特征
# 将 app_events 和 events 通过 event_id 左连接合并
device_app = app_events_df.merge(events_df, how='left', on='event_id')

# 按 device_id 分组，统计唯一 event_id 和 app_id 的个数
stats_df = device_app.groupby('device_id')[['event_id', 'app_id']].nunique()
stats_df = stats_df.reset_index()  # 将分组索引转为列

# 2. 将统计特征与分组标签数据合并，通过 device_id 内连接
all_df = gender_age_df.merge(stats_df, how='inner', on='device_id')

# 3. 重命名特征列
all_df.columns = ['device_id', 'group', 'n_events', 'n_apps']

print("融合并提取特征后的数据集：")
print(all_df)
print("\n特征说明：")
print("- n_events: 设备产生的事件类型数")
print("- n_apps: 设备涉及的APP数")

融合并提取特征后的数据集：
  device_id group  n_events  n_apps
0   dev_001  M29+         2       3
1   dev_002  F29+         1       1
2   dev_003  F28-         2       2
3   dev_004  M28-         1       1

特征说明：
- n_events: 设备产生的事件类型数
- n_apps: 设备涉及的APP数

EDA、特征归一化与标签编码

在建模之前，我们需要对数据进行探索性分析（EDA），了解特征分布和类别情况。同时，机器学习模型通常要求特征处于同一量纲，并对分类标签进行数值编码。

# EDA 与特征归一化演示
import matplotlib.pyplot as plt
import seaborn as sns
from sklearn.preprocessing import MinMaxScaler
from sklearn.preprocessing import LabelEncoder
import pandas as pd

# 构造演示数据
data = {
    'device_id': ['dev_001', 'dev_002', 'dev_003', 'dev_004', 'dev_005', 'dev_006'],
    'group': ['M29+', 'F29+', 'F28-', 'M28-', 'M29+', 'F28-'],
    'n_events': [45, 120, 30, 200, 80, 60],
    'n_apps': [12, 35, 8, 80, 25, 18]
}
df = pd.DataFrame(data)

print("数据集形状:", df.shape)
print("\n类别分布:")
print(df['group'].value_counts())

# 1. 标签编码：将字符串类别转为数字
label_enc = LabelEncoder()
df['group_encoded'] = label_enc.fit_transform(df['group'])
print("\n编码后的标签 (group_encoded):")
print(df[['group', 'group_encoded']].drop_duplicates().sort_values('group_encoded'))

# 2. 特征归一化 (Min-Max Scaling)
scaler = MinMaxScaler()
# 选择要归一化的特征列
features_to_scale = df[['n_events', 'n_apps']]
features_scaled = scaler.fit_transform(features_to_scale)
# 将归一化后的特征放回DataFrame
df[['n_events_scaled', 'n_apps_scaled']] = features_scaled

print("\n归一化前后的特征对比:")
print(df[['n_events', 'n_events_scaled', 'n_apps', 'n_apps_scaled']].head())

# 3. 简单的EDA可视化
fig, axes = plt.subplots(1, 2, figsize=(12, 4))

# 类别分布条形图
sns.countplot(data=df, x='group', ax=axes[0])
axes[0].set_title('类别分布 (Group Distribution)')

# 特征散点图（按类别着色）
scatter = axes[1].scatter(df['n_events'], df['n_apps'], c=df['group_encoded'], cmap='viridis', alpha=0.7)
axes[1].set_xlabel('n_events')
axes[1].set_ylabel('n_apps')
axes[1].set_title('特征散点图 (Colored by Group)')
# 添加图例
legend_labels = label_enc.inverse_transform(sorted(df['group_encoded'].unique()))
for i, label in enumerate(legend_labels):
    axes[1].scatter([], [], c=[plt.cm.viridis(i/3)], label=label)
axes[1].legend(title='Group')

plt.tight_layout()
# 在讲义中，我们仅展示绘图逻辑，实际运行时不保存文件
plt.show()

数据集形状: (6, 4)

类别分布:
group
M29+    2
F28-    2
F29+    1
M28-    1
Name: count, dtype: int64

编码后的标签 (group_encoded):
  group  group_encoded
2  F28-              0
1  F29+              1
3  M28-              2
0  M29+              3

归一化前后的特征对比:
   n_events  n_events_scaled  n_apps  n_apps_scaled
0        45         0.088235      12       0.055556
1       120         0.529412      35       0.375000
2        30         0.000000       8       0.000000
3       200         1.000000      80       1.000000
4        80         0.294118      25       0.236111

模型构建、调参与结果比较

现在，我们有了特征（n_events, n_apps）和数值化的标签，可以开始构建分类模型。我们将尝试三种常见的分类模型：K近邻（KNN）、线性支持向量机（Linear SVM）和逻辑回归（Logistic Regression）。对于每个模型，我们将使用GridSearchCV进行超参数调优，并比较特征归一化对模型性能的影响。

# 模型构建、调参与比较
from sklearn.neighbors import KNeighborsClassifier
from sklearn.svm import LinearSVC
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import GridSearchCV, train_test_split
from sklearn.preprocessing import MinMaxScaler, LabelEncoder
import numpy as np
import pandas as pd

# 为了演示，我们构造一个稍大的模拟数据集，以便进行训练/测试分割
np.random.seed(42)  # 固定随机种子，确保结果可复现
n_samples = 40
# 构造特征：假设 n_events 和 n_apps 与组别有一定关系
X_demo = np.random.randint(1, 100, size=(n_samples, 2)).astype(float)
# 构造标签：简单规则，根据特征和生成4类标签
y_demo = (X_demo[:, 0] / 25 + X_demo[:, 1] / 30).astype(int) % 4

# 分割数据集
X_train, X_test, y_train, y_test = train_test_split(X_demo, y_demo, test_size=0.25, random_state=10)

# 特征归一化
scaler = MinMaxScaler()
X_train_scaled = scaler.fit_transform(X_train)
X_test_scaled = scaler.transform(X_test)

# 定义要比较的模型及其参数网格
model_dict = {
    'kNN': (KNeighborsClassifier(), {'n_neighbors': [3, 5, 7]}),
    'LinearSVM': (LinearSVC(max_iter=5000, random_state=42), {'C': [0.1, 1, 10]}),
    'LR': (LogisticRegression(max_iter=500, random_state=42), {'C': [0.01, 0.1, 1]})
}

print("模型调参结果比较：")
print("-" * 50)

results = []
for model_name, (model, param_grid) in model_dict.items():
    print(f"\n>>> 训练模型: {model_name}")
    
    # 1. 使用未归一化的特征
    gs = GridSearchCV(model, param_grid, cv=3, scoring='accuracy')
    gs.fit(X_train, y_train)
    test_acc_raw = gs.score(X_test, y_test)
    print(f"  未归一化 -> 最优参数: {gs.best_params_}, 验证集最高得分: {gs.best_score_:.3f}, 测试集准确率: {test_acc_raw:.3f}")
    
    # 2. 使用归一化的特征
    gs_scaled = GridSearchCV(model, param_grid, cv=3, scoring='accuracy')
    gs_scaled.fit(X_train_scaled, y_train)
    test_acc_scaled = gs_scaled.score(X_test_scaled, y_test)
    print(f"  归一化后 -> 最优参数: {gs_scaled.best_params_}, 验证集最高得分: {gs_scaled.best_score_:.3f}, 测试集准确率: {test_acc_scaled:.3f}")
    
    results.append({
        'Model': model_name,
        'Not Scaled (%)': round(test_acc_raw * 100, 1),
        'Scaled (%)': round(test_acc_scaled * 100, 1)
    })

# 展示结果比较
results_df = pd.DataFrame(results).set_index('Model')
print("\n" + "="*50)
print("最终准确率比较 (%):")
print(results_df)

模型调参结果比较：
--------------------------------------------------

>>> 训练模型: kNN
  未归一化 -> 最优参数: {'n_neighbors': 3}, 验证集最高得分: 0.567, 测试集准确率: 0.600
  归一化后 -> 最优参数: {'n_neighbors': 3}, 验证集最高得分: 0.567, 测试集准确率: 0.600

>>> 训练模型: LinearSVM
  未归一化 -> 最优参数: {'C': 1}, 验证集最高得分: 0.367, 测试集准确率: 0.500
  归一化后 -> 最优参数: {'C': 1}, 验证集最高得分: 0.400, 测试集准确率: 0.500

>>> 训练模型: LR
  未归一化 -> 最优参数: {'C': 0.01}, 验证集最高得分: 0.367, 测试集准确率: 0.500
  归一化后 -> 最优参数: {'C': 1}, 验证集最高得分: 0.367, 测试集准确率: 0.400

==================================================
最终准确率比较 (%):
           Not Scaled (%)  Scaled (%)
Model
kNN                  60.0        60.0
LinearSVM            50.0        50.0
LR                   50.0        40.0

从演示结果可以看出，在这个模拟数据集上，特征归一化并未带来测试准确率的提升：KNN与线性SVM归一化前后持平（0.600与0.500），逻辑回归反而从0.500降至0.400。这验证了一个重要观点：特征归一化并不总是提升模型性能，其效果取决于具体模型和数据——本例中两个特征（事件类型数、APP数）本就处于相近量纲，归一化自然影响有限；只有当特征量纲差异巨大时，对依赖距离计算的模型（如KNN）和使用梯度下降类优化算法的模型（如SVM、逻辑回归）归一化才会明显受益。

在原课程的真实项目运行中，使用两个特征（事件类型数和APP数）在测试集上取得的最佳准确率约为38%。虽然看起来不高，但考虑到这是一个四分类问题（随机猜测的基线是25%），模型确实学习到了一些规律。若要进一步提升性能，可以尝试从提供的其他数据表（如手机品牌、APP类别表）中提取更多特征。

📝 动手练一练

1. 概念辨析：为什么逻辑回归（Logistic Regression）名字里有“回归”，却是一个分类模型？特征归一化对逻辑回归模型的影响机制是什么？

2. 动手实践：假设你拿到了phone_brand_device_model表，其中包含device_id、phone_brand（手机品牌）和device_model（手机型号）信息。你如何将这个信息作为新的特征加入到我们现有的建模流程中？请简述你的思路（例如，是直接使用品牌名称，还是进行某种编码？）。

本章小结

本节我们完成了一个完整的数据分析及机器学习建模实战。我们从一个多表关联的真实场景出发，经历了从数据解读、特征提取、数据清洗、探索性分析到最终构建并评估多个分类模型的完整流程。

📋 行动清单

• 回顾数据融合：理解如何使用Pandas的merge和groupby从多个关联表中提取聚合特征。
• 掌握预处理步骤：记住分类建模前，对特征进行归一化（MinMaxScaler）和对标签进行编码（LabelEncoder）是标准步骤。
• 实践模型调优：使用GridSearchCV对不同的分类模型（如KNN、SVM、逻辑回归）进行超参数搜索，并学会比较不同预处理下模型的性能。
• 思考特征工程：尝试构思如何利用案例中未使用的其他数据表（如手机品牌、APP类别）来构造更多特征，以提升模型预测能力。

—— 小象教研组