实战：2016美国大选分析

NumPy 综合实战：月度调研数据的清洗与分组统计

小象实战讲义 · Python数据分析实战

本节是第 4 章 NumPy 的压轴综合实战。原始课程使用「2016 美国大选民调数据集」，因年代较久、数据获取不便，本节改用一套中性的「门店月度满意度调研」模拟数据，演示完全相同的一套 NumPy 分析技术：字符串日期规整、布尔掩码分组、向量化聚合与脏数据容错。学完本节，你将能把前面分散的 NumPy 知识点串成一条完整的「原始数据 → 规整 → 按月统计」流水线。

💡 核心导读

• 实战目标：把逐日记录的调研数据，按「年-月」分组汇总，得到每个月的平均评分与领先方。
• 三步处理流程：字符串日期规整 → 布尔掩码分组 → 向量化聚合。
• 工程细节：如何跳过无法转换的脏数据，以及样本量不等时如何做加权平均。
• 全部代码锁定现代环境实跑（NumPy 2.5），输出可直接核对。

1. 数据形态与日期规整

原始调研记录里，日期往往以字符串保存（如 2015-11-15），而我们要统计的是「每个月」的趋势，所以第一步是把日期规整为统一的 yyyy-mm 字符串。这里用标准库 datetime.date.fromisoformat 解析 ISO 格式日期，再用 np.array 把结果存成数组，方便后续向量化处理。

import numpy as np
import datetime

# 逐日调研原始记录（硬编码小样例，输出确定）
enddate = ["2015-11-15", "2015-12-10", "2016-01-22", "2016-02-08", "2016-02-19"]
channel_a = np.array([48.5, 47.0, 46.5, 49.0, 50.0])
channel_b = np.array([42.0, 43.0, 43.5, 41.5, 40.0])

# 1. 日期规整：逐条解析后统一格式化为 yyyy-mm
dates = [datetime.date.fromisoformat(d) for d in enddate]
months = np.array([f"{d.year}-{d.month:02d}" for d in dates])

print("规整后的年月：", np.unique(months))
print("样本总数：", len(months))

规整后的年月： ['2015-11' '2015-12' '2016-01' '2016-02']
样本总数： 5

2. 布尔掩码分组与向量化聚合

分组统计的核心思路是「遍历去重后的月份，用布尔掩码取出该月的行，再做向量化聚合」。months == m 会生成一个布尔数组，用它去索引 channel_a / channel_b，就得到了当前月份的子集——这比写循环逐行判断更简洁、也更快。

import numpy as np

months = np.array(["2015-11", "2015-12", "2016-01", "2016-02", "2016-02"])
channel_a = np.array([48.5, 47.0, 46.5, 49.0, 50.0])
channel_b = np.array([42.0, 43.0, 43.5, 41.5, 40.0])

print("月份       | 渠道A均值 | 渠道B均值 | 领先方")
print("-" * 46)
for m in np.unique(months):
    mask = (months == m)                 # 布尔掩码：仅保留当前月份的行
    a_mean = np.mean(channel_a[mask])    # 向量化聚合，无需逐行循环
    b_mean = np.mean(channel_b[mask])
    lead = a_mean - b_mean
    who = "渠道A" if lead > 0 else "渠道B"
    print(f"{m:<10} | {a_mean:<9.2f} | {b_mean:<9.2f} | {who} +{abs(lead):.2f}")

月份       | 渠道A均值 | 渠道B均值 | 领先方
----------------------------------------------
2015-11    | 48.50     | 42.00     | 渠道A +6.50
2015-12    | 47.00     | 43.00     | 渠道A +4.00
2016-01    | 46.50     | 43.50     | 渠道A +3.00
2016-02    | 49.50     | 40.75     | 渠道A +8.75

3. 脏数据容错与加权平均

真实数据里常混入无法解析的脏值（如空串、N/A）。稳妥的做法是用 try / except 兜住转换异常：能整体转换就整体转换，遇到脏值就过滤后再转换，而不是让程序直接崩溃。

另外，各次调研的样本量往往不同（有的调查 1000 人、有的 3000 人），此时直接 np.mean 会忽略权重。NumPy 提供了 np.average(值, weights=样本量) 来计算以样本量加权的平均：

import numpy as np

# 原始字符串评分（含一条无法转换的脏数据）
raw = np.array(["48.5", "47.0", "N/A", "49.0"])
try:
    scores = raw.astype(float)
except ValueError:
    clean = np.array([v for v in raw if v != "N/A"])
    scores = clean.astype(float)
    print("跳过脏数据后的有效评分：", scores)
    print("有效样本均值：", round(float(scores.mean()), 2))

# 加权平均：样本量不同时，用 np.average 以样本量加权
vals = np.array([48.5, 47.0, 49.0])
sizes = np.array([1000.0, 1500.0, 800.0])
print("按样本量加权的平均满意度：", round(float(np.average(vals, weights=sizes)), 3))

跳过脏数据后的有效评分： [48.5 47.  49. ]
有效样本均值： 48.17
按样本量加权的平均满意度： 47.939

4. 从「逐行循环」到「向量化」的思路转变

初学者最容易写出的版本是「for 循环 + if 判断」逐行累加：代码长、可读性差，数据一大还会明显变慢。本节示范的做法是把「筛选」与「聚合」都交给 NumPy：

• 筛选：用布尔掩码（months == m）一次性取得整段子集，而不是逐行判断；
• 聚合：用 np.mean / np.sum / np.average 直接作用在整段数组上，底层由 C 实现，远快于 Python 循环；
• 去重分组：用 np.unique 得到全部不重复的分组键，天然省去手写去重逻辑；
• 容错：用 try / except 兜住脏数据转换异常，保证流程不中断。

这套「先掩码、后聚合」的套路，正是从 NumPy 过渡到 pandas 分组聚合的思维基础——下一章你会看到 pandas 把它封装成了更简洁的 df.groupby(...).mean()，但底层逻辑与本节完全一致。掌握今天的写法，你就能在没有 pandas 的场景下（例如纯科学计算脚本里）照样完成分组统计。

📝 动手练一练

1. 业务分析题：各次调研的样本量差异很大（500 人到 3000 人不等）时，如何计算以样本量为权重的加权平均支持率？

   👉 点击查看参考答案

   参考答案： 使用 np.average(a, weights=sample_sizes)。它按权重归一化求和：

   $$\text{加权均值} = \frac{\sum (p_i \times w_i)}{\sum w_i}$$

   其中 $p_i$ 为第 $i$ 次调研的支持率，$w_i$ 为该次调研的样本量。

2. 编程练习题：给定两个渠道的 5 期评分数组 a = np.array([48.5, 47.0, 51.0, 49.3, 46.5]) 与 b = np.array([47.0, 46.5, 48.0, 48.9, 47.8])，请用布尔掩码统计渠道 A 领先的期数。

   👉 点击查看参考答案

   参考答案：

   import numpy as np
   
   a = np.array([48.5, 47.0, 51.0, 49.3, 46.5])
   b = np.array([47.0, 46.5, 48.0, 48.9, 47.8])
   print("渠道 A 领先的期数：", int(np.sum(a > b)))

渠道 A 领先的期数： 4

a > b 生成布尔数组，np.sum 会把 True 当作 1 求和，结果为 4。

本章小结

• 完整走通了「原始字符串数据 → 日期规整 → 布尔掩码分组 → 向量化聚合」的 NumPy 分析流水线；
• 掌握了用 np.unique 去重分组、用布尔掩码切片、用 np.mean / np.average 做普通与加权聚合；
• 建立了脏数据容错的工程意识（try / except + 过滤后再转换）。

📋 行动清单

• 复习第 4 章全部内容，熟练 NumPy 数组创建、索引、布尔掩码与聚合 API。
• 把本节示例数据的月份数扩大到 12 个月，观察分组统计结果的扩展方式。
• 做好准备，进入第 5 章《数据分析工具 Pandas 基础》。

—— 小象教研组