查看全课大纲（第 43 / 52 节）

数据清洗：填充与剔除停牌股票缺失值

约 10 分钟

小象实战讲义 · 量化交易Python入门：从咖啡馆到华尔街

Pandas 是量化交易员最核心的武器。本章你将通过 Series 和 DataFrame 深度处理时间序列行情数据，掌握 loc/iloc 定位筛选、缺失值与重复值清洗、以及最大回撤与年化波动率等核心指标统计计算。

💡 核心导读

本节将深入讲解使用 Pandas 处理数据中的缺失值（Missing Data）的核心技术。通过学习，您将掌握：识别缺失值的多种方法、理解 NaN 的特殊性质、运用删除/填充/插值等处理策略，以及针对时间序列数据的特殊处理方法。关键技能包括使用 isna() 检测缺失值、fillna() 智能填充，以及如何根据业务场景选择最优处理方案。

缺失值检测与识别

NaN 的本质特性

在 Pandas 中，缺失值主要由 numpy.nan 表示，其关键特性包括：

任何与 NaN 的运算结果都是 NaN
在比较操作中 NaN == NaN 返回 False
使用 isna() 或 isnull() 进行检测

import numpy as np
import pandas as pd

data = {'温度': [22.5, np.nan, 24.8, np.nan, 23.0],
        '湿度': [45, np.nan, np.nan, 52, 48]}
df = pd.DataFrame(data)
print("原始数据表：")
print(df)

输出结果：

原始数据表：
     温度    湿度
0  22.5  45.0
1   NaN   NaN
2  24.8   NaN
3   NaN  52.0
4  23.0  48.0

缺失值统计方法

import numpy as np
import pandas as pd

data = {'温度': [22.5, np.nan, 24.8, np.nan, 23.0],
        '湿度': [45, np.nan, np.nan, 52, 48]}
df = pd.DataFrame(data)

missing_counts = df.isna().sum()
print("\n缺失值统计：")
print(missing_counts)

missing_percent = df.isna().mean() * 100
print("\n缺失值占比：")
print(missing_percent.round(2))

缺失值统计：
温度    2
湿度    2
dtype: int64

缺失值占比：
温度    40.0
湿度    40.0
dtype: float64

缺失值处理策略

方案一：直接删除

import numpy as np
import pandas as pd

data = {'温度': [22.5, np.nan, 24.8, np.nan, 23.0],
        '湿度': [45, np.nan, np.nan, 52, 48]}
df = pd.DataFrame(data)

df_dropped = df.dropna()
print("\n删除缺失值后的数据：")
print(df_dropped)

df_clean_cols = df.dropna(axis=1, how='all')
print("\n删除全为缺失值的列后的数据：")
print(df_clean_cols)

删除缺失值后的数据：
     温度    湿度
0  22.5  45.0
4  23.0  48.0

删除全为缺失值的列后的数据：
     温度    湿度
0  22.5  45.0
1   NaN   NaN
2  24.8   NaN
3   NaN  52.0
4  23.0  48.0

方案二：智能填充

固定值填充

import numpy as np
import pandas as pd

data = {'温度': [22.5, np.nan, 24.8, np.nan, 23.0],
        '湿度': [45, np.nan, np.nan, 52, 48]}
df = pd.DataFrame(data)

df_filled = df.fillna({'温度': 20, '湿度': 50})
print("\n固定值填充结果：")
print(df_filled)

固定值填充结果：
     温度    湿度
0  22.5  45.0
1  20.0  50.0
2  24.8  50.0
3  20.0  52.0
4  23.0  48.0

统计值填充

import numpy as np
import pandas as pd

data = {'温度': [22.5, np.nan, 24.8, np.nan, 23.0],
        '湿度': [45, np.nan, np.nan, 52, 48]}
df = pd.DataFrame(data)

df_mean = df.fillna(df.mean())
print("\n均值填充结果：")
print(df_mean)

df_ffill = df.ffill()
print("\n前向填充结果：")
print(df_ffill)

均值填充结果：
          温度         湿度
0  22.500000  45.000000
1  23.433333  48.333333
2  24.800000  48.333333
3  23.433333  52.000000
4  23.000000  48.000000

前向填充结果：
     温度    湿度
0  22.5  45.0
1  22.5  45.0
2  24.8  45.0
3  24.8  52.0
4  23.0  48.0

高级处理技巧

插值法处理

import numpy as np
import pandas as pd

data = {'温度': [22.5, np.nan, 24.8, np.nan, 23.0],
        '湿度': [45, np.nan, np.nan, 52, 48]}
df = pd.DataFrame(data)

df_interp = df.interpolate()
print("\n线性插值结果：")
print(df_interp)

ts_data = pd.Series([1, np.nan, np.nan, 8, 10],
                   index=pd.date_range('20230101', periods=5))
ts_interp = ts_data.interpolate(method='time')
print("\n时间序列插值结果：")
print(ts_interp)

线性插值结果：
      温度         湿度
0  22.50  45.000000
1  23.65  47.333333
2  24.80  49.666667
3  23.90  52.000000
4  23.00  48.000000

时间序列插值结果：
2023-01-01     1.000000
2023-01-02     3.333333
2023-01-03     5.666667
2023-01-04     8.000000
2023-01-05    10.000000
Freq: D, dtype: float64

复合处理策略

import numpy as np
import pandas as pd

data = {'温度': [22.5, np.nan, 24.8, np.nan, 23.0],
        '湿度': [45, np.nan, np.nan, 52, 48]}
df = pd.DataFrame(data)

processing_rules = {
    '温度': lambda x: x.fillna(x.mean()),
    '湿度': lambda x: x.ffill().bfill()
}
df_custom = df.apply(lambda col: processing_rules[col.name](col)
                    if col.name in processing_rules else col)
print("\n自定义规则填充结果：")
print(df_custom)

自定义规则填充结果：
          温度    湿度
0  22.500000  45.0
1  23.433333  45.0
2  24.800000  45.0
3  23.433333  52.0
4  23.000000  48.0

📝 动手练一练

第 1 题 · 概念应用

在构建一个多因子选股模型时，你获取了 100 只股票过去一年的日度收盘价数据。其中，股票 A 在 2024 年 5 月 6 日因重大事项停牌，导致当日收盘价缺失。为了计算该股票在 5 月 6 日的日收益率（作为因子值的一部分），以下哪种处理方式最符合量化回测的严谨性原则？

A. 使用 fillna(0) 将缺失的收盘价填充为 0，这样收益率计算为 (0 - 前一日收盘价) / 前一日收盘价，能反映停牌带来的“损失”。
B. 使用 .bfill() 用复牌后第一天的收盘价回填，因为复牌价反映了停牌期间信息的释放。
C. 使用 .ffill() 用停牌前最后一个交易日的收盘价填充，然后计算当日收益率为 0%。
D. 直接删除 5 月 6 日这一行数据，在计算时间序列相关性时忽略这一天。

👉 点击查看参考答案

答案：C

推理过程： 在量化回测中，处理停牌导致的缺失值必须避免引入未来信息（前视偏差）。对于持仓中的股票，在停牌日其资产价值无法交易，应被视为保持不变。因此，最合理的做法是使用前向填充（ffill），将停牌日的价格视为与停牌前最后一个有效价格相同。这样，计算出的当日收益率即为 0%，真实反映了投资者在停牌期间无法产生损益的状况。

选项 A 错误：将价格填充为 0 会人为制造一个巨大的负收益率，这与停牌期间资产价值不变的现实严重不符，会扭曲因子和策略表现。
选项 B 错误：后向填充（bfill）使用了复牌后的未来价格，属于严重的前视偏差，会虚增策略在回测中的表现。
选项 D 错误：直接删除停牌日会破坏时间序列的连续性，导致相邻两日的收益率计算跨越了停牌期，同样不能准确反映真实的投资过程。

💡 小象贴士：在计算投资组合每日净值时，对停牌股票采用前向填充价格并计收益率为 0%，是行业的标准做法，确保了回测的公平性与可重复性。

第 2 题 · 代码填空

你正在清洗一份股票行情数据 DataFrame df_prices，其列包括 'date', 'code', 'close'。数据中存在因停牌导致的 close 价格缺失（NaN）。你需要对每只股票（按 'code' 分组）的收盘价序列进行独立的前向填充，即每只股票用自己的历史有效价格填充其后续的缺失值。

请补全以下代码中的空位 ______。

import pandas as pd
import numpy as np

# 示例数据
data = {
    'date': pd.date_range('2024-01-02', periods=5).tolist() * 2,
    'code': ['000001'] * 5 + ['000002'] * 5,
    'close': [10.0, np.nan, 10.5, np.nan, 11.0, 20.0, 21.0, np.nan, np.nan, 22.0]
}
df_prices = pd.DataFrame(data)

# 按股票代码分组，并对每组内的收盘价进行前向填充
df_filled = df_prices.copy()
df_filled['close'] = df_filled.groupby('code')['close'].______()
print(df_filled)

👉 点击查看参考答案

空位应填：ffill

补全后的完整可运行代码：

import pandas as pd
import numpy as np

# 示例数据
data = {
    'date': pd.date_range('2024-01-02', periods=5).tolist() * 2,
    'code': ['000001'] * 5 + ['000002'] * 5,
    'close': [10.0, np.nan, 10.5, np.nan, 11.0, 20.0, 21.0, np.nan, np.nan, 22.0]
}
df_prices = pd.DataFrame(data)

# 按股票代码分组，并对每组内的收盘价进行前向填充
df_filled = df_prices.copy()
df_filled['close'] = df_filled.groupby('code')['close'].ffill()
print(df_filled)

输出结果：

        date    code  close
0 2024-01-02  000001   10.0
1 2024-01-03  000001   10.0
2 2024-01-04  000001   10.5
3 2024-01-05  000001   10.5
4 2024-01-06  000001   11.0
5 2024-01-02  000002   20.0
6 2024-01-03  000002   21.0
7 2024-01-04  000002   21.0
8 2024-01-05  000002   21.0
9 2024-01-06  000002   22.0

逐行解释：

df_prices.groupby('code')：按照 'code' 列（股票代码）将数据分组，确保每只股票的填充只在自己的组内进行，不会把别的股票的价格串进来。
['close'].ffill()：对每组的 'close' 列应用前向填充，沿原始行顺序用本组最近的非 NaN 值补当前缺失值。
对于股票 000001：索引 1 的 NaN 被前一行的 10.0 填充；索引 3 的 NaN 被 10.5 填充。
对于股票 000002：索引 7、8 连续两个 NaN 都被索引 6 的 21.0 依次填充；注意若某只股票一开头就是缺失值，前面没有有效值可用，ffill() 会保留 NaN。
用 copy() 先复制再回填，避免在原始 DataFrame 上触发链式赋值警告，输出仍保持原有的日期、代码、收盘价三列。

本章小结

📋 行动清单

使用 pd.read_csv() 加载一个真实数据集，统计各列缺失值比例并绘制缺失值热力图
对数据集中的数值列分别尝试均值填充、中位数填充和插值法，比较处理后的数据分布变化
创建一个包含时间戳的 DataFrame，练习使用 method='time' 参数进行时间感知插值

—— 小象教研组