数据清洗：剔除重复报价与异常交易数据

小象实战讲义 · 量化交易Python入门：从咖啡馆到华尔街

Pandas 是量化交易员最核心的武器。本章你将通过 Series 和 DataFrame 深度处理时间序列行情数据，掌握 loc/iloc 定位筛选、缺失值与重复值清洗、以及最大回撤与年化波动率等核心指标统计计算。

💡 核心导读

数据清洗是数据分析的关键步骤，而处理重复数据则是其中最常见的任务之一。本节将介绍如何使用 Pandas 高效识别、分析和处理数据集中的重复值。通过本节学习，您将掌握：使用 duplicated() 方法检测重复行、用 drop_duplicates() 删除重复值、基于关键列处理重复项，以及保留特定重复项的进阶技巧。这些技能能显著提升数据质量，为后续分析奠定基础。

重复数据检测

基础检测方法

Pandas 提供两种核心方法检测重复数据：

• duplicated()：返回布尔序列标记重复行
• drop_duplicates()：直接返回去重后的数据集

import pandas as pd

data = {
    '订单ID': ['A100', 'A100', 'A101', 'A102', 'A102'],
    '客户': ['小象咖啡', '小象咖啡', '腾讯控股', '贵州茅台', '贵州茅台'],
    '金额': [150, 150, 200, 300, 350]
}
df = pd.DataFrame(data)

print("重复行标记：")
print(df.duplicated())

print("\n客户列重复标记：")
print(df.duplicated(subset=['客户']))

执行结果：

重复行标记：
0    False
1     True
2    False
3    False
4    False
dtype: bool

客户列重复标记：
0    False
1     True
2    False
3    False
4     True
dtype: bool

数据结构对比

原始数据 vs 去重后数据：

原始数据 (5行):
  订单ID  客户  金额
0  A100  小象咖啡  150
1  A100  小象咖啡  150  ← 完全重复
2  A101  腾讯控股  200
3  A102  贵州茅台  300
4  A102  贵州茅台  350

去重后 (4行):
  订单ID  客户  金额
0  A100  小象咖啡  150
2  A101  腾讯控股  200
3  A102  贵州茅台  300
4  A102  贵州茅台  350

重复数据处理策略

基础删除方法

import pandas as pd

data = {
    '订单ID': ['A100', 'A100', 'A101', 'A102', 'A102'],
    '客户': ['小象咖啡', '小象咖啡', '腾讯控股', '贵州茅台', '贵州茅台'],
    '金额': [150, 150, 200, 300, 350]
}
df = pd.DataFrame(data)

df_cleaned = df.drop_duplicates()
print("基础去重结果：")
print(df_cleaned)

df_last = df.drop_duplicates(subset=['客户'], keep='last')
print("\n保留最后客户记录：")
print(df_last)

基础去重结果：
   订单ID    客户   金额
0  A100  小象咖啡  150
2  A101  腾讯控股  200
3  A102  贵州茅台  300
4  A102  贵州茅台  350

保留最后客户记录：
   订单ID    客户   金额
1  A100  小象咖啡  150
2  A101  腾讯控股  200
4  A102  贵州茅台  350

自定义去重逻辑

import pandas as pd

data = {
    '订单ID': ['A100', 'A100', 'A101', 'A102', 'A102'],
    '客户': ['小象咖啡', '小象咖啡', '腾讯控股', '贵州茅台', '贵州茅台'],
    '金额': [150, 150, 200, 300, 350]
}
df = pd.DataFrame(data)

df_sorted = df.sort_values('金额', ascending=False)
df_top = df_sorted.drop_duplicates(subset=['订单ID'])
print("\n保留最高金额订单：")
print(df_top)

保留最高金额订单：
   订单ID    客户   金额
4  A102  贵州茅台  350
2  A101  腾讯控股  200
0  A100  小象咖啡  150

高级应用场景

标记重复组

import pandas as pd

data = {
    '订单ID': ['A100', 'A100', 'A101', 'A102', 'A102'],
    '客户': ['小象咖啡', '小象咖啡', '腾讯控股', '贵州茅台', '贵州茅台'],
    '金额': [150, 150, 200, 300, 350]
}
df = pd.DataFrame(data)

df['重复计数'] = df.groupby(['订单ID', '客户']).cumcount() + 1
print("\n添加重复计数：")
print(df)

添加重复计数：
   订单ID    客户   金额  重复计数
0  A100  小象咖啡  150     1
1  A100  小象咖啡  150     2
2  A101  腾讯控股  200     1
3  A102  贵州茅台  300     1
4  A102  贵州茅台  350     2

条件保留重复项

import pandas as pd

data = {
    '订单ID': ['A100', 'A100', 'A101', 'A102', 'A102'],
    '客户': ['小象咖啡', '小象咖啡', '腾讯控股', '贵州茅台', '贵州茅台'],
    '金额': [150, 150, 200, 300, 350]
}
df = pd.DataFrame(data)

df_filtered = df[df.duplicated(subset=['客户'], keep=False) & (df['金额'] > 200)]
print("\n高金额重复客户：")
print(df_filtered)

高金额重复客户：
   订单ID    客户   金额
3  A102  贵州茅台  300
4  A102  贵州茅台  350

📝 动手练一练

第 1 题 · 概念应用

在分析一个高频交易数据集时，你发现同一毫秒内，同一股票代码 AAPL 连续出现了三条报价记录，价格依次为 150.10、150.12、150.11。你希望保留价格最高的那条（150.12）作为该时刻的有效报价，以便进行后续的价差分析。

以下哪种处理方式最可靠地实现你的目标？

• A. df.drop_duplicates(subset=['ticker', 'timestamp'], keep='first')
• B. df.drop_duplicates(subset=['ticker', 'timestamp'], keep='last')
• C. df.sort_values('price', ascending=False).drop_duplicates(subset=['ticker', 'timestamp'], keep='first')
• D. df.sort_values('price', ascending=True).drop_duplicates(subset=['ticker', 'timestamp'], keep='first')

第 2 题 · 代码填空

在回测系统中，你收到一份来自不同数据源的股票日行情合并数据 df_trades。数据中可能存在同一日期、同一股票的重复记录。你需要先按 date 升序、price 降序排列，以确保对于重复的 (date, ticker)，价格最高的记录排在前面，然后保留第一条记录，完成去重。

请补全以下代码：

import pandas as pd

# 模拟多源合并的行情数据
df_trades = pd.DataFrame({
    'date': ['2024-01-02', '2024-01-02', '2024-01-02', '2024-01-03'],
    'ticker': ['AAPL', 'AAPL', 'GOOGL', 'AAPL'],
    'price': [185.5, 185.3, 142.0, 186.0],
    'volume': [1000, 950, 500, 1200]
})

# 步骤1：按日期升序、价格降序排序
df_sorted = df_trades.sort_values(by=['date', 'price'], ascending=[True, False])

# 步骤2：对排序后的数据，按日期和股票代码去重，保留第一条（即价格最高的）记录
df_cleaned = df_sorted.______(subset=['date', 'ticker'], keep='first')

print(df_cleaned[['date', 'ticker', 'price']])

import pandas as pd

# 模拟多源合并的行情数据
df_trades = pd.DataFrame({
    'date': ['2024-01-02', '2024-01-02', '2024-01-02', '2024-01-03'],
    'ticker': ['AAPL', 'AAPL', 'GOOGL', 'AAPL'],
    'price': [185.5, 185.3, 142.0, 186.0],
    'volume': [1000, 950, 500, 1200]
})

# 步骤1：按日期升序、价格降序排序
df_sorted = df_trades.sort_values(by=['date', 'price'], ascending=[True, False])

# 步骤2：对排序后的数据，按日期和股票代码去重，保留第一条（即价格最高的）记录
df_cleaned = df_sorted.drop_duplicates(subset=['date', 'ticker'], keep='first')

print(df_cleaned[['date', 'ticker', 'price']])

         date ticker  price
0  2024-01-02   AAPL  185.5
2  2024-01-02  GOOGL  142.0
3  2024-01-03   AAPL  186.0

本章小结

📋 行动清单

• 使用 duplicated() 检测自己数据集中的重复行，统计重复比例
• 实践不同参数的 drop_duplicates()，比较 keep=‘first’ 和 keep=‘last’ 的区别
• 对时间序列数据按时间列排序后，保留每个ID的最新记录

—— 小象教研组