查看全课大纲(第 36 / 52 节)
- 1.量化分析基本概念:从咖啡馆到华尔街
- 2.量化交易员学习路线:从零基础到策略开发
- 3.量化策略生命周期:数据分析的五大流程
- 4.量化数据类型:数值型与类别型数据
- 5.量化沙盒搭建(1):Python与Anaconda安装
- 6.量化沙盒搭建(2):Jupyter Notebook与库配置
- 7.本地多源数据:量化历史回测的基石
- 8.TXT数据流操作:处理金融交易日志
- 9.JSON数据流操作:解析股票行情API响应
- 10.CSV行情文件操作:读取与存储历史K线
- 11.Excel报表操作:清洗财报与财务指标
- 12.量化数据库:SQL常用查询语法
- 13.量化数据库:Python连接与写入
- 14.量化多表连接:关联股票信息与行情
- 15.实战:小象咖啡店营业数据与个股财务指标的多源数据分析
- 16.量化数据采集:爬虫工作原理与合规
- 17.量化爬虫核心:URL管理与去重策略
- 18.量化网页下载:防反爬与请求头伪装
- 19.网页解析(1):使用XPath定位财经新闻
- 20.网页解析(2):使用CSS选择器与ItemLoader
- 21.Scrapy框架:构建工业级量化爬虫
- 22.Scrapy实战(1):新建项目与数据模型定义
- 23.Scrapy实战(2):编写财经爬虫逻辑
- 24.Scrapy实战(3):启用数据管道清洗行情
- 25.Scrapy实战(4):防反爬中间件配置
- 26.实战:构建每日热门个股行情自动采集系统
- 27.NumPy与SciPy:加速量化矩阵计算
- 28.NumPy数组:构建股票价格矩阵
- 29.数组切片:提取特定股票与交易日数据
- 30.NumPy常用方法:计算均值与波动率
- 31.向量化计算:摆脱缓慢的For循环
- 32.通用函数ufunc:计算对数收益率与累计收益
- 33.实战:股票组合资产收益率与协方差矩阵计算
- 34.Pandas Series:管理单只股票收盘价
- 35.Pandas DataFrame:构建多只股票行情面板
- 36.Pandas Index:时间序列索引与对齐
- 37.DataFrame索引操作:loc与iloc定位行情
- 38.索引总结:量化多字段筛选与定位
- 39.运算与对齐:合并不同交易日的数据
- 40.Pandas map:对股票代码与状态做映射
- 41.Pandas apply:滚动计算技术指标
- 42.排序操作:按市盈率与收益率对股票排名
- 43.数据清洗:填充与剔除停牌股票缺失值
- 44.数据清洗:剔除重复报价与异常交易数据
- 45.常用统计:量化最大回撤与分位数风险评估
- 46.极值定位:寻找历史最高价与最低价的发生日
- 47.风险与累计收益:计算年化波动率与累计回报
- 48.实战:小象咖啡店营业数据与热门个股时间序列清洗分析
- 49.Series索引操作:按位置与标签访问行情数据
- 50.文件读写操作:CSV行情数据导入导出
- 51.数据清洗:替换异常报价数据
- 52.常用统计:sum/mean/median/count聚合指标
Pandas Index:时间序列索引与对齐
约 8 分钟
小象实战讲义 · 量化交易Python入门:从咖啡馆到华尔街
Pandas 是量化交易员最核心的武器。本章你将通过 Series 和 DataFrame 深度处理时间序列行情数据,掌握 loc/iloc 定位筛选、缺失值与重复值清洗、以及最大回撤与年化波动率等核心指标统计计算。
💡 核心导读
本节将深入讲解 Pandas 中 Index 数据结构的设计原理与核心操作。通过学习,您将掌握:1) Index 的不可变特性与内存优化机制 2) 各类 Index 的创建与转换方法 3) 多级索引的层级控制技术 4) 高性能索引查询的实践技巧。重点通过时间序列索引和分类索引的实战演示,展示如何利用 Index 特性提升数据操作效率。
Index 基础特性
不可变性与哈希加速
Index 是 Pandas 的不可变序列,所有修改操作都会生成新对象。这种设计带来两个核心优势:
import pandas as pd
idx = pd.Index(['A', 'B', 'C'], name='letters')
print(idx.is_unique) # 检查唯一性 → True
try:
idx[0] = 'X' # TypeError: Index does not support mutable operations
except TypeError as e:
print(e)索引类型对比
Pandas 提供多种专用索引类型:
True
Index does not support mutable operations核心操作演练
多级索引构建
import pandas as pd
arrays = [
['A', 'A', 'B', 'B'],
[1, 2, 1, 2]
]
multi_idx = pd.MultiIndex.from_arrays(arrays, names=('group', 'id'))
print(multi_idx.to_frame())group id
group id
A 1 A 1
2 A 2
B 1 B 1
2 B 2时间索引重采样
import pandas as pd
date_idx = pd.date_range('2023-01-01', periods=6, freq='D')
ts = pd.Series([10, 15, 12, 9, 14, 11], index=date_idx)
weekly = ts.resample('W').mean()
print(weekly.index) # DatetimeIndex(['2023-01-01', '2023-01-08'], dtype='datetime64[ns]', freq='W-SUN')DatetimeIndex(['2023-01-01', '2023-01-08'], dtype='datetime64[us]', freq='W-SUN')高级查询技巧
基于条件的索引选择
import pandas as pd
df = pd.DataFrame(
{'value': [100, 200, 150]},
index=pd.Index(['2023-Q1', '2023-Q2', '2023-Q3'], name='quarter')
)
result = df.query("index.str.endswith('Q2') | (value > 120)")
print(result)value
quarter
2023-Q2 200
2023-Q3 150索引堆叠与解堆
import pandas as pd
multi_df = pd.DataFrame(
{'sales': [240, 310, 290, 180]},
index=pd.MultiIndex.from_product([['East', 'West'], ['Jan', 'Feb']])
)
unstacked = multi_df.unstack()
print(unstacked)sales
Feb Jan
East 310 240
West 180 290📝 动手练一练
第 1 题 · 概念应用
你正在分析两只股票(A和B)的日收益率序列。由于停牌等原因,它们的交易日索引(index_A 和 index_B)并不完全一致。你希望计算这两只股票收益率的相关系数,以评估它们的联动性。
以下哪种做法是最安全且符合 Pandas 设计哲学的?
- A. 分别对
series_A和series_B调用.corr()方法,然后将两个结果取平均。 - B. 分别计算
series_A.mean()和series_B.mean(),比较两个平均收益率的数值是否接近,据此判断它们的联动性。 - C. 手动遍历
index_A,检查每个日期是否也在index_B中,将双方都存在的日期对应的收益率提取出来,放入两个新列表,最后用np.corrcoef计算。 - D. 先使用
series_A.align(series_B, join='inner')获取索引对齐后的两个新序列,再计算它们的相关系数。
👉 点击查看参考答案
答案:D
推理过程:
- A 错误:
.corr()方法计算的是序列内部元素之间的相关性(需要两个序列作为输入),对单个序列调用此方法无意义。且取平均毫无统计依据。 - B 错误:比较两个序列的均值只能说明它们的平均收益水平是否接近,完全无法反映“同涨同跌”的线性联动程度——两条均值相同的序列可以相关性为 -1。联动性要用相关系数,而相关系数计算前必须先按共同日期对齐。
- C 错误:这是手动实现索引对齐,效率低下且容易出错,完全违背了 Pandas 利用索引自动对齐的核心优势。
- D 正确:
Series.align()方法显式地执行索引对齐操作,join='inner'参数明确指定只保留两个索引的交集。得到对齐后的序列再进行计算,逻辑清晰、步骤可控,是“最安全”的做法。它体现了“先对齐,后计算”的 Pandas 最佳实践,能有效避免因索引错位导致的错误。
因此,D 是最显式、最符合“设计哲学”的推荐做法。
第 2 题 · 代码填空
你有一份股票行情数据,其索引是字符串格式的日期。你需要将其转换为 DatetimeIndex,并筛选出 2024 年第一季度(1月、2月、3月) 的所有数据。
请补全以下代码中的空位:
import pandas as pd
# 示例数据
data = {
'close': [100, 101, 102, 99, 104, 105, 103],
}
date_strings = ['2024-01-15', '2024-02-01', '2024-02-15', '2024-03-10', '2024-04-05', '2024-01-31', '2024-03-20']
df = pd.DataFrame(data, index=date_strings)
# 1. 将字符串索引转换为 DatetimeIndex
df.index = pd.______(df.index)
# 2. 时间区间切片要求索引按时间单调排列,先排序
df = df.sort_index()
# 3. 筛选出2024年第一季度的数据
q1_data = df.loc['2024-01':'2024-03']
print(q1_data)👉 点击查看参考答案
空位应填:to_datetime
补全后的完整可运行代码:
import pandas as pd
# 示例数据
data = {
'close': [100, 101, 102, 99, 104, 105, 103],
}
date_strings = ['2024-01-15', '2024-02-01', '2024-02-15', '2024-03-10', '2024-04-05', '2024-01-31', '2024-03-20']
df = pd.DataFrame(data, index=date_strings)
# 1. 将字符串索引转换为 DatetimeIndex
df.index = pd.to_datetime(df.index)
# 2. 时间区间切片要求索引按时间单调排列,先排序
df = df.sort_index()
# 3. 筛选出2024年第一季度的数据
q1_data = df.loc['2024-01':'2024-03']
print(q1_data)运行结果:
close
2024-01-15 100
2024-01-31 105
2024-02-01 101
2024-02-15 102
2024-03-10 99
2024-03-20 103解释:
pd.to_datetime()是 Pandas 将类似日期的字符串序列转换为DatetimeIndex的标准函数。- 基于标签的时间区间切片(
df.loc['2024-01':'2024-03'])要求索引单调有序,否则 pandas 无法确定切片边界、会直接报错;因此先sort_index()再切片是时间序列处理的标准动作。转换为DatetimeIndex后,部分字符串切片会选取 2024年1月1日 到 2024年3月31日(含两端)之间的所有行,2024-04-05的数据被正确排除。
本章小结
📋 行动清单
- 使用
pd.IntervalIndex将年龄数据划分为 0-18, 19-35, 36-60 三个区间,并统计各区间人数 - 对时间序列索引执行时区转换(UTC→Asia/Shanghai),然后按工作日/周末分组计算均值
- 创建包含3个层级的多级索引(国家→股票标的→日期),练习使用
xs()方法进行跨层级查询
—— 小象教研组