查看全课大纲(第 39 / 52 节)
- 1.量化分析基本概念:从咖啡馆到华尔街
- 2.量化交易员学习路线:从零基础到策略开发
- 3.量化策略生命周期:数据分析的五大流程
- 4.量化数据类型:数值型与类别型数据
- 5.量化沙盒搭建(1):Python与Anaconda安装
- 6.量化沙盒搭建(2):Jupyter Notebook与库配置
- 7.本地多源数据:量化历史回测的基石
- 8.TXT数据流操作:处理金融交易日志
- 9.JSON数据流操作:解析股票行情API响应
- 10.CSV行情文件操作:读取与存储历史K线
- 11.Excel报表操作:清洗财报与财务指标
- 12.量化数据库:SQL常用查询语法
- 13.量化数据库:Python连接与写入
- 14.量化多表连接:关联股票信息与行情
- 15.实战:小象咖啡店营业数据与个股财务指标的多源数据分析
- 16.量化数据采集:爬虫工作原理与合规
- 17.量化爬虫核心:URL管理与去重策略
- 18.量化网页下载:防反爬与请求头伪装
- 19.网页解析(1):使用XPath定位财经新闻
- 20.网页解析(2):使用CSS选择器与ItemLoader
- 21.Scrapy框架:构建工业级量化爬虫
- 22.Scrapy实战(1):新建项目与数据模型定义
- 23.Scrapy实战(2):编写财经爬虫逻辑
- 24.Scrapy实战(3):启用数据管道清洗行情
- 25.Scrapy实战(4):防反爬中间件配置
- 26.实战:构建每日热门个股行情自动采集系统
- 27.NumPy与SciPy:加速量化矩阵计算
- 28.NumPy数组:构建股票价格矩阵
- 29.数组切片:提取特定股票与交易日数据
- 30.NumPy常用方法:计算均值与波动率
- 31.向量化计算:摆脱缓慢的For循环
- 32.通用函数ufunc:计算对数收益率与累计收益
- 33.实战:股票组合资产收益率与协方差矩阵计算
- 34.Pandas Series:管理单只股票收盘价
- 35.Pandas DataFrame:构建多只股票行情面板
- 36.Pandas Index:时间序列索引与对齐
- 37.DataFrame索引操作:loc与iloc定位行情
- 38.索引总结:量化多字段筛选与定位
- 39.运算与对齐:合并不同交易日的数据
- 40.Pandas map:对股票代码与状态做映射
- 41.Pandas apply:滚动计算技术指标
- 42.排序操作:按市盈率与收益率对股票排名
- 43.数据清洗:填充与剔除停牌股票缺失值
- 44.数据清洗:剔除重复报价与异常交易数据
- 45.常用统计:量化最大回撤与分位数风险评估
- 46.极值定位:寻找历史最高价与最低价的发生日
- 47.风险与累计收益:计算年化波动率与累计回报
- 48.实战:小象咖啡店营业数据与热门个股时间序列清洗分析
- 49.Series索引操作:按位置与标签访问行情数据
- 50.文件读写操作:CSV行情数据导入导出
- 51.数据清洗:替换异常报价数据
- 52.常用统计:sum/mean/median/count聚合指标
运算与对齐:合并不同交易日的数据
约 8 分钟
小象实战讲义 · 量化交易Python入门:从咖啡馆到华尔街
Pandas 是量化交易员最核心的武器。本章你将通过 Series 和 DataFrame 深度处理时间序列行情数据,掌握 loc/iloc 定位筛选、缺失值与重复值清洗、以及最大回撤与年化波动率等核心指标统计计算。
💡 核心导读
本节将深入讲解 Pandas 中数据运算与对齐的核心机制。通过学习,您将掌握:1) Pandas 自动对齐特性在运算中的应用原理 2) 不同数据结构间的广播规则 3) 缺失值处理技巧。重点包含索引对齐、算术运算、比较运算等实战场景,并通过 DataFrame 与 Series 的混合运算案例演示 Pandas 的智能处理能力。
索引对齐机制
自动对齐原理
Pandas 所有二元运算都基于索引对齐,这是其区别于 NumPy 的核心特性。当两个对象运算时,系统会先检查索引匹配情况:
import pandas as pd
s1 = pd.Series([10, 20, 30], index=['A', 'B', 'C'])
s2 = pd.Series([1, 2, 3], index=['B', 'C', 'D'])
result = s1 + s2
print(result)输出结果:
A NaN
B 21.0
C 32.0
D NaN
dtype: float64对齐规则
- 索引完全匹配时直接运算
- 索引部分匹配时,仅对共有索引执行运算
- 无匹配索引时返回 NaN
算术运算实战
DataFrame 广播运算
Pandas 支持维度自动扩展(广播):
import pandas as pd
df = pd.DataFrame({'A': [1, 2], 'B': [3, 4]})
series = pd.Series([10, 20], index=['A', 'B'])
df_add = df + series
print("列广播结果:\n", df_add)
row_series = pd.Series([10, 20], index=[0, 1])
df_add_row = df.add(row_series, axis=0)
print("行广播结果:\n", df_add_row)数据结构变化:
列广播结果:
A B
0 11 23
1 12 24
行广播结果:
A B
0 11 13
1 22 24缺失值处理
使用运算方法替代运算符可控制缺失值行为:
import pandas as pd
df1 = pd.DataFrame({'X': [1, None], 'Y': [3, 4]})
df2 = pd.DataFrame({'X': [5, 6], 'Y': [None, 8]})
print("加法结果:\n", df1 + df2)
print("填充后加法:\n", df1.add(df2, fill_value=0))加法结果:
X Y
0 6.0 NaN
1 NaN 12.0
填充后加法:
X Y
0 6.0 3.0
1 6.0 12.0比较运算与逻辑操作
元素级比较
生成布尔型 DataFrame/Series:
import pandas as pd
df = pd.DataFrame({'Temp': [18.5, 22.1, 19.8],
'Humidity': [45, 62, 58]},
index=['Mon', 'Tue', 'Wed'])
high_temp = df['Temp'] > 20
print("高温日:\n", high_temp)
condition = (df['Temp'] > 18) & (df['Humidity'] < 60)
print("舒适日:\n", df[condition])高温日:
Mon False
Tue True
Wed False
Name: Temp, dtype: bool
舒适日:
Temp Humidity
Mon 18.5 45
Wed 19.8 58📝 动手练一练
第 1 题 · 概念应用
你正在计算一个投资组合中两只股票(AAPL 和 MSFT)在最近两个交易日的日收益率。数据来自两个不同的数据源,分别整理成了 Series returns_a 和 returns_b,它们的索引(日期)部分重叠:
returns_a: 2024-01-02 -> 0.015, 2024-01-03 -> -0.008returns_b: 2024-01-03 -> 0.022, 2024-01-04 -> 0.005
为了得到这两只股票在所有日期上的合并收益率序列,你直接执行了 combined = returns_a + returns_b。关于结果 combined,以下哪项描述是正确的?
- A. 它将包含四个日期(2024-01-02, 2024-01-03, 2024-01-04, 2024-01-05)的收益率数据。
- B. 它将只包含一个日期(2024-01-03)的收益率数据,因为只有这一天两只股票的数据都齐全。
- C. 它将包含三个日期(2024-01-02, 2024-01-03, 2024-01-04)的数据,但 2024-01-02 和 2024-01-04 的值为 NaN。
- D. 程序会报错,因为两个 Series 的索引不完全相同。
👉 点击查看参考答案
答案:C(它将包含三个日期(2024-01-02, 2024-01-03, 2024-01-04)的数据,但 2024-01-02 和 2024-01-04 的值为 NaN。)
推理过程: Pandas 的二元运算(如加法)基于索引对齐。returns_a 和 returns_b 的索引并集是 ['2024-01-02', '2024-01-03', '2024-01-04']。对于共有索引 '2024-01-03',两者都有值,会进行相加(-0.008 + 0.022 = 0.014)。对于仅在 returns_a 中存在的 '2024-01-02',运算相当于 0.015 + NaN,结果为 NaN。同理,对于仅在 returns_b 中存在的 '2024-01-04',运算相当于 NaN + 0.005,结果也为 NaN。因此,结果 Series 包含三个日期,其中两个是 NaN。
第 2 题 · 代码填空
在风险分析中,我们经常需要将投资组合的日收益率与市场基准(如沪深300指数)的日收益率进行比较,计算超额收益(Alpha)。假设我们有两个 Series:portfolio_return 记录投资组合的日收益率,benchmark_return 记录基准的日收益率,它们的索引(日期)可能不完全一致。
请补全以下代码,计算投资组合相对于基准的日超额收益率。要求:对于任意一方缺失的日期,在计算时将该日的缺失收益率视为 0(即假设该日无收益)。请使用 Pandas 提供的、支持 fill_value 参数的算术方法。
import pandas as pd
# 模拟数据
portfolio_return = pd.Series([0.012, -0.005, 0.008], index=['2024-01-02', '2024-01-03', '2024-01-04'])
benchmark_return = pd.Series([0.010, 0.008], index=['2024-01-03', '2024-01-04'])
# 计算日超额收益率,缺失日收益率按0处理
excess_return = portfolio_return.______(benchmark_return, fill_value=0)
print(f"2024-01-02 的超额收益: {excess_return.get('2024-01-02', 0):.4f}")
print(f"2024-01-03 的超额收益: {excess_return.get('2024-01-03', 0):.4f}")👉 点击查看参考答案
空位应填:sub
完整代码与解释:
import pandas as pd
# 模拟数据
portfolio_return = pd.Series([0.012, -0.005, 0.008], index=['2024-01-02', '2024-01-03', '2024-01-04'])
benchmark_return = pd.Series([0.010, 0.008], index=['2024-01-03', '2024-01-04'])
# 计算日超额收益率,缺失日收益率按0处理
excess_return = portfolio_return.sub(benchmark_return, fill_value=0)
print(f"2024-01-02 的超额收益: {excess_return.get('2024-01-02', 0):.4f}")
print(f"2024-01-03 的超额收益: {excess_return.get('2024-01-03', 0):.4f}")运行结果:
2024-01-02 的超额收益: 0.0120
2024-01-03 的超额收益: -0.0150计算过程:
portfolio_return.sub(benchmark_return, fill_value=0)执行的是逐元素减法(投资组合收益 - 基准收益),并指定fill_value=0。- 对于
'2024-01-02':基准数据缺失,视为 0。超额收益 = 0.012 - 0 = 0.012。 - 对于
'2024-01-03':两者都有数据。超额收益 = -0.005 - 0.010 = -0.015。 - 对于
'2024-01-04':两者都有数据。超额收益 = 0.008 - 0.008 = 0.000(代码中未打印)。
本章小结
📋 行动清单
- 创建两个索引部分重叠的 Series,实践加减乘除运算并观察结果对齐方式
- 用 DataFrame 与 Series 进行行列两个维度的广播运算,比较 axis 参数的不同效果
- 对包含缺失值的数据集先填充再运算,对比直接运算的结果差异
—— 小象教研组