查看全课大纲(第 37 / 52 节)
- 1.量化分析基本概念:从咖啡馆到华尔街
- 2.量化交易员学习路线:从零基础到策略开发
- 3.量化策略生命周期:数据分析的五大流程
- 4.量化数据类型:数值型与类别型数据
- 5.量化沙盒搭建(1):Python与Anaconda安装
- 6.量化沙盒搭建(2):Jupyter Notebook与库配置
- 7.本地多源数据:量化历史回测的基石
- 8.TXT数据流操作:处理金融交易日志
- 9.JSON数据流操作:解析股票行情API响应
- 10.CSV行情文件操作:读取与存储历史K线
- 11.Excel报表操作:清洗财报与财务指标
- 12.量化数据库:SQL常用查询语法
- 13.量化数据库:Python连接与写入
- 14.量化多表连接:关联股票信息与行情
- 15.实战:小象咖啡店营业数据与个股财务指标的多源数据分析
- 16.量化数据采集:爬虫工作原理与合规
- 17.量化爬虫核心:URL管理与去重策略
- 18.量化网页下载:防反爬与请求头伪装
- 19.网页解析(1):使用XPath定位财经新闻
- 20.网页解析(2):使用CSS选择器与ItemLoader
- 21.Scrapy框架:构建工业级量化爬虫
- 22.Scrapy实战(1):新建项目与数据模型定义
- 23.Scrapy实战(2):编写财经爬虫逻辑
- 24.Scrapy实战(3):启用数据管道清洗行情
- 25.Scrapy实战(4):防反爬中间件配置
- 26.实战:构建每日热门个股行情自动采集系统
- 27.NumPy与SciPy:加速量化矩阵计算
- 28.NumPy数组:构建股票价格矩阵
- 29.数组切片:提取特定股票与交易日数据
- 30.NumPy常用方法:计算均值与波动率
- 31.向量化计算:摆脱缓慢的For循环
- 32.通用函数ufunc:计算对数收益率与累计收益
- 33.实战:股票组合资产收益率与协方差矩阵计算
- 34.Pandas Series:管理单只股票收盘价
- 35.Pandas DataFrame:构建多只股票行情面板
- 36.Pandas Index:时间序列索引与对齐
- 37.DataFrame索引操作:loc与iloc定位行情
- 38.索引总结:量化多字段筛选与定位
- 39.运算与对齐:合并不同交易日的数据
- 40.Pandas map:对股票代码与状态做映射
- 41.Pandas apply:滚动计算技术指标
- 42.排序操作:按市盈率与收益率对股票排名
- 43.数据清洗:填充与剔除停牌股票缺失值
- 44.数据清洗:剔除重复报价与异常交易数据
- 45.常用统计:量化最大回撤与分位数风险评估
- 46.极值定位:寻找历史最高价与最低价的发生日
- 47.风险与累计收益:计算年化波动率与累计回报
- 48.实战:小象咖啡店营业数据与热门个股时间序列清洗分析
- 49.Series索引操作:按位置与标签访问行情数据
- 50.文件读写操作:CSV行情数据导入导出
- 51.数据清洗:替换异常报价数据
- 52.常用统计:sum/mean/median/count聚合指标
DataFrame索引操作:loc与iloc定位行情
约 8 分钟
小象实战讲义 · 量化交易Python入门:从咖啡馆到华尔街
Pandas 是量化交易员最核心的武器。本章你将通过 Series 和 DataFrame 深度处理时间序列行情数据,掌握 loc/iloc 定位筛选、缺失值与重复值清洗、以及最大回撤与年化波动率等核心指标统计计算。
💡 核心导读
DataFrame的索引操作是Pandas数据处理的核心技能之一。本节将系统讲解DataFrame的索引访问方法,包括基础索引、loc/iloc索引器、布尔索引以及多级索引操作。通过学习,您将掌握:
- 使用方括号和属性方式访问列数据
- 理解loc(标签索引)和iloc(位置索引)的区别
- 构建复杂条件进行布尔索引
- 处理层次化索引(MultiIndex)数据
- 避免常见的索引操作陷阱
基础索引操作
列数据访问
DataFrame最基础的索引操作是列选择,有以下两种等效方式:
import pandas as pd
df = pd.DataFrame({
'产品': ['A', 'B', 'C', 'D'],
'销量': [120, 95, 135, 80],
'单价': [15.5, 22.0, 18.0, 25.5]
})
print(df['销量'])
print(df.单价)0 120
1 95
2 135
3 80
Name: 销量, dtype: int64
0 15.5
1 22.0
2 18.0
3 25.5
Name: 单价, dtype: float64行数据访问
获取行数据需要配合loc/iloc索引器:
import pandas as pd
df = pd.DataFrame({
'产品': ['A', 'B', 'C', 'D'],
'销量': [120, 95, 135, 80],
'单价': [15.5, 22.0, 18.0, 25.5]
})
print(df.iloc[1])
print(df.loc[:1])产品 B
销量 95
单价 22.0
Name: 1, dtype: object
产品 销量 单价
0 A 120 15.5
1 B 95 22.0高级索引方法
loc与iloc索引器
两种索引器的核心区别:
| 索引器 | 选择依据 | 切片包含结束点 | 支持布尔数组 |
|---|---|---|---|
| loc | 标签 | 是 | 是 |
| iloc | 整数位置 | 否 | 是 |
import pandas as pd
df = pd.DataFrame({
'产品': ['A', 'B', 'C', 'D'],
'销量': [120, 95, 135, 80],
'单价': [15.5, 22.0, 18.0, 25.5]
})
df = df.set_index('产品')
print(df.loc[['A', 'C'], '单价'])
print(df.iloc[1:3, 0])产品
A 15.5
C 18.0
Name: 单价, dtype: float64
产品
B 95
C 135
Name: 销量, dtype: int64布尔索引
通过条件表达式筛选数据:
import pandas as pd
df = pd.DataFrame({
'产品': ['A', 'B', 'C', 'D'],
'销量': [120, 95, 135, 80],
'单价': [15.5, 22.0, 18.0, 25.5]
})
condition = (df['销量'] > 100) & (df['单价'] < 20)
print(df[condition])
print(df.query('销量 > 100 and 单价 < 20'))产品 销量 单价
0 A 120 15.5
2 C 135 18.0
产品 销量 单价
0 A 120 15.5
2 C 135 18.0层次化索引操作
创建MultiIndex
import pandas as pd
import numpy as np
arrays = [['苹果公司', '苹果公司', '谷歌公司', '谷歌公司'], ['旗舰店', '体验店', '旗舰店', '体验店']]
multi_df = pd.DataFrame([[1.2, -0.5], [0.8, 0.3], [-0.9, 1.1], [0.4, -0.7]],
index=pd.MultiIndex.from_arrays(arrays, names=('股票标的', '门店')),
columns=['销售额', '成本'])
print(multi_df)销售额 成本
股票标的 门店
苹果公司 旗舰店 1.2 -0.5
体验店 0.8 0.3
谷歌公司 旗舰店 -0.9 1.1
体验店 0.4 -0.7多级索引访问
import pandas as pd
import numpy as np
arrays = [['苹果公司', '苹果公司', '谷歌公司', '谷歌公司'], ['旗舰店', '体验店', '旗舰店', '体验店']]
multi_df = pd.DataFrame([[1.2, -0.5], [0.8, 0.3], [-0.9, 1.1], [0.4, -0.7]],
index=pd.MultiIndex.from_arrays(arrays, names=('股票标的', '门店')),
columns=['销售额', '成本'])
print(multi_df.loc['苹果公司'])
print(multi_df.loc[('谷歌公司', '体验店')])
print(multi_df.xs('体验店', level='门店'))销售额 成本
门店
旗舰店 1.2 -0.5
体验店 0.8 0.3
销售额 0.4
成本 -0.7
Name: (谷歌公司, 体验店), dtype: float64
销售额 成本
股票标的
苹果公司 0.8 0.3
谷歌公司 0.4 -0.7📝 动手练一练
第 1 题 · 概念应用
你正在分析一个包含多只股票历史行情数据的 DataFrame df_prices,其索引是日期字符串(尚未转换为 datetime 类型),列名为股票代码(如 AAPL, GOOG)。你执行了以下操作:
import pandas as pd
df_prices = pd.DataFrame(
{'AAPL': [100.0, 101.0, 102.0], 'GOOG': [140.0, 141.0, 142.0]},
index=['2024-01-02', '2024-01-03', '2024-01-04'])
print(df_prices.loc['2024-01-02':'2024-01-03', 'AAPL'])
print(df_prices.iloc[0:2, 0])2024-01-02 100.0
2024-01-03 101.0
Name: AAPL, dtype: float64
2024-01-02 100.0
2024-01-03 101.0
Name: AAPL, dtype: float64关于这两行代码的结果,以下哪个说法是正确的?
- A. 两行代码选取的数据范围(行和列)完全相同,因为
loc和iloc在切片时行为一致。 - B. 两行代码选取的行范围可能不同,因为
loc的切片包含结束标签'2024-01-03',而iloc的切片不包含结束位置2。 - C. 两行代码选取的行范围可能不同,因为
iloc的切片包含结束位置2,而loc的切片不包含结束标签'2024-01-03'。 - D. 两行代码选取的列范围可能不同,因为
loc使用列标签,而iloc使用列位置,它们无法指向同一列。
👉 点击查看参考答案
答案:B
推理过程:
df_prices.loc['2024-01-02':'2024-01-03', 'AAPL']是基于标签的切片。在 Pandas 中,loc的切片是包含结束标签的。因此,它会选取索引为'2024-01-02'和'2024-01-03'的行。df_prices.iloc[0:2, 0]是基于整数位置的切片。Python 和 Pandas 中,iloc的切片遵循[start:stop)原则,即不包含结束位置。因此,0:2会选取位置 0 和 1 的行,对应索引'2024-01-02'和'2024-01-03'。- 在这个特定的、索引顺序排列的示例中,两行代码最终选取的行数据是相同的(都是前两行)。但选项 B 强调“可能不同”,这是关键。如果 DataFrame 的索引不是单调递增或顺序被打乱,
loc基于标签的切片行为与iloc基于位置的切片行为将产生不同的结果。因此,从概念上讲,它们的行为机制不同,结果“可能不同”是正确的。 - 选项 A 错误,因为两者的切片机制有本质区别。选项 C 错误,它描述的行为与事实相反。选项 D 错误,在这个例子中,
'AAPL'是第一列(位置0),loc和iloc可以指向同一列。
第 2 题 · 代码填空
在风险监控中,你需要从一个持仓收益 DataFrame df_returns 中提取特定数据。该 DataFrame 索引为日期,列包括 'Portfolio'(组合收益)、'Benchmark'(基准收益)和 'RiskFree'(无风险收益)。请补全以下代码,使用 布尔索引 筛选出 组合收益为负且基准收益也为负 的所有交易日的数据。
import pandas as pd
import numpy as np
# 模拟生成一些收益数据
dates = pd.date_range('2024-06-01', periods=5, freq='D')
df_returns = pd.DataFrame({
'Portfolio': [0.02, -0.01, -0.005, 0.015, -0.02],
'Benchmark': [0.015, -0.008, -0.002, 0.012, -0.018],
'RiskFree': [0.0001, 0.0001, 0.0001, 0.0001, 0.0001]
}, index=dates)
# 构建布尔条件:组合收益 < 0 且 基准收益 < 0
condition = (df_returns['Portfolio'] < 0) & (df_returns['Benchmark'] < 0)
# 使用条件筛选 DataFrame
double_negative_days = df_returns[______]
print(double_negative_days)👉 点击查看参考答案
空位应填:condition
补全后的完整可运行代码:
import pandas as pd
import numpy as np
# 模拟生成一些收益数据
dates = pd.date_range('2024-06-01', periods=5, freq='D')
df_returns = pd.DataFrame({
'Portfolio': [0.02, -0.01, -0.005, 0.015, -0.02],
'Benchmark': [0.015, -0.008, -0.002, 0.012, -0.018],
'RiskFree': [0.0001, 0.0001, 0.0001, 0.0001, 0.0001]
}, index=dates)
# 构建布尔条件:组合收益 < 0 且 基准收益 < 0
condition = (df_returns['Portfolio'] < 0) & (df_returns['Benchmark'] < 0)
# 使用条件筛选 DataFrame
double_negative_days = df_returns[condition]
print(double_negative_days)Portfolio Benchmark RiskFree
2024-06-02 -0.010 -0.008 0.0001
2024-06-03 -0.005 -0.002 0.0001
2024-06-05 -0.020 -0.018 0.0001解释:
- 布尔索引是 Pandas 中基于条件筛选数据的强大工具。核心是创建一个与 DataFrame 行索引长度相同的布尔序列(
Series)。 - 代码中
condition = (df_returns['Portfolio'] < 0) & (df_returns['Benchmark'] < 0)创建了这样一个序列。对于每一行,如果两个条件都满足,则对应值为True,否则为False。 - 将
condition这个布尔序列放入方括号df_returns[condition],Pandas 会自动返回所有对应condition为True的行。 - 从输出可见,2024-06-02、2024-06-03 和 2024-06-05 这三天的数据被筛选出来,均为组合与基准同时为负的“双负”交易日。
本章小结
📋 行动清单
- 创建一个包含MultiIndex的DataFrame,练习使用loc和xs方法提取不同层级的数据
- 对销售数据DataFrame实现:1) 按条件筛选 2) 修改指定单元格值 3) 添加计算列
- 对比loc[1:3]和iloc[1:3]在不同索引DataFrame上的表现差异
—— 小象教研组