查看全课大纲(第 33 / 52 节)
- 1.量化分析基本概念:从咖啡馆到华尔街
- 2.量化交易员学习路线:从零基础到策略开发
- 3.量化策略生命周期:数据分析的五大流程
- 4.量化数据类型:数值型与类别型数据
- 5.量化沙盒搭建(1):Python与Anaconda安装
- 6.量化沙盒搭建(2):Jupyter Notebook与库配置
- 7.本地多源数据:量化历史回测的基石
- 8.TXT数据流操作:处理金融交易日志
- 9.JSON数据流操作:解析股票行情API响应
- 10.CSV行情文件操作:读取与存储历史K线
- 11.Excel报表操作:清洗财报与财务指标
- 12.量化数据库:SQL常用查询语法
- 13.量化数据库:Python连接与写入
- 14.量化多表连接:关联股票信息与行情
- 15.实战:小象咖啡店营业数据与个股财务指标的多源数据分析
- 16.量化数据采集:爬虫工作原理与合规
- 17.量化爬虫核心:URL管理与去重策略
- 18.量化网页下载:防反爬与请求头伪装
- 19.网页解析(1):使用XPath定位财经新闻
- 20.网页解析(2):使用CSS选择器与ItemLoader
- 21.Scrapy框架:构建工业级量化爬虫
- 22.Scrapy实战(1):新建项目与数据模型定义
- 23.Scrapy实战(2):编写财经爬虫逻辑
- 24.Scrapy实战(3):启用数据管道清洗行情
- 25.Scrapy实战(4):防反爬中间件配置
- 26.实战:构建每日热门个股行情自动采集系统
- 27.NumPy与SciPy:加速量化矩阵计算
- 28.NumPy数组:构建股票价格矩阵
- 29.数组切片:提取特定股票与交易日数据
- 30.NumPy常用方法:计算均值与波动率
- 31.向量化计算:摆脱缓慢的For循环
- 32.通用函数ufunc:计算对数收益率与累计收益
- 33.实战:股票组合资产收益率与协方差矩阵计算
- 34.Pandas Series:管理单只股票收盘价
- 35.Pandas DataFrame:构建多只股票行情面板
- 36.Pandas Index:时间序列索引与对齐
- 37.DataFrame索引操作:loc与iloc定位行情
- 38.索引总结:量化多字段筛选与定位
- 39.运算与对齐:合并不同交易日的数据
- 40.Pandas map:对股票代码与状态做映射
- 41.Pandas apply:滚动计算技术指标
- 42.排序操作:按市盈率与收益率对股票排名
- 43.数据清洗:填充与剔除停牌股票缺失值
- 44.数据清洗:剔除重复报价与异常交易数据
- 45.常用统计:量化最大回撤与分位数风险评估
- 46.极值定位:寻找历史最高价与最低价的发生日
- 47.风险与累计收益:计算年化波动率与累计回报
- 48.实战:小象咖啡店营业数据与热门个股时间序列清洗分析
- 49.Series索引操作:按位置与标签访问行情数据
- 50.文件读写操作:CSV行情数据导入导出
- 51.数据清洗:替换异常报价数据
- 52.常用统计:sum/mean/median/count聚合指标
实战:股票组合资产收益率与协方差矩阵计算
约 15 分钟
NumPy 综合实战:股票收益率序列的协方差矩阵与组合风险
小象实战讲义 · 量化交易Python入门:从咖啡馆到华尔街
本节是第 4 章 NumPy 的压轴综合实战。原始课程在这里使用的是一份「2016 年美国大选民调」数据集,用它演示 NumPy 的大规模数组处理;但那份数据的年代久远、与量化主题无关,本节改用一套中性的股票日收益率模拟数据,演示完全相同的一套 NumPy 分析技术:数组构造与形状变换、协方差矩阵计算、布尔掩码分组、向量化 加权聚合。学完本节,你将能亲手算出组合的协方差矩阵,并理解它为什么是量化风险管理的基础工具。
💡 核心导读
- 实战目标:给定若干只股票的日收益率序列,算出它们两两之间的协方差矩阵,为组合风险度量做准备。
- 核心概念:协方差矩阵 刻画资产间收益的联动方向;矩阵一定是对称的()。
- 三步处理流程:收益率数组构造 → 均值中心化 → 矩阵化协方差计算。
- 风险提示:回测与统计都存在幸存者偏差与前视偏差,本节末尾会说明它们如何让实盘表现与历史统计产生偏离。
- 全部代码锁定现代环境实跑(NumPy 2.5),输出可直接核对。
1. 收益率序列的构造与形状
量化分析里最常用的原始数据形态是「收益率矩阵」:每一行是一只标的,每一列是一个交易日,格子里是当日收益率。后续所有统计(均值、波动、协方差)都建立在这个矩阵之上。
import numpy as np
# 三只标的 × 5 个交易日的日收益率(小数,0.012 表示 1.2%)
# 硬编码小样例,输出完全确定
returns = np.array([
[0.012, -0.008, 0.005, 0.011, -0.004],
[-0.015, 0.006, 0.009, -0.004, 0.007],
[0.003, 0.002, -0.006, 0.007, 0.001],
])
names = ["标的A", "标的B", "标的C"]
print("收益率矩阵形状(行数=标的数,列数=交易日数):", returns.shape)
print("各标的平均日收益率:")
for name, row in zip(names, returns):
print(f" {name}: {row.mean():+.4f}")收益率矩阵形状(行数=标的数,列数=交易日数): (3, 5)
各标的平均日收益率:
标的A: +0.0032
标的B: +0.0006
标的C: +0.0014(3, 5) 这个形状是后面所有运算的前提:行方向是标的、列方向是时间。搞反方向是新手最常见的错误,下一节的协方差矩阵会直接暴露这一点。
2. 协方差矩阵:资产间联动关系的全景图
协方差矩阵 的第 个元素是第 只标的与第 只标的日收益率的协方差:
其中 是交易日数, 是第 只标的的平均收益率——必须先中心化,因为协方差衡量的是「共同波动」而非「各自水平」。
NumPy 提供了 np.cov,它默认按行(rowvar=True)计算,正好符合我们的「每行一只标的」布局:
import numpy as np
# 三只标的 × 5 个交易日的日收益率(硬编码小样例)
returns = np.array([
[0.012, -0.008, 0.005, 0.011, -0.004],
[-0.015, 0.006, 0.009, -0.004, 0.007],
[0.003, 0.002, -0.006, 0.007, 0.001],
])
names = ["标的A", "标的B", "标的C"]
# np.cov 默认 rowvar=True:每一行视为一个变量,正是「每行一只标的」的口径
cov = np.cov(returns)
print("协方差矩阵:")
for name, row in zip(names, cov):
print(f" {name}: " + " ".join(f"{v:+.6f}" for v in row))
# 协方差矩阵的对角线是各标的自身的方差
print("\n各标的日收益方差:")
for name, var in zip(names, np.diag(cov)):
print(f" {name}: {var:.6f}")
# 对称性校验:协方差矩阵必然对称
print("\n矩阵是否对称(cov == cov.T):", bool(np.allclose(cov, cov.T)))协方差矩阵:
标的A: +0.000080 -0.000066 +0.000010
标的B: -0.000066 +0.000101 -0.000028
标的C: +0.000010 -0.000028 +0.000022
各标的日收益方差:
标的A: 0.000080
标的B: 0.000101
标的C: 0.000022
矩阵是否对称(cov == cov.T): True怎么读这张表:
- 对角线是各标的自身的方差(波动水平)。这里标的 B 方差最大(0.000101),标的 C 最小(0.000022),意味着 C 的日收益波动最平缓。
- 非对角线刻画联动:标的 A 与 B 的协方差为负(-0.000066),表示两者倾向反向波动——同涨同跌的情况较少,这正是分散投资想要的;B 与 C 的协方差同样为负(-0.000028),但程度更弱;而 A 与 C 的协方差为正(+0.000010),说明这两只标的略微同向波动。
- 对称性是协方差矩阵的结构性质,脚本末尾用
np.allclose做了数值校验,读者可自行验证。
实战提示:如果两只资产协方差接近 0 或为负,说明它们的波动基本独立或反向,把它们组合起来能有效降低组合波动;反之若协方差为正(尤其接近 1,即完全同向),分散风险的效果就明显减弱。注意本例中 A 与 C 正是这种正相关情形,后面第 4 节会看到它对组合波动的影响。
3. 布尔掩码分组与向量化加权聚合
协方差之外,量化里另一个高频场景是「按条件分组统计」:比如把交易日按「大盘上涨/下跌」分组,观察各标的在这两种状态下的平均表现。核心思路与前面章节一致——用布尔掩码取出子集,再做向量化聚合。
import numpy as np
# 三只标的 × 5 个交易日的日收益率(硬编码小样例)
returns = np.array([
[0.012, -0.008, 0.005, 0.011, -0.004],
[-0.015, 0.006, 0.009, -0.004, 0.007],
[0.003, 0.002, -0.006, 0.007, 0.001],
])
names = ["标的A", "标的B", "标的C"]
# 以 A 标的当日涨跌作为「市场状态」的代理:正数=上涨日,负数=下跌日
market = returns[0]
up_mask = market > 0
down_mask = market < 0
print("上涨日天数:", int(up_mask.sum()), "|下跌日天数:", int(down_mask.sum()))
print("\n各标的在两类市场状态下的平均日收益率:")
for name, row in zip(names, returns):
up_avg = row[up_mask].mean()
down_avg = row[down_mask].mean()
print(f" {name}: 上涨日 {up_avg:+.4f} 下跌日 {down_avg:+.4f}")
# 向量化加权聚合:组合收益 = 各标的收益率按权重加权求和
# 权重之和刻意小于 1,模拟「留有现金仓位」的真实情形
weights = np.array([0.45, 0.25, 0.15])
print("\n权重:", weights, "权重之和:", round(float(weights.sum()), 2))
portfolio = returns.T @ weights
print("各交易日组合收益率:", np.round(portfolio, 4))
print("组合日均收益率:", f"{portfolio.mean():+.4f}")上涨日天数: 3 |下跌日天数: 2
各标的在两类市场状态下的平均日收益率:
标的A: 上涨日 +0.0093 下跌日 -0.0060
标的B: 上涨日 -0.0033 下跌日 +0.0065
标的C: 上涨日 +0.0013 下跌日 +0.0015
权重: [0.45 0.25 0.15] 权重之和: 0.85
各交易日组合收益率: [ 0.0021 -0.0018 0.0036 0.005 0.0001]
组合日均收益率: +0.0018这一段有两个必须点明的地方:
- 矩阵乘法是权重聚合的正确写法:
returns.T @ weights中,returns.T是 (交易日 × 标的),weights是长度为 3 的向量,矩阵乘向量得到长度 5 的向量——每个元素正是「当日三只标的收益率按权重加权求和」。这比自己写循环更简洁,也更快。 - 权重必须显式核对是否归一化:本例
weights.sum()为 0.85 而非 1.0,这是刻意保留的现金仓位。部分 invested 的组合收益率本就该低于满仓,读者若要满仓操作,应先做weights = weights / weights.sum()归一化。这在实盘里对应「仓位不满」的常见状态,回测时务必显式声明,避免把仓位比例的误差算成策略收益。
顺带一个观察:把上面三只标的的分组结果对照着看——标的 B 在「A 上涨日」里的平均收益是 -0.0033(反而为负),在「A 下跌日」里却是 +0.0065。这正是负协方差的直观体现:市场分化时它们往往反向而行。不过要注意这只样本只有 5 个交易日,统计量极不稳定,不能据此下任何投资判断;真实研究需要数百个交易日以上的样本。
4. 协方差矩阵在组合波动中的用法
有了协方差矩阵,组合波动可以直接由权重向量算出:
其中 是权重向量、 是协方差矩阵。这一步的价值在于:它显式地把「分散风险」变成了可计算的量——不同权重组合的波动差异,可以直接从矩阵算出而不必逐个回测。
import numpy as np
# 协方差矩阵(与上一节同一组数据的实跑真值,手工内联以便单块自包含)
cov = np.array([
[0.000080, -0.000066, 0.000010],
[-0.000066, 0.000101, -0.000028],
[0.000010, -0.000028, 0.000022],
])
def portfolio_vol(w, sigma):
"""组合日波动率 = sqrt(w^T · Σ · w)"""
return float(np.sqrt(w @ sigma @ w))
# 几种典型配置
cases = {
"等权三只": np.array([1 / 3, 1 / 3, 1 / 3]),
"重仓标的A": np.array([0.8, 0.1, 0.1]),
"只持标的A": np.array([1.0, 0.0, 0.0]),
"只持标的C": np.array([0.0, 0.0, 1.0]),
}
print("各配置的组合日波动率:")
for name, w in cases.items():
print(f" {name}: {portfolio_vol(w, cov):.6f}")
# 对照:单一持仓的波动率就等于其方差开方
print("\n对照——只持标的A 的波动率应等于其方差开方:")
print(" 开方计算:", f"{np.sqrt(0.000080):.6f}")
print(" 矩阵计算:", f"{portfolio_vol(np.array([1.0, 0.0, 0.0]), cov):.6f}")各配置的组合日波动率:
等权三只: 0.001972
重仓标的A: 0.006551
只持标的A: 0.008944
只持标的C: 0.004690
对照——只持标的A 的波动率应等于其方差开方:
开方计算: 0.008944
矩阵计算: 0.008944结果读出了三条结论:
- 分散确实降波动:等权三只的组合日波动(0.001972)远低于只持标的 A(0.008944),也低于只持波动最小的标的 C(0.004690)。这正是负协方差带来的好处——标的 A 与 B、C 大体反向波动,组合起来波动被显著摊薄。
- 集中则放大波动:重仓 80% 标的 A 的波动(0.006551)介于等权与满仓之间,随集中度单调上升,且始终高于等权配置。
- 矩阵公式与直觉自洽:「只持标的 A」时权重退化为 ,此时公式应等价于 。脚本末尾用两种算法对照,输出完全一致(均为 0.008944),说明公式与实现无误。
注意量级:本例的协方差矩阵取自仅 5 个交易日的小样本,方差估计本身噪声极大(真实日收益方差通常在 量级以下)。这里只用它演示矩阵运算与读表方法,不可用于任何实际风险评估。
5. 两条必须记住的回测风险
用历史数据统计收益与风险,极容易得到比实盘更漂亮的结果。以下两类偏差是量化入门阶段最该先建立概念的:
- 幸存者偏差(survivorship bias):只拿「活到今天」的标的做历史统计,会系统性高估收益。退市、停牌、被吸收合并的标的往往从样本里消失,只剩赢家——真实交易中你未必能在当年买到它们。
- 前视偏差(look-ahead bias):用了当时还不可得的信息。例如用「当日收盘价」生成信号却按「当日开盘价」成交,或用财报公布后的修订数据回测更早的时段。这会让回测收益远高于实盘可实现的水平。
工程上的防范手段包括:样本尽量包含退市标的、使用点可得(point-in-time)数据、信号与成交严格错开一个可执行的时间粒度。本节的示例数据是手写小样例,不构成任何策略验证;真实研究必须走上面这些纪律。
📝 动手练一练
概念辨析题:协方差矩阵对角线上的元素与非对角线元素分别代表什么?为什么协方差矩阵一定是对称的?
👉 点击查看参考答案
参考答案:
- 对角线 ,是第 只标的自身收益率的方差,反映其波动水平;
- 非对角线 ,是标的 与 收益率的协方差,刻画两者联动的方向与强度:正为同向,负为反向,接近 0 为基本独立;
- 对称性来自协方差定义本身:交换 与 的顺序不改变乘积 的值,因此 。
编程练习题:给定协方差矩阵
cov = np.array([[0.0001, 0.00002], [0.00002, 0.0004]]),请计算等权组合(各 50%)的日波动率。👉 点击查看参考答案
参考答案:
import numpy as np cov = np.array([[0.0001, 0.00002], [0.00002, 0.0004]]) w = np.array([0.5, 0.5]) vol = float(np.sqrt(w @ cov @ w)) print("等权组合日波动率:", f"{vol:.6f}")
等权组合日波动率: 0.011619等权时公式可化简为 。本例中两资产的协方差为正(+0.00002,同向波动),但即便如此,等权组合的波动率 0.011619 仍低于两者波动率的简单平均 0.015000——因为分散化本身就有降低波动的作用,只是效果比负相关时弱。读者可把协方差改成 -0.00002 再算一次(结果 0.010724),对比两者差距,这正是「负相关 + 分散」双重效应叠加的效果,也与第 4 节中负协方差的情形相互印证。
本章小结
- 走通了「收益率矩阵构造 → 中心化 → 协方差矩阵计算 → 组合波动度量」的 NumPy 量化分析流水线;
- 掌握了用
np.cov(rowvar=True)按标的维度计算协方差矩阵、读懂其对角线(方差)与非对角线(联动关系)的含义; - 掌握了用
returns.T @ weights做矩阵化的权重聚合,以及组合波动公式 的用法与自洽性验证; - 建立了量化方法论层面的风险意识:协方差为负才谈得上分散风险;回测必须警惕幸存者偏差与前视偏差。
📋 行动清单
- 动手改一改第 4 节的
weights,观察集中度变化时组合波动如何单调变化。 - 练习 2 中把协方差从正改为负(如
[[0.0001, -0.00002], [-0.00002, 0.0004]]),重算等权波动,体会分散优势。 - 复习第 4 章的 NumPy 形状与广播机制,为第 5 章 Pandas 的索引对齐打基础。
—— 小象教研组