查看全课大纲(第 28 / 52 节)
  1. 1.量化分析基本概念:从咖啡馆到华尔街
  2. 2.量化交易员学习路线:从零基础到策略开发
  3. 3.量化策略生命周期:数据分析的五大流程
  4. 4.量化数据类型:数值型与类别型数据
  5. 5.量化沙盒搭建(1):Python与Anaconda安装
  6. 6.量化沙盒搭建(2):Jupyter Notebook与库配置
  7. 7.本地多源数据:量化历史回测的基石
  8. 8.TXT数据流操作:处理金融交易日志
  9. 9.JSON数据流操作:解析股票行情API响应
  10. 10.CSV行情文件操作:读取与存储历史K线
  11. 11.Excel报表操作:清洗财报与财务指标
  12. 12.量化数据库:SQL常用查询语法
  13. 13.量化数据库:Python连接与写入
  14. 14.量化多表连接:关联股票信息与行情
  15. 15.实战:小象咖啡店营业数据与个股财务指标的多源数据分析
  16. 16.量化数据采集:爬虫工作原理与合规
  17. 17.量化爬虫核心:URL管理与去重策略
  18. 18.量化网页下载:防反爬与请求头伪装
  19. 19.网页解析(1):使用XPath定位财经新闻
  20. 20.网页解析(2):使用CSS选择器与ItemLoader
  21. 21.Scrapy框架:构建工业级量化爬虫
  22. 22.Scrapy实战(1):新建项目与数据模型定义
  23. 23.Scrapy实战(2):编写财经爬虫逻辑
  24. 24.Scrapy实战(3):启用数据管道清洗行情
  25. 25.Scrapy实战(4):防反爬中间件配置
  26. 26.实战:构建每日热门个股行情自动采集系统
  27. 27.NumPy与SciPy:加速量化矩阵计算
  28. 28.NumPy数组:构建股票价格矩阵
  29. 29.数组切片:提取特定股票与交易日数据
  30. 30.NumPy常用方法:计算均值与波动率
  31. 31.向量化计算:摆脱缓慢的For循环
  32. 32.通用函数ufunc:计算对数收益率与累计收益
  33. 33.实战:股票组合资产收益率与协方差矩阵计算
  34. 34.Pandas Series:管理单只股票收盘价
  35. 35.Pandas DataFrame:构建多只股票行情面板
  36. 36.Pandas Index:时间序列索引与对齐
  37. 37.DataFrame索引操作:loc与iloc定位行情
  38. 38.索引总结:量化多字段筛选与定位
  39. 39.运算与对齐:合并不同交易日的数据
  40. 40.Pandas map:对股票代码与状态做映射
  41. 41.Pandas apply:滚动计算技术指标
  42. 42.排序操作:按市盈率与收益率对股票排名
  43. 43.数据清洗:填充与剔除停牌股票缺失值
  44. 44.数据清洗:剔除重复报价与异常交易数据
  45. 45.常用统计:量化最大回撤与分位数风险评估
  46. 46.极值定位:寻找历史最高价与最低价的发生日
  47. 47.风险与累计收益:计算年化波动率与累计回报
  48. 48.实战:小象咖啡店营业数据与热门个股时间序列清洗分析
  49. 49.Series索引操作:按位置与标签访问行情数据
  50. 50.文件读写操作:CSV行情数据导入导出
  51. 51.数据清洗:替换异常报价数据
  52. 52.常用统计:sum/mean/median/count聚合指标

NumPy数组:构建股票价格矩阵

约 8 分钟

小象实战讲义 · 量化交易Python入门:从咖啡馆到华尔街

欢迎进入量化矩阵计算的世界!NumPy 是所有 Python 金融库的底层基石。本章你将掌握 ndarray 多维数组的操作,学习如何用高效的向量化计算和广播机制代替缓慢的 Python 循环,计算股票组合的协方差与收益率。

💡 核心导读

本节将深入探索NumPy最核心的数据结构——多维数组(ndarray)。你将掌握数组的创建方法、维度操作技巧以及高效的批量计算能力,重点学习:数组的轴向操作、广播机制原理、以及结构化数组的特殊应用。通过矩阵运算、图像数据处理等实战案例,理解如何用ndarray替代Python原生循环实现百倍性能提升。


数组创建与基础操作

核心属性解析

ndarray对象包含三个关键属性:

  • shape:描述各维度大小的元组,如(3,4)表示3行4列
  • dtype:数据类型对象,如np.float32
  • strides:内存中跨越各维度所需的字节数元组
import numpy as np

arr = np.array([[1, 2, 3], [4, 5, 6]])
print(f"形状: {arr.shape}")
print(f"数据类型: {arr.dtype}")

zeros = np.zeros((2, 3))
print(f"全零数组:\n{zeros}")

eye = np.eye(3)
print(f"单位矩阵:\n{eye}")

np.random.seed(42)
rand_arr = np.random.rand(2, 2)
print(f"随机数组:\n{rand_arr}")
形状: (2, 3)
数据类型: int64
全零数组:
[[0. 0. 0.]
 [0. 0. 0.]]
单位矩阵:
[[1. 0. 0.]
 [0. 1. 0.]
 [0. 0. 1.]]
随机数组:
[[0.37454012 0.95071431]
 [0.73199394 0.59865848]]

维度操作魔法

通过reshape和transpose改变数组视图而不复制数据:

import numpy as np

original = np.arange(6)
print(f"原始数组: {original}")

reshaped = original.reshape(2, 3)
print(f"变形后:\n{reshaped}")

transposed = reshaped.T
print(f"转置后:\n{transposed}")
原始数组: [0 1 2 3 4 5]
变形后:
[[0 1 2]
 [3 4 5]]
转置后:
[[0 3]
 [1 4]
 [2 5]]

高级索引与广播

布尔索引实战

通过条件筛选实现高效数据过滤:

import numpy as np

data = np.array([[10, 20], [30, 40]])
print(f"原始数据:\n{data}")

mask = data > 15
print(f"掩码矩阵:\n{mask}")

print(f"条件筛选结果: {data[mask]}")

广播机制图解

当数组形状不同时,NumPy会自动扩展较小数组:

原始数据:
[[10 20]
 [30 40]]
掩码矩阵:
[[False  True]
 [ True  True]]
条件筛选结果: [20 30 40]
import numpy as np

a = np.array([[1], [2], [3]])
b = np.array([[1, 2, 3]])
print(f"数组 a (形状 {a.shape}):\n{a}")
print(f"数组 b (形状 {b.shape}):\n{b}")
print(f"广播相加结果:\n{a + b}")
数组 a (形状 (3, 1)):
[[1]
 [2]
 [3]]
数组 b (形状 (1, 3)):
[[1 2 3]]
广播相加结果:
[[2 3 4]
 [3 4 5]
 [4 5 6]]


结构化数组实战

处理异构数据时,可定义复合数据类型:

import numpy as np

dtype = [('name', 'U10'), ('pe_ratio', 'i4'), ('score', 'f4')]
students = np.array([('Alice', 20, 89.5), ('Bob', 22, 92.3)], dtype=dtype)
print(f"结构化数组:\n{students}")

sorted_students = np.sort(students, order='score')
print(f"按分数排序后的姓名: {sorted_students['name']}")
结构化数组:
[('Alice', 20, 89.5) ('Bob', 22, 92.3)]
按分数排序后的姓名: ['Alice' 'Bob']


性能优化技巧

向量化计算对比

演示循环与向量化操作的性能差异:

import numpy as np

def slow_add(a, b):
    result = np.zeros_like(a)
    for i in range(a.shape[0]):
        for j in range(a.shape[1]):
            result[i, j] = a[i, j] + b[i, j]
    return result

def fast_add(a, b):
    return a + b

np.random.seed(42)
large_arr = np.random.rand(100, 100)

slow_result = slow_add(large_arr, large_arr)
fast_result = fast_add(large_arr, large_arr)

print(f"循环与向量化结果是否一致: {np.array_equal(slow_result, fast_result)}")
print("向量化运算速度远快于显式循环")
循环与向量化结果是否一致: True
向量化运算速度远快于显式循环

📝 动手练一练

第 1 题 · 概念应用

你正在构建一个股票组合的风险模型。你有一个形状为 (20, 252, 2) 的 NumPy 数组 returns,分别代表 20 只股票、252 个交易日、以及 2 种收益率类型(例如:日收益率 vs 对数收益率)。为了计算每只股票在 252 个交易日内的平均日收益率,你需要对数组进行聚合操作。以下关于使用 np.mean 函数进行轴向聚合的说法,哪一个是正确的?

  • A. 使用 np.mean(returns, axis=0) 将得到一个形状为 (252, 2) 的数组,表示每只股票在所有交易日上的平均收益率。
  • B. 使用 np.mean(returns, axis=1) 将得到一个形状为 (20, 2) 的数组,表示每只股票在 252 个交易日上的平均收益率。
  • C. 使用 np.mean(returns, axis=2) 将得到一个形状为 (20, 252) 的数组,表示每只股票在每个交易日上,两种收益率类型的平均值。
  • D. 使用 np.mean(returns, axis=(0, 1)) 将得到一个形状为 (2,) 的数组,表示所有股票在所有交易日上,每种收益率类型的全局平均值。
👉 点击查看参考答案

答案:B

推理过程:

  • returns 数组的 shape 为 (20, 252, 2),对应维度为 (股票, 交易日, 收益率类型)。
  • np.mean 的 axis 参数指定了沿哪个(些)维度进行聚合(即压缩该维度)。
  • 选项A:axis=0 聚合掉“股票”维度,结果形状应为 (252, 2),表示在“所有股票”上,每个交易日、每种收益率类型的平均值。这与描述“每只股票在所有交易日上的平均收益率”不符。
  • 选项B:axis=1 聚合掉“交易日”维度,结果形状应为 (20, 2),表示每只股票在“所有交易日”上,每种收益率类型的平均值。这正是题目要求计算“每只股票在252个交易日内的平均日收益率”的操作。
  • 选项C:axis=2 聚合掉“收益率类型”维度,结果形状应为 (20, 252),表示每只股票在每个交易日上,两种收益率类型的平均值。这并非计算时间序列上的平均。
  • 选项D:axis=(0, 1) 同时聚合掉“股票”和“交易日”维度,结果形状应为 (2,),表示所有股票在所有交易日上,每种收益率类型的全局平均值。这是正确的计算和形状,但并非题目要求的“每只股票”的平均值。

因此,正确选项是 B。


第 2 题 · 动手题(代码填空)

在量化回测中,计算投资组合的日收益率时,经常需要将资产权重向量与每只资产的日收益率矩阵相乘。假设你有一个形状为 (3,) 的权重向量 weights,代表三只股票的配置比例;以及一个形状为 (3, 5) 的收益率矩阵 returns,代表这三只股票在过去5个交易日的日收益率。你需要计算投资组合在这5天的日收益率,即对每列(每个交易日)进行加权求和。

补全以下代码,利用 NumPy 的广播机制实现这一计算:

import numpy as np

# 模拟数据
weights = np.array([0.5, 0.3, 0.2])  # 三只股票的权重
returns = np.array([[0.01, -0.02, 0.015, 0.0, 0.005],   # 股票A的5日收益率
                    [0.005, 0.01, -0.01, 0.02, 0.015],  # 股票B
                    [-0.01, 0.005, 0.02, 0.01, -0.005]]) # 股票C

# 目标:计算组合日收益率,应为形状 (5,) 的数组
# 方法:将权重向量转换为列向量,与收益率矩阵进行逐元素相乘后按行(股票维度)求和
weights_col = weights.reshape(______, 1)  # 将形状(3,)转为(3, 1)
portfolio_returns = (returns * weights_col).sum(axis=0)

print(f"组合日收益率: {portfolio_returns}")
print(f"形状: {portfolio_returns.shape}")
👉 点击查看参考答案

空位应填:-1

完整可运行代码:

import numpy as np

# 模拟数据
weights = np.array([0.5, 0.3, 0.2])  # 三只股票的权重
returns = np.array([[0.01, -0.02, 0.015, 0.0, 0.005],   # 股票A的5日收益率
                    [0.005, 0.01, -0.01, 0.02, 0.015],  # 股票B
                    [-0.01, 0.005, 0.02, 0.01, -0.005]]) # 股票C

# 目标:计算组合日收益率,应为形状 (5,) 的数组
# 方法:将权重向量转换为列向量,与收益率矩阵进行逐元素相乘后按行(股票维度)求和
weights_col = weights.reshape(-1, 1)  # 将形状(3,)转为(3, 1)
portfolio_returns = (returns * weights_col).sum(axis=0)

print(f"组合日收益率: {portfolio_returns}")
print(f"形状: {portfolio_returns.shape}")

输出结果:

组合日收益率: [ 0.0045 -0.006   0.0085  0.008   0.006 ]
形状: (5,)

解释:

  • weights.reshape(-1, 1) 中的 -1 表示该维度的大小由数组总元素数和其他指定维度自动推断。这里将形状 (3,) 的一维数组重塑为形状 (3, 1) 的列向量。
  • 广播机制:returns 形状为 (3, 5),weights_col 形状为 (3, 1)。根据广播规则,weights_col 会在第二个维度(交易日维度)上自动扩展,相当于复制5次,形成虚拟的 (3, 5) 矩阵,再与 returns 逐元素相乘。
  • .sum(axis=0) 沿着第0轴(股票轴)求和,将3只股票的加权贡献相加,得到每个交易日(5个)的组合收益率,最终形状为 (5,)。

本章小结

📋 行动清单

  • 创建一个5x5的随机矩阵,使用布尔索引筛选出大于0.5的元素,并计算它们的平均值
  • 用广播机制实现二维数组与一维数组的逐行减法(每行减去相同的向量)
  • 构建包含’证券简称’、‘身高’、‘体重’三个字段的结构化数组,计算每个人的BMI指数

通过掌握ndarray的多维操作能力,你将能够优雅地解决科学计算中的复杂数据操作问题。「小象量化教研组」建议在Jupyter Notebook中实际运行所有示例代码,观察内存布局变化。

—— 小象教研组