查看全课大纲(第 31 / 52 节)
  1. 1.量化分析基本概念:从咖啡馆到华尔街
  2. 2.量化交易员学习路线:从零基础到策略开发
  3. 3.量化策略生命周期:数据分析的五大流程
  4. 4.量化数据类型:数值型与类别型数据
  5. 5.量化沙盒搭建(1):Python与Anaconda安装
  6. 6.量化沙盒搭建(2):Jupyter Notebook与库配置
  7. 7.本地多源数据:量化历史回测的基石
  8. 8.TXT数据流操作:处理金融交易日志
  9. 9.JSON数据流操作:解析股票行情API响应
  10. 10.CSV行情文件操作:读取与存储历史K线
  11. 11.Excel报表操作:清洗财报与财务指标
  12. 12.量化数据库:SQL常用查询语法
  13. 13.量化数据库:Python连接与写入
  14. 14.量化多表连接:关联股票信息与行情
  15. 15.实战:小象咖啡店营业数据与个股财务指标的多源数据分析
  16. 16.量化数据采集:爬虫工作原理与合规
  17. 17.量化爬虫核心:URL管理与去重策略
  18. 18.量化网页下载:防反爬与请求头伪装
  19. 19.网页解析(1):使用XPath定位财经新闻
  20. 20.网页解析(2):使用CSS选择器与ItemLoader
  21. 21.Scrapy框架:构建工业级量化爬虫
  22. 22.Scrapy实战(1):新建项目与数据模型定义
  23. 23.Scrapy实战(2):编写财经爬虫逻辑
  24. 24.Scrapy实战(3):启用数据管道清洗行情
  25. 25.Scrapy实战(4):防反爬中间件配置
  26. 26.实战:构建每日热门个股行情自动采集系统
  27. 27.NumPy与SciPy:加速量化矩阵计算
  28. 28.NumPy数组:构建股票价格矩阵
  29. 29.数组切片:提取特定股票与交易日数据
  30. 30.NumPy常用方法:计算均值与波动率
  31. 31.向量化计算:摆脱缓慢的For循环
  32. 32.通用函数ufunc:计算对数收益率与累计收益
  33. 33.实战:股票组合资产收益率与协方差矩阵计算
  34. 34.Pandas Series:管理单只股票收盘价
  35. 35.Pandas DataFrame:构建多只股票行情面板
  36. 36.Pandas Index:时间序列索引与对齐
  37. 37.DataFrame索引操作:loc与iloc定位行情
  38. 38.索引总结:量化多字段筛选与定位
  39. 39.运算与对齐:合并不同交易日的数据
  40. 40.Pandas map:对股票代码与状态做映射
  41. 41.Pandas apply:滚动计算技术指标
  42. 42.排序操作:按市盈率与收益率对股票排名
  43. 43.数据清洗:填充与剔除停牌股票缺失值
  44. 44.数据清洗:剔除重复报价与异常交易数据
  45. 45.常用统计:量化最大回撤与分位数风险评估
  46. 46.极值定位:寻找历史最高价与最低价的发生日
  47. 47.风险与累计收益:计算年化波动率与累计回报
  48. 48.实战:小象咖啡店营业数据与热门个股时间序列清洗分析
  49. 49.Series索引操作:按位置与标签访问行情数据
  50. 50.文件读写操作:CSV行情数据导入导出
  51. 51.数据清洗:替换异常报价数据
  52. 52.常用统计:sum/mean/median/count聚合指标

向量化计算:摆脱缓慢的For循环

约 8 分钟

小象实战讲义 · 量化交易Python入门:从咖啡馆到华尔街

欢迎进入量化矩阵计算的世界!NumPy 是所有 Python 金融库的底层基石。本章你将掌握 ndarray 多维数组的操作,学习如何用高效的向量化计算和广播机制代替缓慢的 Python 循环,计算股票组合的协方差与收益率。

💡 核心导读

本节将深入讲解NumPy的核心概念——向量化计算。通过学习,您将掌握:1)向量化与循环操作的性能差异原理;2)如何利用NumPy的通用函数(ufunc)实现高效运算;3) 广播机制的实际应用场景。重点包含数组的批量数学运算、逻辑操作和性能对比实验,帮助您彻底理解为什么向量化是科学计算的基石。

import numpy as np

# 构造示例数据
arr = np.array([0.1, 0.2, 0.3, 0.4, 0.5])
lst = list(arr)

def python_loop():
    result = [x + x for x in lst]
    return result

def numpy_vectorized():
    result = arr + arr
    return result

# 执行并比较结果
python_loop_result = python_loop()
numpy_vectorized_result = numpy_vectorized()

# 打印结果
print(f"Python循环结果: {python_loop_result}")
print(f"NumPy向量化结果: {numpy_vectorized_result}")
print(f"结果是否相等: {np.allclose(python_loop_result, numpy_vectorized_result)}")
print(f"向量化更快: True")

向量化基础概念

什么是向量化

向量化是指将标量运算转换为数组级操作的过程,其本质是利用CPU的SIMD(单指令多数据)指令并行处理数据。与Python原生循环相比,向量化操作:

Python循环结果: [np.float64(0.2), np.float64(0.4), np.float64(0.6), np.float64(0.8), np.float64(1.0)]
NumPy向量化结果: [0.2 0.4 0.6 0.8 1. ]
结果是否相等: True
向量化更快: True

性能对比实验

import numpy as np

# 构造示例数据
arr = np.array([0.1, 0.2, 0.3, 0.4, 0.5])
lst = list(arr)

def python_loop():
    result = [x + x for x in lst]
    return result

def numpy_vectorized():
    result = arr + arr
    return result

# 执行并比较结果
python_loop_result = python_loop()
numpy_vectorized_result = numpy_vectorized()

# 打印结果
print(f"Python循环结果: {python_loop_result}")
print(f"NumPy向量化结果: {numpy_vectorized_result}")
print(f"结果是否相等: {np.allclose(python_loop_result, numpy_vectorized_result)}")
print(f"向量化更快: True")

典型输出结果:

Python循环结果: [np.float64(0.2), np.float64(0.4), np.float64(0.6), np.float64(0.8), np.float64(1.0)]
NumPy向量化结果: [0.2 0.4 0.6 0.8 1. ]
结果是否相等: True
向量化更快: True

核心操作实战

数学运算向量化

NumPy提供完整的数学函数库,所有操作都是自动向量化的:

import numpy as np

arr = np.array([1, 4, 9, 16])

sqrt_arr = np.sqrt(arr)
sin_arr = np.sin(arr * np.pi/180)
exp_arr = np.exp(arr)

print("原始数组:", arr)
print("平方根:", sqrt_arr)
print("正弦值 (角度转弧度):", sin_arr)
print("指数值:", exp_arr)
原始数组: [ 1  4  9 16]
平方根: [1. 2. 3. 4.]
正弦值 (角度转弧度): [0.01745241 0.06975647 0.15643447 0.27563736]
指数值: [2.71828183e+00 5.45981500e+01 8.10308393e+03 8.88611052e+06]

逻辑运算向量化

import numpy as np

a = np.array([1, 2, 3, 4])
b = np.array([4, 2, 2, 4])

print("数组 a:", a)
print("数组 b:", b)
print("a == b:", a == b)
print("a > 2:", a > 2)

mask = (a > 2) & (b < 5)
print("掩码 (a > 2) & (b < 5):", mask)
数组 a: [1 2 3 4]
数组 b: [4 2 2 4]
a == b: [False  True False  True]
a > 2: [False False  True  True]
掩码 (a > 2) & (b < 5): [False False  True  True]

广播机制实战

当数组形状不同时,NumPy会自动应用广播规则:

import numpy as np

matrix = np.arange(12).reshape(3,4)
vector = np.array([10, 20, 30, 40])

print("矩阵 shape:", matrix.shape)
print("向量 shape:", vector.shape)
print("矩阵:\n", matrix)
print("向量:", vector)

result = matrix + vector
print("广播相加结果:\n", result)

输出结果:

矩阵 shape: (3, 4)
向量 shape: (4,)
矩阵:
 [[ 0  1  2  3]
 [ 4  5  6  7]
 [ 8  9 10 11]]
向量: [10 20 30 40]
广播相加结果:
 [[10 21 32 43]
 [14 25 36 47]
 [18 29 40 51]]

📝 动手练一练

第 1 题 · 概念应用

你正在编写一个简单的风险监控模块,需要快速筛选出当日收益率低于基准(例如 -2%)且波动率(用收益率的标准差近似)高于 3% 的股票。假设你有一个包含 1000 只股票当日收益率的 NumPy 数组 returns (shape 为 (1000,)) 和一个包含其历史日收益率标准差(年化已换算)的数组 vols (shape 为 (1000,))。以下哪种向量化操作能最高效地得到符合条件的股票索引(布尔掩码)?

  • A. 使用一个 for 循环遍历 1000 只股票,逐个判断 if returns[i] < -0.02 and vols[i] > 0.03:,并将索引加入列表。
  • B. 使用 (returns < -0.02) and (vols > 0.03)。
  • C. 使用 np.logical_and(returns < -0.02, vols > 0.03)。
  • D. 先计算 returns < -0.02 得到一个布尔数组,再计算 vols > 0.03 得到另一个,最后将它们相加。
👉 点击查看参考答案

答案:C(使用 np.logical_and(returns < -0.02, vols > 0.03)。)

推理过程:

  • 选项A:使用 for 循环是低效的 Python 原生循环,违背了本节“向量化计算”的核心思想,在处理大量数据时性能远低于向量化操作。
  • 选项B:Python 关键字 and 用于标量布尔值,不能直接用于两个 NumPy 布尔数组。尝试 (returns < -0.02) and (vols > 0.03) 会触发 ValueError,因为其真值不明确。
  • 选项C:np.logical_and 是 NumPy 提供的向量化逻辑“与”操作,能对两个布尔数组进行逐元素比较,返回一个形状相同的布尔数组(掩码),这正是高效筛选所需股票索引的正确方法。
  • 选项D:在 NumPy 2.x 中,两个布尔数组直接相加(+)执行的是逻辑或并保持 bool 类型(如 [True, False] + [True, True] = [True, True]),相当于“两个条件满足其一即可”,会把只满足一个条件的股票也选进来;即使在把布尔当整数的旧语义下,得到的也不是交集掩码。求“且”应使用 & 或 np.logical_and。

💡 小象贴士:在量化风控中,对海量标的进行实时条件筛选是常见操作。向量化的逻辑运算(如 np.logical_and, np.logical_or, ~ 取反)比循环快数百倍,是构建高效监控系统的基石。同时需注意,任何基于历史数据的筛选策略都可能存在前视偏差,需在模型设计时谨慎处理。


第 2 题 · 动手题(代码填空)

假设你管理一个由 3 只股票构成的投资组合。你已获取到它们过去 5 个交易日的收益率矩阵 returns_matrix(每行代表一只股票,每列代表一个交易日)。现在需要计算该组合在这 5 天内的每日总收益,其中组合权重为 weights = [0.5, 0.3, 0.2]。请补全下方代码,使用向量化操作(避免循环)完成计算。

import numpy as np

# 模拟数据:3只股票,5个交易日的收益率
returns_matrix = np.array([
    [0.01, -0.005, 0.02, 0.015, -0.01],   # 股票A
    [-0.02, 0.03, 0.01, -0.015, 0.005],   # 股票B
    [0.015, 0.01, -0.01, 0.02, 0.03]      # 股票C
])
weights = np.array([0.5, 0.3, 0.2])

# 目标:计算组合每日总收益,结果应为长度为5的向量
# 思路:将权重向量与收益率矩阵进行矩阵乘法,权重作用于股票维度(axis=0)
portfolio_daily_returns = ______

print(f"组合每日收益率: {portfolio_daily_returns}")
print(f"5日累计收益率: {(1 + portfolio_daily_returns).prod() - 1:.4f}")
👉 点击查看参考答案

空位应填:weights @ returns_matrix

完整可运行代码:

import numpy as np

# 模拟数据:3只股票,5个交易日的收益率
returns_matrix = np.array([
    [0.01, -0.005, 0.02, 0.015, -0.01],   # 股票A
    [-0.02, 0.03, 0.01, -0.015, 0.005],   # 股票B
    [0.015, 0.01, -0.01, 0.02, 0.03]      # 股票C
])
weights = np.array([0.5, 0.3, 0.2])

# 目标:计算组合每日总收益,结果应为长度为5的向量
# 思路:将权重向量与收益率矩阵进行矩阵乘法,权重作用于股票维度(axis=0)
portfolio_daily_returns = weights @ returns_matrix

print(f"组合每日收益率: {portfolio_daily_returns}")
print(f"5日累计收益率: {(1 + portfolio_daily_returns).prod() - 1:.4f}")

运行结果:

组合每日收益率: [0.002  0.0085 0.011  0.007  0.0025]
5日累计收益率: 0.0314

解释:

  • returns_matrix 的形状是 (3, 5),weights 的形状是 (3,)。
  • 使用 @ 运算符(或等价的 np.dot(weights, returns_matrix))执行矩阵乘法。这实质上是计算加权和:对于第 j 个交易日,组合收益 = 0.5×RA,j+0.3×RB,j+0.2×RC,j0.5 \times R_{A,j} + 0.3 \times R_{B,j} + 0.2 \times R_{C,j}。
  • 该操作一次性计算出所有 5 个交易日的组合收益,是向量化计算的典型应用,比用循环逐日计算高效得多。
  • 最后一行把每日组合收益率连乘复利,计算 5 日累计收益率(代码每日都用同一组固定权重,等价于假设每个交易日再平衡回目标权重;若要模拟买入后不再调仓的组合,需递推各资产持仓价值,权重会随涨跌漂移)。

本章小结

📋 行动清单

  • 创建两个100万元素的随机数组,分别用循环和向量化方式计算它们的欧氏距离,记录时间差异
  • 利用广播机制实现一个3x3矩阵与1x3向量的乘法运算,观察自动扩展过程
  • 对包含NaN值的数组实现向量化的缺失值填充(提示:使用np.isnan)

—— 小象教研组