查看全课大纲(第 31 / 52 节)
- 1.量化分析基本概念:从咖啡馆到华尔街
- 2.量化交易员学习路线:从零基础到策略开发
- 3.量化策略生命周期:数据分析的五大流程
- 4.量化数据类型:数值型与类别型数据
- 5.量化沙盒搭建(1):Python与Anaconda安装
- 6.量化沙盒搭建(2):Jupyter Notebook与库配置
- 7.本地多源数据:量化历史回测的基石
- 8.TXT数据流操作:处理金融交易日志
- 9.JSON数据流操作:解析股票行情API响应
- 10.CSV行情文件操作:读取与存储历史K线
- 11.Excel报表操作:清洗财报与财务指标
- 12.量化数据库:SQL常用查询语法
- 13.量化数据库:Python连接与写入
- 14.量化多表连接:关联股票信息与行情
- 15.实战:小象咖啡店营业数据与个股财务指标的多源数据分析
- 16.量化数据采集:爬虫工作原理与合规
- 17.量化爬虫核心:URL管理与去重策略
- 18.量化网页下载:防反爬与请求头伪装
- 19.网页解析(1):使用XPath定位财经新闻
- 20.网页解析(2):使用CSS选择器与ItemLoader
- 21.Scrapy框架:构建工业级量化爬虫
- 22.Scrapy实战(1):新建项目与数据模型定义
- 23.Scrapy实战(2):编写财经爬虫逻辑
- 24.Scrapy实战(3):启用数据管道清洗行情
- 25.Scrapy实战(4):防反爬中间件配置
- 26.实战:构建每日热门个股行情自动采集系统
- 27.NumPy与SciPy:加速量化矩阵计算
- 28.NumPy数组:构建股票价格矩阵
- 29.数组切片:提取特定股票与交易日数据
- 30.NumPy常用方法:计算均值与波动率
- 31.向量化计算:摆脱缓慢的For循环
- 32.通用函数ufunc:计算对数收益率与累计收益
- 33.实战:股票组合资产收益率与协方差矩阵计算
- 34.Pandas Series:管理单只股票收盘价
- 35.Pandas DataFrame:构建多只股票行情面板
- 36.Pandas Index:时间序列索引与对齐
- 37.DataFrame索引操作:loc与iloc定位行情
- 38.索引总结:量化多字段筛选与定位
- 39.运算与对齐:合并不同交易日的数据
- 40.Pandas map:对股票代码与状态做映射
- 41.Pandas apply:滚动计算技术指标
- 42.排序操作:按市盈率与收益率对股票排名
- 43.数据清洗:填充与剔除停牌股票缺失值
- 44.数据清洗:剔除重复报价与异常交易数据
- 45.常用统计:量化最大回撤与分位数风险评估
- 46.极值定位:寻找历史最高价与最低价的发生日
- 47.风险与累计收益:计算年化波动率与累计回报
- 48.实战:小象咖啡店营业数据与热门个股时间序列清洗分析
- 49.Series索引操作:按位置与标签访问行情数据
- 50.文件读写操作:CSV行情数据导入导出
- 51.数据清洗:替换异常报价数据
- 52.常用统计:sum/mean/median/count聚合指标
向量化计算:摆脱缓慢的For循环
约 8 分钟
小象实战讲义 · 量化交易Python入门:从咖啡馆到华尔街
欢迎进入量化矩阵计算的世界!NumPy 是所有 Python 金融库的底层基石。本章你将掌握 ndarray 多维数组的操作,学习如何用高效的向量化计算和广播机制代替缓慢的 Python 循环,计算股票组合的协方差与收益率。
💡 核心导读
本节将深入讲解NumPy的核心概念——向量化计算。通过学习,您将掌握:1)向量化与循环操作的性能差异原理;2)如何利用NumPy的通用函数(ufunc)实现高效运算;3) 广播机制的实际应用场景。重点包含数组的批量数学运算、逻辑操作和性能对比实验,帮助您彻底理解为什么向量化是科学计算的基石。
import numpy as np
# 构造示例数据
arr = np.array([0.1, 0.2, 0.3, 0.4, 0.5])
lst = list(arr)
def python_loop():
result = [x + x for x in lst]
return result
def numpy_vectorized():
result = arr + arr
return result
# 执行并比较结果
python_loop_result = python_loop()
numpy_vectorized_result = numpy_vectorized()
# 打印结果
print(f"Python循环结果: {python_loop_result}")
print(f"NumPy向量化结果: {numpy_vectorized_result}")
print(f"结果是否相等: {np.allclose(python_loop_result, numpy_vectorized_result)}")
print(f"向量化更快: True")向量化基础概念
什么是向量化
向量化是指将标量运算转换为数组级操作的过程,其本质是利用CPU的SIMD(单指令多数据)指令并行处理数据。与Python原生循环相比,向量化操作:
Python循环结果: [np.float64(0.2), np.float64(0.4), np.float64(0.6), np.float64(0.8), np.float64(1.0)]
NumPy向量化结果: [0.2 0.4 0.6 0.8 1. ]
结果是否相等: True
向量化更快: True性能对比实验
import numpy as np
# 构造示例数据
arr = np.array([0.1, 0.2, 0.3, 0.4, 0.5])
lst = list(arr)
def python_loop():
result = [x + x for x in lst]
return result
def numpy_vectorized():
result = arr + arr
return result
# 执行并比较结果
python_loop_result = python_loop()
numpy_vectorized_result = numpy_vectorized()
# 打印结果
print(f"Python循环结果: {python_loop_result}")
print(f"NumPy向量化结果: {numpy_vectorized_result}")
print(f"结果是否相等: {np.allclose(python_loop_result, numpy_vectorized_result)}")
print(f"向量化更快: True")典型输出结果:
Python循环结果: [np.float64(0.2), np.float64(0.4), np.float64(0.6), np.float64(0.8), np.float64(1.0)]
NumPy向量化结果: [0.2 0.4 0.6 0.8 1. ]
结果是否相等: True
向量化更快: True核心操作实战
数学运算向量化
NumPy提供完整的数学函数库,所有操作都是自动向量化的:
import numpy as np
arr = np.array([1, 4, 9, 16])
sqrt_arr = np.sqrt(arr)
sin_arr = np.sin(arr * np.pi/180)
exp_arr = np.exp(arr)
print("原始数组:", arr)
print("平方根:", sqrt_arr)
print("正弦值 (角度转弧度):", sin_arr)
print("指数值:", exp_arr)原始数组: [ 1 4 9 16]
平方根: [1. 2. 3. 4.]
正弦值 (角度转弧度): [0.01745241 0.06975647 0.15643447 0.27563736]
指数值: [2.71828183e+00 5.45981500e+01 8.10308393e+03 8.88611052e+06]逻辑运算向量化
import numpy as np
a = np.array([1, 2, 3, 4])
b = np.array([4, 2, 2, 4])
print("数组 a:", a)
print("数组 b:", b)
print("a == b:", a == b)
print("a > 2:", a > 2)
mask = (a > 2) & (b < 5)
print("掩码 (a > 2) & (b < 5):", mask)数组 a: [1 2 3 4]
数组 b: [4 2 2 4]
a == b: [False True False True]
a > 2: [False False True True]
掩码 (a > 2) & (b < 5): [False False True True]广播机制实战
当数组形状不同时,NumPy会自动应用广播规则:
import numpy as np
matrix = np.arange(12).reshape(3,4)
vector = np.array([10, 20, 30, 40])
print("矩阵 shape:", matrix.shape)
print("向量 shape:", vector.shape)
print("矩阵:\n", matrix)
print("向量:", vector)
result = matrix + vector
print("广播相加结果:\n", result)输出结果:
矩阵 shape: (3, 4)
向量 shape: (4,)
矩阵:
[[ 0 1 2 3]
[ 4 5 6 7]
[ 8 9 10 11]]
向量: [10 20 30 40]
广播相加结果:
[[10 21 32 43]
[14 25 36 47]
[18 29 40 51]]📝 动手练一练
第 1 题 · 概念应用
你正在编写一个简单的风险监控模块,需要快速筛选出当日收益率低于基准(例如 -2%)且波动率(用收益率的标准差近似)高于 3% 的股票。假设你有一个包含 1000 只股票当日收益率的 NumPy 数组 returns (shape 为 (1000,)) 和一个包含其历史日收益率标准差(年化已换算)的数组 vols (shape 为 (1000,))。以下哪种向量化操作能最高效地得到符合条件的股票索引(布尔掩码)?
- A. 使用一个
for循环遍历 1000 只股票,逐个判断if returns[i] < -0.02 and vols[i] > 0.03:,并将索引加入列表。 - B. 使用
(returns < -0.02) and (vols > 0.03)。 - C. 使用
np.logical_and(returns < -0.02, vols > 0.03)。 - D. 先计算
returns < -0.02得到一个布尔数组,再计算vols > 0.03得到另一个,最后将它们相加。
👉 点击查看参考答案
答案:C(使用
np.logical_and(returns < -0.02, vols > 0.03)。)
推理过程:
- 选项A:使用
for循环是低效的 Python 原生循环,违背了本节“向量化计算”的核心思想,在处理大量数据时性能远低于向量化操作。 - 选项B:Python 关键字
and用于标量布尔值,不能直接用于两个 NumPy 布尔数组。尝试(returns < -0.02) and (vols > 0.03)会触发ValueError,因为其真值不明确。 - 选项C:
np.logical_and是 NumPy 提供的向量化逻辑“与”操作,能对两个布尔数组进行逐元素比较,返回一个形状相同的布尔数组(掩码),这正是高效筛选所需股票索引的正确方法。 - 选项D:在 NumPy 2.x 中,两个布尔数组直接相加(
+)执行的是逻辑或并保持 bool 类型(如[True, False] + [True, True] = [True, True]),相当于“两个条件满足其一即可”,会把只满足一个条件的股票也选进来;即使在把布尔当整数的旧语义下,得到的也不是交集掩码。求“且”应使用&或np.logical_and。
💡 小象贴士:在量化风控中,对海量标的进行实时条件筛选是常见操作。向量化的逻辑运算(如 np.logical_and, np.logical_or, ~ 取反)比循环快数百倍,是构建高效监控系统的基石。同时需注意,任何基于历史数据的筛选策略都可能存在前视偏差,需在模型设计时谨慎处理。
第 2 题 · 动手题(代码填空)
假设你管理一个由 3 只股票构成的投资组合。你已获取到它们过去 5 个交易日的收益率矩阵 returns_matrix(每行代表一只股票,每列代表一个交易日)。现在需要计算该组合在这 5 天内的每日总收益,其中组合权重为 weights = [0.5, 0.3, 0.2]。请补全下方代码,使用向量化操作(避免循环)完成计算。
import numpy as np
# 模拟数据:3只股票,5个交易日的收益率
returns_matrix = np.array([
[0.01, -0.005, 0.02, 0.015, -0.01], # 股票A
[-0.02, 0.03, 0.01, -0.015, 0.005], # 股票B
[0.015, 0.01, -0.01, 0.02, 0.03] # 股票C
])
weights = np.array([0.5, 0.3, 0.2])
# 目标:计算组合每日总收益,结果应为长度为5的向量
# 思路:将权重向量与收益率矩阵进行矩阵乘法,权重作用于股票维度(axis=0)
portfolio_daily_returns = ______
print(f"组合每日收益率: {portfolio_daily_returns}")
print(f"5日累计收益率: {(1 + portfolio_daily_returns).prod() - 1:.4f}")👉 点击查看参考答案
空位应填:weights @ returns_matrix
完整可运行代码:
import numpy as np
# 模拟数据:3只股票,5个交易日的收益率
returns_matrix = np.array([
[0.01, -0.005, 0.02, 0.015, -0.01], # 股票A
[-0.02, 0.03, 0.01, -0.015, 0.005], # 股票B
[0.015, 0.01, -0.01, 0.02, 0.03] # 股票C
])
weights = np.array([0.5, 0.3, 0.2])
# 目标:计算组合每日总收益,结果应为长度为5的向量
# 思路:将权重向量与收益率矩阵进行矩阵乘法,权重作用于股票维度(axis=0)
portfolio_daily_returns = weights @ returns_matrix
print(f"组合每日收益率: {portfolio_daily_returns}")
print(f"5日累计收益率: {(1 + portfolio_daily_returns).prod() - 1:.4f}")运行结果:
组合每日收益率: [0.002 0.0085 0.011 0.007 0.0025]
5日累计收益率: 0.0314解释:
returns_matrix的形状是(3, 5),weights的形状是(3,)。- 使用
@运算符(或等价的np.dot(weights, returns_matrix))执行矩阵乘法。这实质上是计算加权和:对于第j个交易日,组合收益 = 。 - 该操作一次性计算出所有 5 个交易日的组合收益,是向量化计算的典型应用,比用循环逐日计算高效得多。
- 最后一行把每日组合收益率连乘复利,计算 5 日累计收益率(代码每日都用同一组固定权重,等价于假设每个交易日再平衡回目标权重;若要模拟买入后不再调仓的组合,需递推各资产持仓价值,权重会随涨跌漂移)。
本章小结
📋 行动清单
- 创建两个100万元素的随机数组,分别用循环和向量化方式计算它们的欧氏距离,记录时间差异
- 利用广播机制实现一个3x3矩阵与1x3向量的乘法运算,观察自动扩展过程
- 对包含NaN值的数组实现向量化的缺失值填充(提示:使用np.isnan)
—— 小象教研组