查看全课大纲(第 42 / 101 节)
- 1.数据分析基本概念
- 2.学习数据分析的一般路线
- 3.数据分析的流程
- 4.数据类型
- 5.环境部署(1)
- 6.环境部署(2)
- 7.课程介绍
- 8.TXT文件操作
- 9.JSON文件操作
- 10.CSV文件操作
- 11.Excel文件操作
- 12.数据库及SQL常用语法
- 13.数据库基本操作
- 14.数据库多表连接
- 15.实战:欧洲职业足球数据库分析
- 16.爬虫简介
- 17.URL管理模块
- 18.网页下载模块
- 19.网页解析模块(1)
- 20.网页解析模块(2)
- 21.Scrapy简介
- 22.Scrapy使用步骤(1)
- 23.Scrapy使用步骤(2)
- 24.Scrapy使用步骤(3)
- 25.Scrapy使用步骤(4)
- 26.实战:获取国内城市空气质量指数数据
- 27.NumPy和SciPy介绍
- 28.多维数组
- 29.多维数组操作
- 30.NumPy的常用方法
- 31.向量化介绍
- 32.向量化及通用函数
- 33.实战:2016美国大选分析
- 34.数据结构-Series
- 35.数据结构-DataFrame
- 36.数据结构-Index
- 37.Series的索引操作
- 38.DataFrame的索引操作
- 39.索引操作总结
- 40.运算与对齐
- 41.函数应用操作(1) -- map
- 42.函数应用操作 (2) -- apply applymap
- 43.文件读写操作
- 44.排序操作
- 45.数据清洗--处理缺失数据
- 46.数据清洗--处理重复数据
- 47.数据清洗--替换数据
- 48.常用统计方法(1) -- describe quantile
- 49.常用统计方法(2) -- sum mean median count
- 50.常用统计方法(3) -- max min idxmax idxmin
- 51.常用统计方法(4) -- mad var std cumsum
- 52.实战:全球食品数据分析
- 53.层级索引
- 54.分组与聚合介绍
- 55.分组操作(1) -- GroupBy对象及常用聚合操作
- 56.分组操作(2) -- 自定义分组及聚合操作
- 57.透视表介绍
- 58.透视表操作
- 59.数据规整(1) -- 数据合并concat
- 60.数据规整(2) -- 数据连接merge
- 61.数据重构(3) -- 数据重构stack unstack
- 62.实战:互联网电影资料库分析
- 63.探索性数据分析EDA介绍
- 64.EDA的目的
- 65.EDA常用工具
- 66.Matplotlib绘图基本介绍
- 67.Matplotlib画布
- 68.散点图和柱状图的绘制
- 69.直方图的绘制
- 70.矩阵绘图
- 71.子图的使用
- 72.Matplotlib颜色、标记、线型
- 73.Matplotlib坐标刻度、标签、图例、标题
- 74.Seaborn介绍
- 75.数据集分布可视化(1) -- 单变量分布、双变量分布
- 76.数据集分布可视化(2) -- 变量关系可视化
- 77.类别数据可视化 -- 类别散布图、类别内数据分布、类别内统计图
- 78.交互式数据可视化工具Bokeh介绍
- 79.Bokeh绘制散点图、柱状图、盒子图、弦图
- 80.Bokeh绘制常用图形元素
- 81.3D绘图 -- mplot3d
- 82.3D曲线可视化
- 83.3D散点图可视化
- 84.3D柱状图可视化
- 85.Pandas绘图
- 86.实战:Lending Club借贷数据探索性分析及可视化
- 87.机器学习介绍及应用场景
- 88.机器学习建模介绍 (1) -- 分类
- 89.机器学习建模介绍 (2) -- 回归
- 90.机器学习建模介绍 (3) -- 聚类
- 91.机器学习分类
- 92.机器学习工具scikit-learn
- 93.使用scikit-learn的流程
- 94.数据集准备及划分
- 95.模型选择
- 96.数据预处理及特征工程
- 97.过拟合与欠拟合
- 98.模型调参介绍
- 99.模型调参方法
- 100.模型测试及评价
- 101.实战:通过移动设备行为数据预测性别和年龄
函数应用操作 (2) -- apply applymap
约 7 分钟
Pandas 函数应用进阶:apply 轴向计算与全表映射(原 applymap)
小象实战讲义 · Python数据分析实战
在上一节掌握了面向单列的 Series.map 之后,我们这一节来解决更复杂的批量计算需求:对整张表按行、按列做汇总,或者对每一个单元格统一做格式变换。这正是 apply 与 applymap(新版 pandas 已改名为 map)出场的地方。学完本节,你将能清晰判断「什么时候用 map、什么时候用 apply」,并写出可运行的表格批量计算代码。
💡 核心导读
- 三个函数应用 API 的适用对象:
Series.map只作用于单列;DataFrame.apply沿指定轴(行或列)批量计算;DataFrame.map作用于整张表的所有单元格。 apply的轴向语义:axis=1表示沿行横向计算(多列交叉运算),axis=0表示沿列纵向聚合。- 一次重要的版本变更:原课讲授的
applymap在 pandas 3.0 中已被移除,官方统一为DataFrame.map。 - 全部代码锁定现代环境实跑(Python 3.14 + pandas 3.0),输出可直接核对。
1. 三个函数应用 API 的定位边界
Pandas 提供了三层递进的函数应用能力,先厘清各自的适用范围:
┌────────────────────────────────────────────────────────────┐
│ 函数应用 API 选区 │
├──────────────┬─────────────────────────────────────────────┤
│ Series.map │ 仅单列:元素级的值替换 / 映射 │
│ DataFrame.apply │ 沿 axis=0(列)或 axis=1(行)批量计算 │
│ DataFrame.map│ 整张表:对每个单元格做元素级变换 │
└──────────────┴─────────────────────────────────────────────┘其中 apply 的关键在于轴向:axis=1(沿行)会把每一行当作一个 Series 传入函数,适合做「多列交叉」的计算(如单价 × 数量);axis=0(沿列,默认)会把每一列当作 Series 传入,适合做列级聚合(如求均值、极差)。
下面的例子在一张商品销售明细表上同时演示这两种轴向:
import pandas as pd
# 商品销售明细(硬编码小样例,输出确定)
df = pd.DataFrame({
"product": ["手机", "平板", "耳机"],
"price": [4999.0, 2899.0, 799.0],
"quantity": [10.0, 15.0, 50.0],
})
# axis=1:沿行横向计算——每一行以 Series 传入,用于多列交叉运算
df["amount"] = df.apply(lambda row: row["price"] * row["quantity"], axis=1)
print("按行交叉计算应付金额(axis=1):")
print(df)
# axis=0:沿列纵向聚合——每一列以 Series 传入,用于列级统计
print("\n按列统计均值(axis=0):")
print(df[["price", "quantity", "amount"]].apply(lambda col: col.mean()))按行交叉计算应付金额(axis=1):
product price quantity amount
0 手机 4999.0 10.0 49990.0
1 平板 2899.0 15.0 43485.0
2 耳机 799.0 50.0 39950.0
按列统计均值(axis=0):
price 2899.0
quantity 25.0
amount 44475.0
dtype: float642. 全表元素级映射:DataFrame.map(原 applymap)
有时我们要对表格里的每个单元格做同一个轻量变换,例如把所有数字统一格式化。原课使用的 DataFrame.applymap 是完成这件事的经典函数,但在 pandas 3.0 中 applymap 已被移除,官方给出的等价写法是 DataFrame.map——语义完全一致,只是名字更统一(与 Series.map 对齐)。因此本讲义一律使用 DataFrame.map。
import pandas as pd
# 传感器测量矩阵(硬编码小样例)
df = pd.DataFrame({
"sensor_a": [1.2345, 45.6789],
"sensor_b": [9.8765, 3.4567],
}, index=["T1", "T2"])
# DataFrame.map:对整张表逐元素变换(pandas 3.0 起取代 applymap)
df_fmt = df.map(lambda x: f"{x:.2f}")
print("两位小数全表格式化:")
print(df_fmt)
# Series.map:仅单列,按字典做值映射
s = pd.Series(["研发部", "财务部", "研发部"])
print("\nSeries.map 值映射:")
print(s.map({"研发部": "RD", "财务部": "FIN"}))两位小数全表格式化:
sensor_a sensor_b
T1 1.23 9.88
T2 45.68 3.46
Series.map 值映射:
0 RD
1 FIN
2 RD
dtype: str版本提示:若你在旧教程或原课视频中看到
df.applymap(...),只需把方法名替换为df.map(...)即可,参数与返回行为不变。这是 pandas 3.0 的一次统一命名变更,不影响数据分析思路。
3. 三者的选择经验与常见坑
实际工作中按下面的顺序判断即可:
- 只处理一列的值映射(如把「部门名称」换成编码)→ 用
Series.map; - 需要沿行或沿列把多列组合成一个结果(如按行算总价)→ 用
DataFrame.apply; - 需要对整张表的每个单元格做同一个轻量变换(格式化、取绝对值、开方)→ 用
DataFrame.map。
除了作用于 DataFrame,apply 也能作用在单个 Series 上——此时它等价于「把函数作用到每一个元素」。原课在演示姓名拆分时就用过这种写法:对 df['姓名'] 这一列 apply(lambda x: x[0]),一次性取出每个姓名的第一个字符作为「姓」。这说明 apply 的定位是「把一个函数批量作用到一组数据上」,作用对象既可以是行、列,也可以是一列的元素。
两个常见坑:
- 轴向写反:
axis=1与axis=0的结果完全不同,前者是「每行一个结果」,后者是「每列一个结果」。当函数体里用列名取数、却把轴传成了0,就会拿到KeyError或得到意料之外的结果——报错时第一件事就是检查轴向。 - 性能预期:
apply/map本质上是把 Python 函数逐元素或逐切片地作用上去,属于 Python 级循环,适合「逻辑复杂但数据量不大」的场景;当计算本身可以用 NumPy 向量化表达时(例如整列统一加减乘除),应优先用向量化写法,速度差别在百万行数据上非常明显。
📝 动手练一练
概念辨析题:请用一句话分别说明
Series.map、DataFrame.apply、DataFrame.map的适用对象。👉 点击查看参考答案
参考答案:
Series.map:只作用于单个 Series(一列),做元素级的值替换或映射;DataFrame.apply:作用于 DataFrame,沿axis=0(按列)或axis=1(按行)批量计算;DataFrame.map:作用于整张 DataFrame,对每一个单元格做元素级变换(即原applymap)。
编程练习题:给定
df = pd.DataFrame({'a': [1, 2, 3], 'b': [4, 5, 6]}),请用apply沿axis=1新增一列row_sum,值为每行 a 与 b 之和。👉 点击查看参考答案
参考答案:
import pandas as pd df = pd.DataFrame({'a': [1, 2, 3], 'b': [4, 5, 6]}) df['row_sum'] = df.apply(lambda row: row['a'] + row['b'], axis=1) print(df)
a b row_sum
0 1 4 5
1 2 5 7
2 3 6 9本章小结
- 掌握了
DataFrame.apply的axis=0(列级聚合)与axis=1(行级交叉计算)两种轴向用法; - 掌握了
DataFrame.map对整张表逐元素变换的方法,并知晓它是 pandas 3.0 中applymap的替代写法; - 厘清了
map、apply、applymap(→map)三者的选择边界与版本差异。
📋 行动清单
- 在本地执行本节代码,观察
axis=0与axis=1两种输出的差异。 - 找一个旧教程里的
applymap例子,把它改写成DataFrame.map并跑通。 - 做好准备,进入下一小节学习 Pandas 的文件读写操作。
—— 小象教研组
配套资料 · 直接下载
课件、代码、数据集等配套资料全部免费,点击即可直接下载,无需分享或解锁。
- 下载本节课件:函数应用操作 (2) -- apply applymapPDF · 209KB
- 下载全套课件打包(第1-5章)ZIP · 12.8MB
- 下载全套课件打包(第6-8章)ZIP · 15MB
- 下载实战数据集:AppleStore 应用商城分析ZIP · 329KB
- 下载实战数据集:女性服装电商分析ZIP · 2.8MB
- 下载Python 数据分析环境搭建指南PDF · 2MB
- 下载Scrapy 安装教程PDF · 12.7MB
- 下载附加实战项目:AppleStore 应用商城数据分析ZIP · 0.3MB · ipynb + CSV 数据
- 下载附加实战项目:银行电话营销数据分析ZIP · 0.4MB · ipynb + CSV 数据
- 下载附加实战项目:女性服装电商评论数据分析ZIP · 2.7MB · ipynb + CSV 数据
- 下载附加实战项目:美国化学学会杂志数据分析ZIP · 34.2MB · ipynb + SQLite 数据库