常用统计方法(4) -- mad var std cumsum

常用统计方法：MAD、方差、标准差与累加

小象实战讲义 · Python数据分析实战

在数据分析中，我们不仅关心数据的中心位置（如均值、中位数），更关心数据的“离散程度”或“波动性”。本节将介绍四个关键的统计量：平均绝对误差（MAD）、方差、标准差和累加（cumsum）。它们从不同角度量化了数据的离散程度和累积趋势，是描述性统计分析的核心工具。

💡 核心导读

• 平均绝对误差 (MAD)：衡量每个数据点与均值绝对差异的平均值，对异常值不敏感。
• 方差与标准差：衡量数据点与均值差异的平方的平均值（方差），其平方根即为标准差，是衡量离散程度最常用的指标。
• 累加 (cumsum)：计算序列的累积和，常用于分析时间序列数据的增长趋势。
• Pandas 便捷计算：掌握如何使用 Pandas 的 .var()、.std() 和 .cumsum() 方法快速计算统计量，并用等价表达式计算 MAD（原课演示的 .mad() 方法已在 pandas 2.0 中移除）。

描述数据离散程度的统计量

前三个统计量——平均绝对误差（MAD）、方差（variance）和标准差（standard deviation）——主要用于描述数据的离散程度和分布差异。

平均绝对误差 (MAD)

MAD 的全称是 Mean Absolute Deviation（平均绝对误差）。它表示各个数据值之间差异程度的一种数值。其计算公式为：

$$\text{MAD} = \frac{1}{n} \sum_{i=1}^{n} |x_i - \bar{x}|$$

其中，$x_i$ 是每一个数据点，$\bar{x}$ 是这组数据的均值，$n$ 是数据点的个数。计算步骤是：先求每个数据与均值的差，取绝对值，然后将所有绝对值相加，最后除以数据个数。

举例：假设有一组数据 [2, 2, 3, 4, 14]。

1. 计算均值：$(2+2+3+4+14)/5 = 5$。
2. 计算每个数据与均值的绝对差：$|2-5|=3$, $|2-5|=3$, $|3-5|=2$, $|4-5|=1$, $|14-5|=9$。
3. 求和并求平均：$(3+3+2+1+9)/5 = 18/5 = 3.6$。

因此，这组数据的 MAD 为 3.6。MAD 值越大，表明数据分布越分散；值越小，则分布越集中。

方差与标准差

方差（Variance）是另一个衡量离散程度的核心指标。其计算公式为：

$$\text{Variance} = \frac{1}{n} \sum_{i=1}^{n} (x_i - \bar{x})^2$$

与 MAD 不同的是，方差计算的是差值（$x_i - \bar{x}$）的平方，而不是绝对值。这会使方差对较大的偏差（异常值）给予更高的权重。

沿用上面的例子 [2, 2, 3, 4, 14]，均值仍为5。

1. 计算每个数据与均值差的平方：$(2-5)^2=9$, $(2-5)^2=9$, $(3-5)^2=4$, $(4-5)^2=1$, $(14-5)^2=81$。
2. 求和并求平均：$(9+9+4+1+81)/5 = 104/5 = 20.8$。

所以，这组数据的方差为 20.8。

标准差（Standard Deviation） 就是方差的平方根：

$$\text{Standard Deviation} = \sqrt{\text{Variance}}$$

计算上例的标准差：$\sqrt{20.8} \approx 4.56$。标准差与原始数据具有相同的量纲，因此在实际解释中比方差更直观。

在 Pandas 中计算离散统计量

Pandas 为 Series 和 DataFrame 提供了直接计算这些统计量的方法。让我们通过一个构造的示例数据集来演示。

import pandas as pd

# 构造一个简单的示例DataFrame
data = {
    '产品': ['A', 'B', 'C', 'D', 'E'],
    '评分': [7.2, 8.5, 6.8, 9.1, 5.5],
    '成本': [120, 150, 90, 200, 80]
}
df = pd.DataFrame(data)
print("原始数据：")
print(df)
print()

原始数据：
  产品   评分   成本
0  A  7.2  120
1  B  8.5  150
2  C  6.8   90
3  D  9.1  200
4  E  5.5   80

现在，我们计算数值列的这些离散统计量。时效说明：原课演示的 .mad() 方法（以及 DataFrame.mad()/Series.mad()）已在 pandas 2.0 中移除，这里用等价表达式 (x - x.mean()).abs().mean() 实现；.var() 与 .std() 仍可直接使用。

口径提示：.var() / .std() 默认按样本口径计算（分母为 n−1）；而本节前文手算方差公式用的是总体口径（分母为 n）。两者相差一个自由度——把代码输出与前文公式做数值核对时，需用 .var(ddof=0) 切换到总体口径（本节练习答案中有对照演示）。

# 每个代码块自包含：重新构造数据；MAD 用等价表达式计算（.mad() 已在 pandas 2.0 移除）
import pandas as pd

data = {
    '产品': ['A', 'B', 'C', 'D', 'E'],
    '评分': [7.2, 8.5, 6.8, 9.1, 5.5],
    '成本': [120, 150, 90, 200, 80]
}
df = pd.DataFrame(data)
num_df = df[['评分', '成本']]

# 计算平均绝对误差 (MAD)：每个值与均值之差的绝对值的平均
print("各数值列的平均绝对误差 (MAD):")
print((num_df - num_df.mean()).abs().mean())
print()

# 计算方差
print("各数值列的方差:")
print(num_df.var())
print()

# 计算标准差
print("各数值列的标准差:")
print(num_df.std())

各数值列的平均绝对误差 (MAD):
评分     1.104
成本    37.600
dtype: float64

各数值列的方差:
评分       2.027
成本    2370.000
dtype: float64

各数值列的标准差:
评分     1.423728
成本    48.682646
dtype: float64

从结果可以看出：

• “评分”的 MAD、方差、标准差都较小，说明用户的评分相对集中，波动不大。
• “成本”的各项离散指标都远大于“评分”，说明不同产品的成本差异很大，分布更分散。

累加操作 cumsum

累加（Cumulative Sum, cumsum）严格来说不是一个“统计量”，但在数据分析中极为常用。它计算序列中元素的累积和，即第一个元素，第一个加第二个，第一个加第二个加第三个，依此类推。

cumsum 特别适用于时间序列数据，用于观察累积效应或增长趋势。例如，分析每月销售额的累积和，可以直观看到全年销售目标的完成进度。斜率陡峭的部分代表增长迅速，平缓部分代表增长缓慢甚至下降（当新增值为负时）。

在 Pandas 中，.cumsum() 方法会对 DataFrame 或 Series 进行逐元素的累加。对于数值列，就是数学累加；对于字符串列，则是字符串的拼接。

# 演示cumsum：构造一个简单的月度销售数据（每个代码块自包含）
import pandas as pd

sales_data = {
    '月份': ['1月', '2月', '3月', '4月', '5月'],
    '销售额': [100, 150, 80, 200, 120]
}
sales_df = pd.DataFrame(sales_data).set_index('月份')
print("月度销售额：")
print(sales_df)
print("\n销售额的累积和 (cumsum):")
print(sales_df.cumsum())

月度销售额：
    销售额
月份
1月  100
2月  150
3月   80
4月  200
5月  120

销售额的累积和 (cumsum):
    销售额
月份
1月  100
2月  250
3月  330
4月  530
5月  650

解读：到3月底，累计销售额为330；到5月底，累计销售额达到650。从2月到3月，累计值增长放缓（因为3月销售额80低于2月的150），反映了该月销售表现不佳。

📝 动手练一练

1. 概念辨析：方差和平均绝对误差（MAD）在衡量数据离散程度时，最主要的计算区别是什么？这种区别使得哪个指标对数据中的异常值（极大或极小的值）更敏感？
2. 动手计算：给定一个简单的 Series：s = pd.Series([10, 20, 30, 40, 50])，请在不直接调用 .var() 方法的情况下，通过计算其均值和利用方差公式，手动验证其方差结果是否与 s.var() 的输出一致。

手动计算方差: 200.0
Pandas .var() 结果: 250.0
Pandas .var(ddof=0) 结果: 200.0

输出将显示，手动计算结果与 `s.var(ddof=0)` 的结果一致（均为 200.0）。

本章小结

本节我们深入学习了四个用于描述数据分布和趋势的关键操作：

1. MAD：通过绝对差值衡量离散度，稳健不易受极端值影响。
2. 方差与标准差：通过平方差值衡量离散度，是应用最广泛的指标，标准差提供了与数据同量纲的离散度度量。
3. 累加 (cumsum)：计算序列的累积和，是分析时间序列累积效应与增长趋势的利器。

Pandas 提供的 .var()、.std() 和 .cumsum() 方法（MAD 则用等价表达式 (x - x.mean()).abs().mean() 计算，原 .mad() 方法已在 pandas 2.0 移除）让我们能够高效地对整个数据集进行这些计算。

📋 行动清单

• 为你手头的一个数值型数据集，分别计算其 MAD、方差和标准差，并解释这些数值反映了数据怎样的分布特性。
• 尝试对一个表示月度数据（如收入、用户数）的 Series 使用 .cumsum()，并观察其累积变化曲线，思考哪些时间点增长发生了显著变化。
• 比较同一组数据方差与 MAD 的大小关系，理解平方惩罚与绝对惩罚带来的不同敏感性。

—— 小象教研组