常用统计方法(2) -- sum mean median count

常用统计方法（二）：求和、均值、中位数与计数

小象实战讲义 · Python数据分析实战

在上一节我们学习了 describe() 方法，它可以快速给出数据的整体统计概览。本节我们将深入几个最核心的单变量统计方法：sum()（求和）、mean()（均值）、median()（中位数）和 count()（计数）。这些方法是数据分析的基石，Pandas 在执行这些统计时，会自动、智能地处理缺失值，并针对不同数据类型采用合理的计算逻辑，这正是其强大与便捷之处。

💡 核心导读

• sum()、mean()、median()、count()：掌握这四个核心统计方法的功能与调用方式。
• 缺失值处理：了解 Pandas 在进行统计时如何自动忽略缺失值（NaN）。
• 数据类型与统计兼容性：理解不同数据类型（数值、字符串、布尔值）在求和、求均值时的行为差异。
• median() 与 quantile() 的关系：明确中位数就是 0.5 分位数。

核心统计方法详解

Pandas DataFrame 和 Series 对象提供了丰富的统计方法，其中 sum()、mean()、median() 和 count() 是最常用的一组。

• sum(): 计算序列或数据框各列的和。
• mean(): 计算序列或数据框各列的算术平均值。
• median(): 计算序列或数据框各列的中位数。
• count(): 统计序列或数据框各列中非空（非 NaN）值的数量。

这些方法在调用时，默认会忽略缺失值（NaN），仅对有效数据进行计算，这避免了因数据缺失而导致统计错误。

统计方法的实际应用与数据类型考量

让我们通过一个具体的例子来观察这些方法的行为。我们将构造一个包含多种数据类型的 DataFrame，模拟视频播放日志数据。

import pandas as pd

# 构造一个包含多种数据类型和缺失值的示例DataFrame
data = pd.DataFrame({
    'time': [10, 20, 30],               # 整型
    'user': ['shirley', 'bob', 'alice'], # 字符串型
    'video': ['vid_A', 'vid_B', 'vid_C'], # 字符串型
    'playback_position': [15.5, 25.0, 35.5], # 浮点型
    'paused': [False, True, False],     # 布尔型
    'volume': [50, 60, 70]              # 整型
})
print("原始数据：")
print(data)

原始数据：
   time     user  video  playback_position  paused  volume
0    10  shirley  vid_A               15.5   False      50
1    20      bob  vid_B               25.0    True      60
2    30    alice  vid_C               35.5   False      70

1. 求和 sum()

对 DataFrame 调用 sum() 方法，会返回每一列的和。

import pandas as pd

# 构造数据
data = pd.DataFrame({
    'time': [10, 20, 30],
    'user': ['shirley', 'bob', 'alice'],
    'video': ['vid_A', 'vid_B', 'vid_C'],
    'playback_position': [15.5, 25.0, 35.5],
    'paused': [False, True, False],
    'volume': [50, 60, 70]
})

# 计算每列的总和
sum_result = data.sum()
print("各列求和结果：")
print(sum_result)

各列求和结果：
time                              60
user                 shirleybobalice
video                vid_Avid_Bvid_C
playback_position               76.0
paused                             1
volume                           180
dtype: object

结果分析：

• 数值列（time, playback_position, volume）：直接进行算术相加。
• 字符串列（user, video）：Pandas 将字符串拼接（Concatenation）作为其“求和”操作。user 列的结果是 'shirleybobalice'。
• 布尔列（paused）：在统计计算中，Pandas 将 False 视为 0，将 True 视为 1。因此 [False, True, False] 的和是 0+1+0=1。

2. 均值 mean() 与中位数 median()

均值和中位数是描述数据集中趋势的重要指标。注意：mean() / median() 只适用于数值型数据（包括布尔型，因其可转换为0/1）；对含字符串列的混合 DataFrame 直接调用而不加参数，pandas 2.0 起（numeric_only 默认 False）会直接抛出 TypeError——因此需要像本节示例那样显式使用 numeric_only=True 只对数值列计算。

import pandas as pd

# 构造数据
data = pd.DataFrame({
    'time': [10, 20, 30],
    'user': ['shirley', 'bob', 'alice'],
    'video': ['vid_A', 'vid_B', 'vid_C'],
    'playback_position': [15.5, 25.0, 35.5],
    'paused': [False, True, False],
    'volume': [50, 60, 70]
})

# 计算每列的均值和中位数
mean_result = data.mean(numeric_only=True) # 使用numeric_only参数仅计算数值列
median_result = data.median(numeric_only=True)

print("各列均值结果（仅数值列）：")
print(mean_result)
print("\n各列中位数结果（仅数值列）：")
print(median_result)

各列均值结果（仅数值列）：
time                 20.000000
playback_position    25.333333
paused                0.333333
volume               60.000000
dtype: float64

各列中位数结果（仅数值列）：
time                 20.0
playback_position    25.0
paused                0.0
volume               60.0
dtype: float64

关键点：

• numeric_only=True 参数：确保只对数值列（包括布尔列）进行计算。字符串列无法计算均值或中位数，因此被自动排除。
• 中位数的计算：将数据从小到大排序后，位于中间位置的值。例如 volume 列 [50, 60, 70] 的中位数是 60。
• 布尔值的计算：paused 列的均值 0.333... 表示 True 的比例约为 33.3%。

3. 非空值计数 count()

count() 方法用于统计每列中非空（非 NaN）值的个数，是数据质量检查的利器。

import pandas as pd

# 构造一个包含缺失值的数据
data_with_na = pd.DataFrame({
    'A': [1, 2, None, 4],
    'B': [None, 'x', 'y', 'z'],
    'C': [True, False, None, True]
})
print("包含缺失值的数据：")
print(data_with_na)

count_result = data_with_na.count()
print("\n各列非空值数量：")
print(count_result)

包含缺失值的数据：
     A    B      C
0  1.0  NaN   True
1  2.0    x  False
2  NaN    y   None
3  4.0    z   True

各列非空值数量：
A    3
B    3
C    3
dtype: int64

可以看到，count() 准确地告诉我们每一列有多少个有效数据，这对于识别数据缺失情况非常有帮助。

中位数与分位数的关系

中位数有一个重要的数学等价定义：它是数据的 0.5 分位数。在 Pandas 中，我们可以用 quantile(0.5) 来验证这一点。

import pandas as pd

# 构造数据
data = pd.DataFrame({'values': [5, 12, 8, 20, 3, 15, 9]})

median_val = data['values'].median()
quantile_val = data['values'].quantile(0.5)

print(f"中位数 (median()): {median_val}")
print(f"0.5分位数 (quantile(0.5)): {quantile_val}")
print(f"两者是否相等: {median_val == quantile_val}")

中位数 (median()): 9.0
0.5分位数 (quantile(0.5)): 9.0
两者是否相等: True

📝 动手练一练

1. 概念辨析：对于一个包含字符串、整数和缺失值的 DataFrame df，直接调用 df.mean() 会得到什么结果？为什么？
2. 动手验证：创建一个简单的 Series：s = pd.Series([10, 20, None, 40, 50])。请分别计算它的 sum()、mean()、median() 和 count()，并观察缺失值是如何被处理的。

Series: [10.0, 20.0, nan, 40.0, 50.0]
sum(): 120.0
mean(): 30.0
median(): 30.0
count(): 4

输出结果将显示，`sum()`, `mean()`, `median()` 都自动忽略了 `None`（NaN），只对有效的四个数字 `[10, 20, 40, 50]` 进行计算。`count()` 返回的是非空值的数量 `4`。

本章小结

本节我们深入学习了 Pandas 中四个基础的统计方法：sum()、mean()、median() 和 count()。它们不仅是描述性统计的核心，也体现了 Pandas 设计上的实用性：

1. 自动处理缺失值：默认忽略 NaN，使分析更稳健。
2. 类型感知计算：对不同数据类型（数值、字符串、布尔值）采用合理的计算逻辑。
3. 方法等价性：median() 等价于 quantile(0.5)。

📋 行动清单

• 在您自己的数据集上，尝试使用 df.sum()、df.mean(numeric_only=True)、df.median(numeric_only=True) 和 df.count() 来快速了解数据的概况。
• 使用 df.count() 与 len(df) 对比，检查各列是否存在缺失值。
• 对于布尔型数据列，尝试计算其 mean()，理解其结果代表“True”的比例这一实际意义。

—— 小象教研组