分组操作(1) -- GroupBy对象及常用聚合操作

GroupBy 对象与常用聚合操作

小象实战讲义 · Python数据分析实战

在数据分析中，我们经常需要按照某个或某几个维度对数据进行分组，然后对每个组进行统计计算。Pandas的groupby()功能正是为此而生，它能够高效地实现“拆分-应用-合并”的数据处理范式。本节我们将深入理解GroupBy对象，并掌握常用的聚合操作方法。

💡 核心导读

• 分组操作的本质：groupby()并不直接计算结果，而是创建一个GroupBy对象，它记录了数据的分组信息。
• 单列与多列分组：可以按单个列名分组，也可以传入列表按多个列名进行分组，后者会生成多层索引。
• 延迟计算机制：GroupBy对象只有在调用聚合方法（如mean(), max(), size()）时才会执行实际计算。
• 聚合操作的选择性：聚合计算默认只作用于数值列，非数值列（如字符串）在某些聚合操作（如max()）中也可能参与。
• 常用聚合方法：mean()（均值）、max()（最大值）、size()（分组大小）、count()（非空值计数）等。

理解GroupBy对象

groupby()操作的核心产出是一个GroupBy对象。这个对象本身并不包含计算结果，它更像是一个“分组方案”或“计算计划”，记录了原始数据中每一行属于哪个分组。只有当我们对这个对象调用具体的聚合函数时，Pandas才会执行计算并返回结果。

这种设计称为“延迟计算”或“惰性求值”，它使得Pandas可以更高效地组织计算，尤其是在处理大数据时，避免了不必要的中间数据复制。

创建GroupBy对象

我们可以按单列分组，也可以按多列分组。按多列分组时，结果会具有多层索引（MultiIndex），这在处理复杂的分组维度时非常有用。

import pandas as pd

# 在代码块内构造示例数据，模拟原课程中的幸福指数数据集
data = pd.DataFrame({
    'Country': ['Finland', 'Norway', 'Denmark', 'Iceland', 'Switzerland', 'New Zealand', 'Australia', 'Sweden'],
    'Region': ['Western Europe', 'Western Europe', 'Western Europe', 'Western Europe',
               'Western Europe', 'Australia and New Zealand', 'Australia and New Zealand', 'Western Europe'],
    'Happiness Rank': [1, 2, 3, 4, 5, 6, 7, 8],
    'Happiness Score': [7.526, 7.522, 7.520, 7.504, 7.494, 7.286, 7.284, 7.283]
})

# 按单列'Region'进行分组
grouped_single = data.groupby('Region')
print("按单列分组产生的对象类型:", type(grouped_single).__name__)

# 按多列['Region', 'Country']进行分组
grouped_multi = data.groupby(['Region', 'Country'])
print("按多列分组产生的对象类型:", type(grouped_multi).__name__)

按单列分组产生的对象类型: DataFrameGroupBy
按多列分组产生的对象类型: DataFrameGroupBy

从输出可以看到，两种方式都产生了DataFrameGroupBy对象。此时并没有进行任何数值计算，对象内部只是存储了分组映射关系。

常用聚合操作

对GroupBy对象调用聚合方法，才会触发实际计算，并返回一个通常为DataFrame或Series的结果。

求均值 .mean()

.mean()方法会计算每个分组内数值列的平均值。注意：在 pandas 3.0 中，groupby().mean() 不再自动排除非数值列（旧版本会自动丢弃字符串列并给出警告，新版本直接报错），因此这里显式选择数值列进行计算。

import pandas as pd

# 重新构造数据（每个代码块自包含）
data_mean = pd.DataFrame({
    'Country': ['Finland', 'Norway', 'Denmark', 'Iceland', 'Switzerland', 'New Zealand', 'Australia', 'Sweden'],
    'Region': ['Western Europe', 'Western Europe', 'Western Europe', 'Western Europe',
               'Western Europe', 'Australia and New Zealand', 'Australia and New Zealand', 'Western Europe'],
    'Happiness Rank': [1, 2, 3, 4, 5, 6, 7, 8],
    'Happiness Score': [7.526, 7.522, 7.520, 7.504, 7.494, 7.286, 7.284, 7.283]
})

# 按区域分组并对数值列求均值（显式选择数值列，字符串列 Country 不参与）
mean_by_region = data_mean.groupby('Region')[['Happiness Rank', 'Happiness Score']].mean()
print("按区域分组的平均幸福指数与排名:")
print(mean_by_region)

按区域分组的平均幸福指数与排名:
                           Happiness Rank  Happiness Score
Region
Australia and New Zealand        6.500000         7.285000
Western Europe                   3.833333         7.474833

结果是一个DataFrame，索引是分组键（Region），列是原始数据中的数值列。可以看到，“澳新区”的平均排名是6.5，平均幸福得分是7.285；“西欧”地区的平均排名是3.83，平均得分是7.475。字符串列Country没有出现在结果中。

求最大值 .max()

.max()方法返回每个分组内各列的最大值。对于数值列，就是数学最大值；对于字符串列，则是按字母顺序排序后的最大值。

import pandas as pd

# 重新构造数据
data_max = pd.DataFrame({
    'Country': ['Finland', 'Norway', 'Denmark', 'Iceland', 'Switzerland', 'New Zealand', 'Australia', 'Sweden'],
    'Region': ['Western Europe', 'Western Europe', 'Western Europe', 'Western Europe',
               'Western Europe', 'Australia and New Zealand', 'Australia and New Zealand', 'Western Europe'],
    'Happiness Rank': [1, 2, 3, 4, 5, 6, 7, 8],
    'Happiness Score': [7.526, 7.522, 7.520, 7.504, 7.494, 7.286, 7.284, 7.283]
})

# 按区域分组并求最大值
max_by_region = data_max.groupby('Region').max()
print("按区域分组的最大值:")
print(max_by_region)

按区域分组的最大值:
                               Country  Happiness Rank  Happiness Score
Region
Australia and New Zealand  New Zealand               7            7.286
Western Europe             Switzerland               8            7.526

这次，Country列出现了！在“澳新区”分组中，按字母顺序“New Zealand”排在“Australia”之后，所以最大值是“New Zealand”。同时，该组的Happiness Rank最大值是7（排名数字越大，实际排名越靠后），Happiness Score最大值是7.286。这演示了.max()等操作对非数值列的处理逻辑。

统计分组大小 .size()

.size()方法返回每个分组包含的数据行数，结果是一个Series。这是一个非常快速且常用的操作，用于查看数据分布。

import pandas as pd

# 重新构造数据
data_size = pd.DataFrame({
    'Country': ['Finland', 'Norway', 'Denmark', 'Iceland', 'Switzerland', 'New Zealand', 'Australia', 'Sweden'],
    'Region': ['Western Europe', 'Western Europe', 'Western Europe', 'Western Europe',
               'Western Europe', 'Australia and New Zealand', 'Australia and New Zealand', 'Western Europe'],
    'Happiness Rank': [1, 2, 3, 4, 5, 6, 7, 8],
    'Happiness Score': [7.526, 7.522, 7.520, 7.504, 7.494, 7.286, 7.284, 7.283]
})

# 统计每个区域有多少个国家/数据行
size_by_region = data_size.groupby('Region').size()
print("每个区域的数据行数:")
print(size_by_region)

每个区域的数据行数:
Region
Australia and New Zealand    2
Western Europe               6
dtype: int64

非空值计数 .count()

.count()与.size()不同，它返回的是每个分组内每一列的非空值（Non-Null）数量。如果数据中有缺失值，这两个方法的结果就会不同。

import pandas as pd

# 重新构造数据，并故意加入一个缺失值(None)
data_count = pd.DataFrame({
    'Country': ['Finland', 'Norway', 'Denmark', 'Iceland', 'Switzerland', 'New Zealand', 'Australia', 'Sweden'],
    'Region': ['Western Europe', 'Western Europe', 'Western Europe', 'Western Europe',
               'Western Europe', 'Australia and New Zealand', 'Australia and New Zealand', 'Western Europe'],
    'Happiness Rank': [1, 2, 3, 4, 5, 6, 7, None],  # 最后一行Rank为缺失值
    'Happiness Score': [7.526, 7.522, 7.520, 7.504, 7.494, 7.286, 7.284, 7.283]
})

# 使用count统计非空值
count_by_region = data_count.groupby('Region').count()
print("每个区域各列的非空值数量:")
print(count_by_region)

每个区域各列的非空值数量:
                           Country  Happiness Rank  Happiness Score
Region                                                             
Australia and New Zealand        2               2                2
Western Europe                   6               5                6

可以看到，在“西欧”组，Happiness Rank列只有5个非空值，而Country和Happiness Score列有6个。.count()是按列统计的，而.size()是统计整个分组的行数（无论是否有缺失值），在本例中“西欧”组的.size()结果仍是6。

多列分组与多层索引

当按多列分组时，分组键会形成多层索引。我们通常用.size()来直观查看这种分组组合。

import pandas as pd

# 重新构造数据
data_multi = pd.DataFrame({
    'Country': ['Finland', 'Norway', 'Denmark', 'Iceland', 'Switzerland', 'New Zealand', 'Australia', 'Sweden'],
    'Region': ['Western Europe', 'Western Europe', 'Western Europe', 'Western Europe',
               'Western Europe', 'Australia and New Zealand', 'Australia and New Zealand', 'Western Europe'],
    'Happiness Rank': [1, 2, 3, 4, 5, 6, 7, 8],
    'Happiness Score': [7.526, 7.522, 7.520, 7.504, 7.494, 7.286, 7.284, 7.283]
})

# 按Region和Country两列分组，并查看每组大小
size_by_region_country = data_multi.groupby(['Region', 'Country']).size()
print("按区域和国家分组后每组的大小:")
print(size_by_region_country)

按区域和国家分组后每组的大小:
Region                     Country     
Australia and New Zealand  Australia      1
                           New Zealand    1
Western Europe             Denmark        1
                           Finland        1
                           Iceland        1
                           Norway         1
                           Sweden         1
                           Switzerland    1
dtype: int64

结果是一个具有两层索引的Series。第一层是Region，第二层是Country。由于每个“地区-国家”组合在数据中只出现一次，所以每个分组的大小都是1。这种分组方式在需要更细粒度分析时非常有用。

📝 动手练一练

1. 概念辨析：GroupBy对象调用.size()和.count()返回的结果有什么本质区别？在什么情况下它们的结果会不同？

2. 动手实践：使用上面示例中的data_multi DataFrame，尝试按Region分组后，计算每个区域Happiness Score的总和（sum()）与最小值（min()）。观察字符串列Country是否出现在结果中？为什么？

import pandas as pd

data_multi = pd.DataFrame({
    'Country': ['Finland', 'Norway', 'Denmark', 'Iceland', 'Switzerland', 'New Zealand', 'Australia', 'Sweden'],
    'Region': ['Western Europe', 'Western Europe', 'Western Europe', 'Western Europe',
               'Western Europe', 'Australia and New Zealand', 'Australia and New Zealand', 'Western Europe'],
    'Happiness Rank': [1, 2, 3, 4, 5, 6, 7, 8],
    'Happiness Score': [7.526, 7.522, 7.520, 7.504, 7.494, 7.286, 7.284, 7.283]
})

sum_score = data_multi.groupby('Region')['Happiness Score'].sum()
min_score = data_multi.groupby('Region')['Happiness Score'].min()

print("每个区域幸福指数总和:")
print(sum_score)
print("\n每个区域幸福指数最小值:")
print(min_score)

每个区域幸福指数总和:
Region
Australia and New Zealand    14.570
Western Europe               44.849
Name: Happiness Score, dtype: float64

每个区域幸福指数最小值:
Region
Australia and New Zealand    7.284
Western Europe               7.283
Name: Happiness Score, dtype: float64

本章小结

本节我们揭开了Pandas分组操作的神秘面纱。groupby()的核心在于创建了一个惰性求值的GroupBy对象，它将数据拆分到不同的组中，等待一个聚合指令来触发计算。我们学习了按单列和多列分组的方法，并实践了mean()、max()、size()、count()等最常用的聚合操作，理解了它们之间的区别以及对数值/非数值列的不同处理逻辑。

📋 行动清单

学完本节，你可以立即：

• 对你手头的数据集，尝试按一个关键列进行分组，并使用.mean()或.size()查看分组统计信息。
• 理解并能在.size()（计数行）和.count()（计数非空值）之间做出正确选择。
• 在按多列分组时，能够解读具有多层索引的聚合结果。

—— 小象教研组