层级索引

小象实战讲义 · Python数据分析实战

在数据分析中，我们常常会遇到数据具有自然层次结构的情况，例如国家属于某个地区，产品属于某个类别。Pandas 提供的层级索引（MultiIndex）功能，可以让我们高效地组织和访问这类具有多级分组结构的数据。本节将学习如何设置、操作和使用层级索引，这是后续进行高级分组聚合和透视表分析的重要基础。

💡 核心导读

• 什么是层级索引：理解 MultiIndex 对象的概念，它允许将多列组合成一个层次化的索引。
• 设置与选取：掌握使用 set_index() 设置层级索引，以及使用 loc 通过外层和内层索引精确选取数据子集。
• 索引操作：学习交换索引层级 (swaplevel) 和对层级索引进行排序 (sort_index)。
• 应用场景：了解层级索引在分组操作和透视表生成中的重要作用。

理解层级索引

在之前的课程中，我们接触的 DataFrame 通常只有一个行索引（Index）。层级索引（MultiIndex），顾名思义，就是为数据行设置多个层级的索引标签。

想象一下“世界幸福指数”数据集：每个国家（Country）都有一个幸福指数排名和分数，而每个国家又归属于一个更大的地理区域（Region）。如果我们想同时按区域和国家来组织和查询数据，层级索引就非常有用。此时，区域（Region）可以作为外层索引，国家（Country）作为内层索引，形成一个两层的数据访问结构。

设置层级索引时，传入列的顺序至关重要。先传入的列会成为外层索引，后传入的成为内层索引。数据访问时，需要遵循“从外到内”的顺序。

设置与操作层级索引

让我们通过代码来具体学习。首先，我们构造一个模拟的“幸福指数”数据集进行演示。

import pandas as pd

# 构造示例数据：模拟幸福指数数据集
data = {
    'Region': ['Western Europe', 'Western Europe', 'Australia and New Zealand', 
               'Central and Eastern Europe', 'Western Europe'],
    'Country': ['Denmark', 'Switzerland', 'New Zealand', 'Czech Republic', 'Iceland'],
    'Happiness Rank': [1, 2, 8, 27, 3],
    'Happiness Score': [7.526, 7.509, 7.334, 6.609, 7.504]
}
df = pd.DataFrame(data)
print("原始数据：")
print(df)

原始数据：
                       Region         Country  Happiness Rank  Happiness Score
0              Western Europe         Denmark               1            7.526
1              Western Europe     Switzerland               2            7.509
2   Australia and New Zealand     New Zealand               8            7.334
3  Central and Eastern Europe  Czech Republic              27            6.609
4              Western Europe         Iceland               3            7.504

设置层级索引

使用 DataFrame.set_index() 方法，并传入一个列名列表，即可设置层级索引。参数 inplace=True 表示直接在原 DataFrame 上修改。

import pandas as pd

# 重新构造数据，确保每个代码块自包含
data = {
    'Region': ['Western Europe', 'Western Europe', 'Australia and New Zealand', 
               'Central and Eastern Europe', 'Western Europe'],
    'Country': ['Denmark', 'Switzerland', 'New Zealand', 'Czech Republic', 'Iceland'],
    'Happiness Rank': [1, 2, 8, 27, 3],
    'Happiness Score': [7.526, 7.509, 7.334, 6.609, 7.504]
}
df = pd.DataFrame(data)

# 设置层级索引：Region为外层，Country为内层
df_multi = df.set_index(['Region', 'Country'])
print("\n设置层级索引后：")
print(df_multi)

设置层级索引后：
                                           Happiness Rank  Happiness Score
Region                     Country
Western Europe             Denmark                      1            7.526
                           Switzerland                  2            7.509
Australia and New Zealand  New Zealand                  8            7.334
Central and Eastern Europe Czech Republic              27            6.609
Western Europe             Iceland                      3            7.504

可以看到，索引变成了两层：第一层是 Region，第二层是 Country。属于同一个区域（如 Western Europe）的国家被“分组”在了一起，但它们在数据中的物理位置（行顺序）并未改变。

通过层级索引选取数据

选取数据时，需要使用 .loc[] 索引器。

• 外层选取：只需提供外层索引的标签，可以获取该外层索引下的所有数据（一个分组）。
• 内层选取：必须同时提供外层和内层索引的标签（以元组形式），才能定位到唯一的一行数据。

import pandas as pd

# 重新构造带层级索引的DataFrame
data = {
    'Region': ['Western Europe', 'Western Europe', 'Australia and New Zealand', 
               'Central and Eastern Europe', 'Western Europe'],
    'Country': ['Denmark', 'Switzerland', 'New Zealand', 'Czech Republic', 'Iceland'],
    'Happiness Rank': [1, 2, 8, 27, 3],
    'Happiness Score': [7.526, 7.509, 7.334, 6.609, 7.504]
}
df = pd.DataFrame(data)
df_multi = df.set_index(['Region', 'Country'])

# 外层选取：获取‘Western Europe’地区的所有国家数据
print("选取‘Western Europe’地区：")
print(df_multi.loc['Western Europe'])

# 内层选取：获取‘Australia and New Zealand’地区的‘New Zealand’数据
print("\n选取(‘Australia and New Zealand‘, ‘New Zealand‘)：")
print(df_multi.loc[('Australia and New Zealand', 'New Zealand')])

选取‘Western Europe’地区：
             Happiness Rank  Happiness Score
Country
Denmark                   1            7.526
Switzerland               2            7.509
Iceland                   3            7.504

选取(‘Australia and New Zealand‘, ‘New Zealand‘)：
Happiness Rank     8.000
Happiness Score    7.334
Name: (Australia and New Zealand, New Zealand), dtype: float64

重要提示：如果只传入内层索引标签（如 'New Zealand'），Pandas 会认为它是外层索引标签，由于在外层找不到匹配项，会导致 KeyError。

索引层级操作

交换索引层级

使用 swaplevel() 方法可以交换两个索引层级的位置。这在需要改变数据访问主维度时非常有用。

import pandas as pd

# 重新构造带层级索引的DataFrame
data = {
    'Region': ['Western Europe', 'Western Europe', 'Australia and New Zealand', 
               'Central and Eastern Europe', 'Western Europe'],
    'Country': ['Denmark', 'Switzerland', 'New Zealand', 'Czech Republic', 'Iceland'],
    'Happiness Rank': [1, 2, 8, 27, 3],
    'Happiness Score': [7.526, 7.509, 7.334, 6.609, 7.504]
}
df = pd.DataFrame(data)
df_multi = df.set_index(['Region', 'Country'])

# 交换索引层级，将Country变为外层，Region变为内层
df_swapped = df_multi.swaplevel()
print("交换索引层级后：")
print(df_swapped)

交换索引层级后：
                                           Happiness Rank  Happiness Score
Country        Region
Denmark        Western Europe                           1            7.526
Switzerland    Western Europe                           2            7.509
New Zealand    Australia and New Zealand                8            7.334
Czech Republic Central and Eastern Europe              27            6.609
Iceland        Western Europe                           3            7.504

层级索引排序

初始设置层级索引时，数据的物理顺序不变。使用 sort_index() 方法可以对索引进行排序，使得相同外层索引的数据物理上也聚集在一起，并且每一层内部都按字典序排列。

sort_index() 的 level 参数可以指定在哪一层级上进行排序。默认对所有层级排序（先排外层，再排内层）。

import pandas as pd

# 重新构造一个顺序更乱的示例数据
data = {
    'Region': ['Western Europe', 'Central and Eastern Europe', 'Western Europe', 
               'Australia and New Zealand', 'Western Europe'],
    'Country': ['Iceland', 'Czech Republic', 'Denmark', 'New Zealand', 'Switzerland'],
    'Happiness Rank': [3, 27, 1, 8, 2],
    'Happiness Score': [7.504, 6.609, 7.526, 7.334, 7.509]
}
df = pd.DataFrame(data)
df_multi = df.set_index(['Region', 'Country'])

print("原始层级索引（未排序）：")
print(df_multi)

# 对层级索引进行排序（默认对所有层级排序）
df_sorted = df_multi.sort_index()
print("\n对索引排序后（先Region，后Country）：")
print(df_sorted)

# 仅在内层索引（level=1）上进行排序
df_sorted_inner = df_multi.sort_index(level=1)
print("\n仅按内层索引（Country）排序：")
print(df_sorted_inner)

原始层级索引（未排序）：
                                           Happiness Rank  Happiness Score
Region                     Country
Western Europe             Iceland                      3            7.504
Central and Eastern Europe Czech Republic              27            6.609
Western Europe             Denmark                      1            7.526
Australia and New Zealand  New Zealand                  8            7.334
Western Europe             Switzerland                  2            7.509

对索引排序后（先Region，后Country）：
                                           Happiness Rank  Happiness Score
Region                     Country
Australia and New Zealand  New Zealand                  8            7.334
Central and Eastern Europe Czech Republic              27            6.609
Western Europe             Denmark                      1            7.526
                           Iceland                      3            7.504
                           Switzerland                  2            7.509

仅按内层索引（Country）排序：
                                           Happiness Rank  Happiness Score
Region                     Country
Central and Eastern Europe Czech Republic              27            6.609
Western Europe             Denmark                      1            7.526
                           Iceland                      3            7.504
Australia and New Zealand  New Zealand                  8            7.334
Western Europe             Switzerland                  2            7.509

排序后，数据首先按 Region 的字母顺序排列，然后在每个 Region 内部，再按 Country 的字母顺序排列。当仅按内层排序时，Country 顺序变了，但 Region 的组并未被打乱重排。

应用场景与总结

层级索引是 Pandas 中一个强大的数据组织工具，它主要应用于以下场景：

1. 分组操作（GroupBy）：为数据预先建立清晰的分组结构，使得后续的聚合分析（如求和、求平均）更加直观高效。
2. 透视表（Pivot Table）的生成：透视表的结果行和列常常就是多层索引，便于从多个维度观察汇总数据。

掌握层级索引的创建、访问和基本操作，是迈向 Pandas 高阶数据分析的关键一步。它让处理具有真实世界层次关系的数据变得井然有序。

📝 动手练一练

1. 概念辨析：在设置层级索引 df.set_index([‘A‘, ‘B‘]) 后，如果使用 df.loc[‘value_b‘] 进行选取却报错 KeyError，可能的原因是什么？
2. 动手实践：请创建一个包含‘Class‘（班级）、‘Student‘（学生）、‘Score‘（分数）三列的 DataFrame，数据示例如下。然后完成以下操作：
   • 将‘Class‘和‘Student‘设置为层级索引（Class为外层）。
   • 取出‘A‘班所有学生的成绩。
   • 取出‘B‘班学生‘Bob‘的成绩。
   • 交换索引层级，查看结果。

import pandas as pd

# 构造数据
data_ex = {
    'Class': ['A', 'A', 'B', 'B'],
    'Student': ['Alice', 'Tom', 'Bob', 'Jane'],
    'Score': [85, 92, 78, 88]
}
df_ex = pd.DataFrame(data_ex)

# 设置层级索引
df_ex_multi = df_ex.set_index(['Class', 'Student'])
print("设置层级索引后：\n", df_ex_multi)

# a. 取出‘A‘班所有学生成绩
print("\na. A班成绩：\n", df_ex_multi.loc['A'])

# b. 取出‘B‘班学生‘Bob‘的成绩
print("\nb. B班Bob的成绩：\n", df_ex_multi.loc[('B', 'Bob')])

# c. 交换索引层级
df_ex_swapped = df_ex_multi.swaplevel()
print("\nc. 交换索引层级后：\n", df_ex_swapped)

设置层级索引后：
                Score
Class Student
A     Alice       85
      Tom         92
B     Bob         78
      Jane        88

a. A班成绩：
          Score
Student
Alice       85
Tom         92

b. B班Bob的成绩：
 Score    78
Name: (B, Bob), dtype: int64

c. 交换索引层级后：
                Score
Student Class
Alice   A         85
Tom     A         92
Bob     B         78
Jane    B         88

本章小结

本节我们深入学习了 Pandas 的层级索引（MultiIndex），它是处理具有层次结构数据的利器。

📋 行动清单

• 练习设置：在你的数据中，尝试将两列有逻辑包含关系的列（如“省份”和“城市”）设置为层级索引。
• 掌握选取：熟练使用 .loc[] 进行外层选取（单标签）和内层选取（元组标签）。
• 尝试操作：对已有的层级索引数据，使用 swaplevel() 和 sort_index() 观察数据形态的变化，理解其作用。

—— 小象教研组