索引操作总结

小象实战讲义 · Python数据分析实战

在之前的课程中，我们学习了Pandas的多种索引方式。索引是高效访问和操作数据的核心。本节将对核心的索引操作进行系统性总结，并引入一个强大的数据筛选工具——布尔值遮罩，帮助你更灵活、更精确地控制数据。

💡 核心导读

• 索引类型回顾：掌握 .loc（标签索引）与 .iloc（位置索引）的核心区别与适用场景。
• 布尔值遮罩：理解如何通过条件判断生成布尔序列，并利用它进行高效的数据过滤。
• 条件过滤实战：学习将复杂的筛选条件转化为简洁的遮罩操作，实现数据的快速提取。
• 思维迁移：将NumPy中的“遮罩索引”思想无缝应用到Pandas的DataFrame操作中。

索引操作核心：.loc 与 .iloc

Pandas的索引操作主要可归纳为两种核心方法，它们都主要用于行索引：

1. .loc[]：基于标签的索引。传入的是行或列的索引标签（通常是字符串或整数标签）。
2. .iloc[]：基于整数位置的索引。传入的是行或列从0开始的整数位置。

一个重要的细节是：使用 .loc 进行切片时，其结果是包含末尾位置的，这与Python原生的列表切片（不包含末尾）不同，但与Pandas标签索引的语义一致。

让我们通过代码来巩固印象。首先，我们构建一个示例DataFrame。

import pandas as pd

# 构建示例DataFrame
country1 = pd.Series({'Name': '中国', 'Language': 'Chinese', 'Area': '9.597M km2', 'Happiness Rank': 79})
country2 = pd.Series({'Name': '美国', 'Language': 'English (US)', 'Area': '9.834M km2', 'Happiness Rank': 14})
country3 = pd.Series({'Name': '澳大利亚', 'Language': 'English (AU)', 'Area': '7.692M km2', 'Happiness Rank': 9})

df = pd.DataFrame([country1, country2, country3], index=['CH', 'US', 'AU'])
print("原始DataFrame:")
print(df)

原始DataFrame:
    Name      Language        Area  Happiness Rank
CH    中国       Chinese  9.597M km2              79
US    美国  English (US)  9.834M km2              14
AU  澳大利亚  English (AU)  7.692M km2               9

现在，我们分别使用 .loc 和 .iloc 进行索引操作。

import pandas as pd

# 重新构建DataFrame，确保代码块自包含
country1 = pd.Series({'Name': '中国', 'Language': 'Chinese', 'Area': '9.597M km2', 'Happiness Rank': 79})
country2 = pd.Series({'Name': '美国', 'Language': 'English (US)', 'Area': '9.834M km2', 'Happiness Rank': 14})
country3 = pd.Series({'Name': '澳大利亚', 'Language': 'English (AU)', 'Area': '7.692M km2', 'Happiness Rank': 9})
df = pd.DataFrame([country1, country2, country3], index=['CH', 'US', 'AU'])

# 1. 使用.loc基于标签索引单行
print("1. 使用 df.loc['CH'] 选择中国数据：")
print(df.loc['CH'])
print("\n" + "-"*30 + "\n")

# 2. 使用.iloc基于位置索引多行（传入位置列表）
print("2. 使用 df.iloc[[0, 2]] 选择第0行和第2行：")
print(df.iloc[[0, 2]])

1. 使用 df.loc['CH'] 选择中国数据：
Name                      中国
Language             Chinese
Area              9.597M km2
Happiness Rank            79
Name: CH, dtype: object

------------------------------

2. 使用 df.iloc[[0, 2]] 选择第0行和第2行：
    Name      Language        Area  Happiness Rank
CH    中国       Chinese  9.597M km2              79
AU  澳大利亚  English (AU)  7.692M km2               9

强大的数据筛选器：布尔值遮罩

除了直接的标签和位置索引，Pandas还支持一种更为灵活和强大的索引方式——布尔值遮罩。其思想源于NumPy：通过一个与原数据尺寸相同的布尔值（True/False）数组（遮罩），来“遮盖”数据，只留下标记为True的部分。

遮罩的生成与应用

生成遮罩的核心是条件判断。例如，我们想找出所有说英语的国家。

import pandas as pd

# 重新构建DataFrame
country1 = pd.Series({'Name': '中国', 'Language': 'Chinese', 'Area': '9.597M km2', 'Happiness Rank': 79})
country2 = pd.Series({'Name': '美国', 'Language': 'English (US)', 'Area': '9.834M km2', 'Happiness Rank': 14})
country3 = pd.Series({'Name': '澳大利亚', 'Language': 'English (AU)', 'Area': '7.692M km2', 'Happiness Rank': 9})
df = pd.DataFrame([country1, country2, country3], index=['CH', 'US', 'AU'])

# 步骤1：生成布尔值遮罩 - 检查'Language'列是否包含'English'
mask = df['Language'].str.contains('English')
print("生成的布尔值遮罩 (mask):")
print(mask)
print("\n" + "-"*30 + "\n")

# 步骤2：应用遮罩过滤数据
english_speaking_countries = df[mask]
print("应用遮罩后，说英语的国家：")
print(english_speaking_countries)

生成的布尔值遮罩 (mask):
CH    False
US     True
AU     True
Name: Language, dtype: bool

------------------------------

应用遮罩后，说英语的国家：
    Name      Language        Area  Happiness Rank
US    美国  English (US)  9.834M km2              14
AU  澳大利亚  English (AU)  7.692M km2               9

过程解析：

1. df['Language'].str.contains('English') 对Language列的每个元素进行字符串检查，返回一个与原列等长的布尔Series（遮罩）。
2. 将遮罩mask放入DataFrame的方括号df[mask]中，Pandas会自动筛选出所有对应mask值为True的行。

内联条件过滤

对于简单的条件，我们通常将生成遮罩的表达式直接写在方括号内，使代码更紧凑。

import pandas as pd

# 重新构建DataFrame
country1 = pd.Series({'Name': '中国', 'Language': 'Chinese', 'Area': '9.597M km2', 'Happiness Rank': 79})
country2 = pd.Series({'Name': '美国', 'Language': 'English (US)', 'Area': '9.834M km2', 'Happiness Rank': 14})
country3 = pd.Series({'Name': '澳大利亚', 'Language': 'English (AU)', 'Area': '7.692M km2', 'Happiness Rank': 9})
df = pd.DataFrame([country1, country2, country3], index=['CH', 'US', 'AU'])

# 内联条件：直接过滤出幸福指数排名前20的国家
top_20_happy = df[df['Happiness Rank'] <= 20]
print("幸福指数排名前20的国家：")
print(top_20_happy)

幸福指数排名前20的国家：
    Name      Language        Area  Happiness Rank
US    美国  English (US)  9.834M km2              14
AU  澳大利亚  English (AU)  7.692M km2               9

这里的 df['Happiness Rank'] <= 20 直接生成了一个布尔遮罩，并立即用于索引。这种方法在数据分析中极其常用。

📝 动手练一练

1. 概念辨析：.loc 和 .iloc 最主要的区别是什么？在什么情况下你应该选择使用 .iloc 而不是 .loc？

2. 动手实践：假设我们有一个新的DataFrame df_area，包含Name和Area两列，Area列的格式为类似"9.597M km2"的字符串。请编写代码，使用布尔值遮罩筛选出面积大于 9.5 百万平方公里的国家。 提示：可以使用 Series.str.extract() 配合正则表达式提取数字部分，再转换为数值进行比较。

import pandas as pd

# 构造数据
df_area = pd.DataFrame({
    'Name': ['中国', '美国', '澳大利亚', '俄罗斯', '加拿大'],
    'Area': ['9.597M km2', '9.834M km2', '7.692M km2', '17.100M km2', '9.985M km2']
})

# 参考答案
# 步骤：1) 提取数字部分；2) 转换为浮点数；3) 与9.5比较生成遮罩；4) 应用遮罩。
large_countries = df_area[df_area['Area'].str.extract(r'(\d+\.\d+)')[0].astype(float) > 9.5]
print("面积大于9.5百万平方公里的国家：")
print(large_countries)

面积大于9.5百万平方公里的国家：
  Name         Area
0   中国   9.597M km2
1   美国   9.834M km2
3  俄罗斯  17.100M km2
4  加拿大   9.985M km2

本章小结

本节我们系统梳理了Pandas的核心索引与筛选机制：

• .loc 与 .iloc 是精确访问数据的“坐标仪”，分别服务于标签和位置两种查询逻辑。
• 布尔值遮罩 是条件筛选的“过滤器”，它将复杂的数据查询需求转化为直观的真/假判断问题，是数据分析中进行数据子集选取的利器。

📋 行动清单

• 在笔记本上，对一个自建的DataFrame，分别用 .loc 和 .iloc 练习单行、多行、切片的选取。
• 针对某个数据列（如数值型的成绩、日期），尝试写出3个不同的条件（如“大于某值”、“在某个范围内”、“等于某值”），并生成对应的布尔遮罩，查看筛选结果。
• 思考：如果要对多个条件进行组合筛选（例如“说英语 且 幸福指数排名前20”），该如何实现？（提示：可以使用 &（与）、|（或）操作符连接多个布尔遮罩）

—— 小象教研组