数据清洗--替换数据

替换数据

小象实战讲义 · Python数据分析实战

在数据清洗的最后一步，我们常常会遇到需要将数据中的特定值替换为另一个值的情况。例如，将无效的占位符（如9999）替换为0或缺失值，或者将分类数据的旧标签更新为新标签。本节将学习如何使用Pandas的replace方法高效、灵活地完成数据替换操作，这是数据预处理中一项基础且重要的技能。

💡 核心导读

• 方法核心：掌握DataFrame.replace()方法的基本语法和核心参数to_replace。
• 替换形式：学习四种主要的替换形式：单一值替换、列表替换为单一值、列表对应替换以及字典映射替换。
• 实战理解：通过具体示例，理解replace操作仅作用于数据值，不影响行/列索引。
• 应用场景：学会将无效数据标记（如9999）替换为合理的数值或缺失值，为后续分析做准备。

replace方法基础

Pandas的replace方法是进行数据替换的主要工具。其核心参数是to_replace，用于指定需要被替换的值。这个参数非常灵活，可以接受多种类型的输入：

• 单个值：数值或字符串。
• 列表：一个需要被替换的值的集合。
• 字典：精确地指定“键-值”对的映射关系，键是被替换的值，值是替换后的新值。

接下来，我们将通过一个具体的示例数据，逐一演示这些用法。

四种替换方式实战

我们将创建一个小型DataFrame作为示例数据，并展示replace方法的四种典型应用。

import pandas as pd

# 创建示例数据
data = pd.DataFrame(
    {'A': [0, 1, 2, 3, 4],
     'B': [5, 6, 7, 8, 9],
     'C': ['a', 'b', 'c', 'd', 'e']}
)
print("原始数据：")
print(data)

原始数据：
   A  B  C
0  0  5  a
1  1  6  b
2  2  7  c
3  3  8  d
4  4  9  e

1. 单一值替换

将数据中所有的0替换为100。这是最简单直接的替换。

import pandas as pd

# 创建示例数据并执行单一值替换
data_single = pd.DataFrame({'A': [0, 1, 2, 3, 4], 'B': [5, 6, 7, 8, 9], 'C': ['a', 'b', 'c', 'd', 'e']})
result_single = data_single.replace(0, 100)
print("将0替换为100后的结果：")
print(result_single)

将0替换为100后的结果：
     A  B  C
0  100  5  a
1    1  6  b
2    2  7  c
3    3  8  d
4    4  9  e

注意：观察结果，只有第一列第一行的数据值0被替换成了100。行索引0本身并没有被替换，因为replace方法操作的是单元格内的数据值，而非行或列的索引标签。

2. 列表替换为单一值

将一个列表中的所有值，统一替换为另一个指定的值。例如，将[0, 1, 2, 3]全部替换为4。

import pandas as pd

# 创建示例数据并执行列表到单一值的替换
data_list_val = pd.DataFrame({'A': [0, 1, 2, 3, 4], 'B': [5, 6, 7, 8, 9], 'C': ['a', 'b', 'c', 'd', 'e']})
result_list_to_value = data_list_val.replace([0, 1, 2, 3], 4)
print("将[0,1,2,3]全部替换为4后的结果：")
print(result_list_to_value)

将[0,1,2,3]全部替换为4后的结果：
   A  B  C
0  4  5  a
1  4  6  b
2  4  7  c
3  4  8  d
4  4  9  e

3. 列表对应替换

提供两个列表，将第一个列表中的每个值，按位置对应地替换为第二个列表中的值。即实现多组特定的一对一替换。

import pandas as pd

# 创建示例数据并执行列表到列表的对应替换
data_list_list = pd.DataFrame({'A': [0, 1, 2, 3, 4], 'B': [5, 6, 7, 8, 9], 'C': ['a', 'b', 'c', 'd', 'e']})
result_list_to_list = data_list_list.replace([0, 1, 2, 3], [4, 3, 2, 1])
print("将[0,1,2,3]对应替换为[4,3,2,1]后的结果：")
print(result_list_to_list)

将[0,1,2,3]对应替换为[4,3,2,1]后的结果：
   A  B  C
0  4  5  a
1  3  6  b
2  2  7  c
3  1  8  d
4  4  9  e

4. 字典映射替换

使用字典可以最清晰、灵活地定义多组替换规则。字典的键(key)是被替换的值，值(value)是替换后的新值。

import pandas as pd

# 创建示例数据并执行字典映射替换
data_dict = pd.DataFrame({'A': [0, 1, 2, 3, 4], 'B': [5, 6, 7, 8, 9], 'C': ['a', 'b', 'c', 'd', 'e']})
result_dict = data_dict.replace({0: 10, 1: 100})
print("使用字典{0:10, 1:100}替换后的结果：")
print(result_dict)

使用字典{0:10, 1:100}替换后的结果：
     A  B  C
0   10  5  a
1  100  6  b
2    2  7  c
3    3  8  d
4    4  9  e

实战应用：清洗无效数据标记

在实际数据分析中，数据集常使用特殊值（如9999、-1、NULL等）表示缺失或无效信息。我们可以用replace方法将其替换为Pandas可识别的缺失值（如pd.NA或np.nan），以便后续进行缺失值处理。

import pandas as pd

# 模拟包含无效标记的温度数据
temp_data = pd.DataFrame({
    '城市': ['北京', '上海', '广州', '深圳', '成都'],
    '温度(℃)': [25, 9999, 30, 28, 9999]
})
print("原始温度数据（9999为无效标记）：")
print(temp_data)

# 将无效标记9999替换为缺失值pd.NA
temp_data_cleaned = temp_data.replace(9999, pd.NA)
print("\n清洗后（9999替换为缺失值）的温度数据：")
print(temp_data_cleaned)

原始温度数据（9999为无效标记）：
   城市  温度(℃)
0  北京     25
1  上海   9999
2  广州     30
3  深圳     28
4  成都   9999

清洗后（9999替换为缺失值）的温度数据：
   城市 温度(℃)
0  北京    25
1  上海  <NA>
2  广州    30
3  深圳    28
4  成都  <NA>

📝 动手练一练

1. 概念辨析：df.replace(1, 100) 和 df['column'].replace(1, 100) 在执行效果上有何异同？如果df是一个DataFrame，df['column']是一个Series，这两种写法分别会对哪些数据产生影响？

2. 动手实践：假设你有一个记录学生成绩的DataFrame，其中用-1表示缺考。请构造一个包含'姓名'和'数学成绩'两列的小数据（至少3行，包含一个-1），然后编写代码将-1替换为字符串'缺考'，并打印替换前后的数据。

import pandas as pd
# 构造数据
scores = pd.DataFrame({
    '姓名': ['张三', '李四', '王五'],
    '数学成绩': [85, -1, 92]
})
print("替换前：")
print(scores)
# 执行替换
scores_replaced = scores.replace(-1, '缺考')
print("\n替换后：")
print(scores_replaced)

替换前：
   姓名  数学成绩
0  张三    85
1  李四    -1
2  王五    92

替换后：
   姓名 数学成绩
0  张三   85
1  李四   缺考
2  王五   92

本章小结

本节深入学习了Pandas中用于数据清洗的replace方法。我们掌握了其四种核心用法：单一值替换、列表整体替换、列表对应替换以及字典映射替换。关键在于理解replace操作的对象是数据框（DataFrame）或序列（Series）中的值，而非索引。该方法在清洗无效数据标记（如将9999替换为缺失值）和统一数据编码方面非常实用。

📋 行动清单

• 在你的环境中运行本节所有代码示例，观察不同替换方式的结果。
• 尝试对你手头或设想的一个小数据集，使用字典映射的方式，批量修改其中的某些分类标签或错误编码。
• 思考：如果想把数据中所有的缺失值（NaN）替换为0，应该如何使用replace方法？（提示：replace的参数同样可以是np.nan）。

—— 小象教研组