文件读写操作

小象实战讲义 · Python数据分析实战

在数据分析工作中，我们处理的数据大多来自外部文件。本节课将系统学习如何使用 Pandas 进行 CSV 文件的读取、查看和保存，掌握如何高效地加载所需数据，并理解关键参数对数据处理流程的影响。

💡 核心导读

• 选择性读取：使用 usecols 参数仅加载分析所需的列，提升效率并节省内存。
• 索引设置：通过 index_col 参数在读取时直接指定索引列，简化后续操作。
• 数据预览：使用 .info() 方法快速了解数据集的结构、数据类型和内存占用。
• 数据保存：使用 .to_csv() 方法将处理结果保存为文件，并控制是否保存索引列。

1. 读取 CSV 文件：pd.read_csv()

pd.read_csv() 是 Pandas 读取 CSV 文件的核心函数。除了最基本的文件路径参数，我们还需要关注两个在实际项目中至关重要的参数：usecols 和 index_col。

1.1 使用 usecols 选择指定列

当数据文件包含数十甚至上百列时，我们可能只对其中的部分列感兴趣。一次性读取全部数据不仅耗时，还可能因内存不足导致程序崩溃。usecols 参数允许我们传入一个列名列表，Pandas 将只读取这些列。

1.2 使用 index_col 设置索引列

索引是 Pandas 数据结构的核心，用于高效地定位数据。我们可以在读取文件时，通过 index_col 参数直接指定某一列作为 DataFrame 的索引，省去后续手动设置的步骤。

下面的代码块模拟了从文件中读取数据的过程。注意：在实际项目中，filepath 应为真实的文件路径字符串。为了演示的可复现性，我们直接在内存中构造数据并模拟 read_csv 的关键功能。

import pandas as pd
import numpy as np

# 在内存中构造一个模拟的“幸福指数”数据集，模拟从文件读取的原始数据
data = {
    'Country': ['Denmark', 'Switzerland', 'Iceland', 'Norway', 'Finland'],
    'Region': ['Western Europe', 'Western Europe', 'Western Europe', 'Western Europe', 'Western Europe'],
    'Happiness Rank': [1, 2, 3, 4, 5],
    'Happiness Score': [7.526, 7.509, 7.501, 7.498, 7.413],
    'Economy (GDP per Capita)': [1.44, 1.36, 1.30, 1.46, 1.29],
    'Family': [1.35, 1.26, 1.35, 1.35, 1.32]
}
df_full = pd.DataFrame(data)

# 模拟使用 read_csv 的 usecols 和 index_col 参数
# 假设我们只关心以下四列，并希望将'Country'列设为索引
selected_columns = ['Country', 'Region', 'Happiness Rank', 'Happiness Score']
df_selected = df_full[selected_columns].copy()  # 模拟 usecols=selected_columns
df_with_index = df_selected.set_index('Country')  # 模拟 index_col='Country'

print("模拟：使用usecols选择指定列，并设置'Country'为索引后的数据：")
print(df_with_index)

模拟：使用usecols选择指定列，并设置'Country'为索引后的数据：
                     Region  Happiness Rank  Happiness Score
Country
Denmark      Western Europe               1            7.526
Switzerland  Western Europe               2            7.509
Iceland      Western Europe               3            7.501
Norway       Western Europe               4            7.498
Finland      Western Europe               5            7.413

可以看到，输出结果中 Country 列已变为索引，数据只包含我们指定的三列数据列。

2. 查看数据基本信息：.info()

将数据读入 DataFrame 后，第一步通常是使用 .info() 方法快速了解数据的整体情况。它会显示索引范围、每列的非空值数量、数据类型以及内存使用量，是探索性数据分析（EDA）的起点。

# 每个代码块自包含：重新构造 df_with_index
import pandas as pd

data = {
    'Country': ['Denmark', 'Switzerland', 'Iceland', 'Norway', 'Finland'],
    'Region': ['Western Europe', 'Western Europe', 'Western Europe', 'Western Europe', 'Western Europe'],
    'Happiness Rank': [1, 2, 3, 4, 5],
    'Happiness Score': [7.526, 7.509, 7.501, 7.498, 7.413]
}
df_with_index = pd.DataFrame(data).set_index('Country')

print("数据框的详细信息：")
df_with_index.info()

数据框的详细信息：
<class 'pandas.DataFrame'>
Index: 5 entries, Denmark to Finland
Data columns (total 3 columns):
 #   Column           Non-Null Count  Dtype
---  ------           --------------  -----
 0   Region           5 non-null      str
 1   Happiness Rank   5 non-null      int64
 2   Happiness Score  5 non-null      float64
dtypes: float64(1), int64(1), str(1)
memory usage: 160.0+ bytes

.info() 的输出告诉我们：

• 索引是 Country，共有 5 个条目。
• 数据共有 3 列，每列都有 5 个非空值，没有缺失。
• 列出了每列的数据类型：Region 是字符串（pandas 3.0 默认的 str dtype），Happiness Rank 是整数，Happiness Score 是浮点数。
• 最后给出了大致的内存占用量。

3. 数据处理与保存：.to_csv()

数据经过清洗、转换或分析后，通常需要保存下来。DataFrame.to_csv() 方法用于将数据保存为 CSV 文件。其中，index 参数至关重要，它控制是否将 DataFrame 的索引作为一列写入文件。

3.1 数据处理示例

假设我们需要基于“幸福分数”计算其四舍五入后的整数值。

# 基于df_with_index进行处理（重新构造以保持代码块独立）
import pandas as pd
import numpy as np

data_for_save = {
    'Country': ['Denmark', 'Switzerland', 'Iceland', 'Norway', 'Finland'],
    'Region': ['Western Europe', 'Western Europe', 'Western Europe', 'Western Europe', 'Western Europe'],
    'Happiness Rank': [1, 2, 3, 4, 5],
    'Happiness Score': [7.526, 7.509, 7.501, 7.498, 7.413]
}
df_to_save = pd.DataFrame(data_for_save).set_index('Country')

# 使用apply函数和np.around生成整数分数列
df_to_save['Int_Score'] = df_to_save['Happiness Score'].apply(np.around)
print("处理后的数据（新增Int_Score列）：")
print(df_to_save)

处理后的数据（新增Int_Score列）：
                     Region  Happiness Rank  Happiness Score  Int_Score
Country
Denmark      Western Europe               1            7.526        8.0
Switzerland  Western Europe               2            7.509        8.0
Iceland      Western Europe               3            7.501        8.0
Norway       Western Europe               4            7.498        7.0
Finland      Western Europe               5            7.413        7.0

3.2 保存数据：index 参数的区别

接下来，我们演示保存数据时，index 参数设为 True（默认）和 False 的区别。

# 演示to_csv的index参数。在实际操作中，filepath应为有效的保存路径。
# 此处仅展示参数用法，不实际执行文件写入。
print("保存操作说明（不实际写文件）：")
print("1. 包含索引保存: df.to_csv('happiness_with_index.csv', index=True)")
print("   - 生成的文件将包含'Country'列作为第一列。")
print("2. 不包含索引保存: df.to_csv('happiness_no_index.csv', index=False)")
print("   - 生成的文件将从'Region'列开始，不包含'Country'列。")

保存操作说明（不实际写文件）：
1. 包含索引保存: df.to_csv('happiness_with_index.csv', index=True)
   - 生成的文件将包含'Country'列作为第一列。
2. 不包含索引保存: df.to_csv('happiness_no_index.csv', index=False)
   - 生成的文件将从'Region'列开始，不包含'Country'列。

关键点：如果索引是数据分析的一部分（例如本例中的国家名），并且你希望下次读取时能直接恢复索引，则应设置 index=True 进行保存。如果索引只是临时的行号，或者你希望 CSV 文件更“干净”，则设置 index=False。

📝 动手练一练

1. 概念辨析：在读取一个包含日期、产品、销量、单价、折扣五列的销售数据 CSV 文件时，如果你只关心总销售额分析，为了提升读取效率，应该使用 pd.read_csv() 的哪个参数？应该指定哪些列？

   👉 点击查看参考答案

   应该使用 usecols 参数。因为总销售额通常由销量和单价计算得出（可能还需考虑折扣），所以至少需要指定 ['销量', '单价'] 这两列。如果折扣影响最终收入，则还需加上 '折扣' 列。日期和产品列对于按维度聚合分析也可能是必要的。

2. 代码实践：假设你已将某数据读取为 DataFrame df，其索引为 ID 列。现在需要将其保存为 result.csv 文件，但希望保存后的文件第一列是数据列，而不是 ID。请问在调用 df.to_csv() 时，index 参数应如何设置？如果希望用 Excel 打开该 CSV 时，ID 能作为首列显示，又应如何设置？

   👉 点击查看参考答案

   • 希望第一列是数据列（不保存索引）：应设置 index=False，即 df.to_csv('result.csv', index=False)。
   • 希望 ID 作为首列显示（保存索引）：应设置 index=True（或省略，因为它是默认值），即 df.to_csv('result.csv', index=True)。

本章小结

本节课我们深入学习了 Pandas 文件读写的核心操作，这是连接数据存储与数据分析的桥梁。

• 精准读取：利用 usecols 实现按需加载，优化性能和内存使用。
• 索引管理：通过 index_col 在读取阶段即定义索引，或通过 index 参数在保存时控制索引的持久化。
• 快速洞察：使用 .info() 方法在第一时间掌握数据概况。
• 流程闭环：完成从读取、处理到保存的完整数据分析单次迭代。

📋 行动清单

• 尝试使用 pd.read_csv() 读取一个实际的小型 CSV 文件，并用 usecols 实验只加载部分列。
• 对读取的 DataFrame 调用 .info() 和 .head()，熟悉数据的结构和内容。
• 修改 DataFrame（如新增一列计算列），然后分别用 index=True 和 index=False 参数保存，用文本编辑器比较两个输出文件的差异。

—— 小象教研组