探索性数据分析EDA介绍

小象实战讲义 · Python数据分析实战

在前面的课程中，我们学习了如何使用NumPy和Pandas进行数据处理与分析，分析结果通常保存为数据文件以便归档。然而，当我们需要向客户或团队呈现分析结论时，直接展示一堆数字远不如直观的图表来得有效。从本章开始，我们将进入数据可视化的学习。可视化不仅是最终结果的呈现方式，更是我们探索和理解数据的重要工具。本节将首先介绍探索性数据分析（EDA）的基本概念、核心思想及其适用场景。

💡 核心导读

• 什么是EDA：探索性数据分析（Exploratory Data Analysis）是一种通过可视化、计算特征等手段，在不预设假设的前提下探索数据结构和规律的分析方法。
• EDA的核心特征：它不受数据模型和科研假设的限制，是一种“自由发挥”式的分析过程。
• EDA的适用场景：适用于对数据信息缺乏足够经验，不确定该使用何种传统统计方法进行分析时。
• EDA与验证性分析的区别：EDA旨在“发现”数据中的隐藏信息，而验证性分析则用于“验证”已有的猜想或假设。
• EDA的工具与形式：主要通过作图、制表、计算变量间关系等可视化手段来实现。

什么是探索性数据分析（EDA）

探索性数据分析（Exploratory Data Analysis, EDA）这一概念由约翰·怀尔德·图基（John Wilder Tukey）在1977年首次系统性地论述。尽管年代较早，但其核心思想至今仍是数据分析领域的重要基石。

EDA的核心在于对数据进行概括性的描述，并且不受数据模型和科研假设的限制。这意味着，当我们使用EDA方法时，我们并非基于某个预先设定的理论或假设去分析数据，而是以一种开放、探索的心态，让数据自己“说话”。

具体而言，EDA是指对已有的数据，通过作图、制表、计算特征等手段，探索数据的结构和规律的一种数据分析方法。这里的“可视化”是广义的，包括将变量间的关系以图形呈现，以及通过统计计算揭示数据特征。

EDA的适用场景与核心思想

何时使用EDA？

EDA特别适用于以下场景：当我对数据中的信息没有足够的经验，也不知道该用哪一种传统的方法进行数据分析的时候。

这与另一种常见的数据分析范式——验证性数据分析（Confirmatory Data Analysis, CDA）——形成对比。在验证性分析中，我们通常已经有一个来自业务经验或先前研究的猜想或结论（例如，“客户认为A产品的销量与B地区的促销活动强相关”），数据分析的目的是利用统计方法去验证这个猜想是否成立。

而EDA则恰恰相反。它适用于客户或分析师自己也不知道数据里到底有什么信息或规律的情况。这时，我们需要像探险家一样，利用各种可视化工具和技术，去主动挖掘和发现数据中可能隐藏的模式、异常或关联。因此，EDA的过程往往更具创造性和灵活性。

EDA的“自由风格”

正因为EDA不以验证假设为前提，它的实施过程没有固定的、必须遵循的统计检验流程。有些地方形象地称EDA为 “Free style”。它不拘泥于任何特定的形式或步骤。虽然有一些常见的探索步骤（如查看数据分布、检查缺失值、绘制散点图矩阵等），但在每个步骤中，分析师可以根据自己的经验、直觉或临时的发现进行自由发挥和深入探究。

这种自由并非混乱，而是建立在扎实的数据操作和可视化技能之上，以数据为导向的探索过程。接下来，我们将通过简单的代码，初步感受如何用Python开启一次EDA。

初探EDA：从数据到可视化

虽然完整的EDA流程涉及多个步骤和复杂的图表，但其起点总是数据本身。让我们通过一个最小的示例，演示如何将一组数据快速可视化，从而获得最直观的第一印象。

我们将使用Python标准库和Matplotlib来创建一个简单的分布图。请注意，原课程使用了特定的数据集（如Lending Club借贷数据），因其年代较久，本节我们使用手动构造的中性模拟数据来演示同一套方法。

代码纪律提醒：以下每个代码块均完全自包含，可独立运行。我们使用Matplotlib的Agg后端以保证在无图形界面的环境中也能执行。

# 示例1：构造模拟数据并绘制简单的直方图进行分布探索
import matplotlib
matplotlib.use('Agg')  # 使用无界面后端，保证代码可运行
import matplotlib.pyplot as plt
import numpy as np

# 模拟生成一组用户年龄数据（中性数据，无业务含义）
np.random.seed(42)  # 固定随机种子，保证每次运行结果一致
user_ages = np.random.normal(loc=35, scale=10, size=200).astype(int)  # 均值为35，标准差为10的200个整数年龄
# 将年龄限制在合理范围内
user_ages = np.clip(user_ages, 18, 70)

# 绘制年龄分布直方图
plt.figure(figsize=(8, 5))
plt.hist(user_ages, bins=15, edgecolor='black', alpha=0.7, color='skyblue')
plt.title('模拟用户年龄分布探索 (EDA示例)')
plt.xlabel('年龄')
plt.ylabel('频数')
plt.grid(axis='y', alpha=0.3)
# 在实际讲义中，这里可以保存图片或直接显示。为保持代码块自包含，我们计算并打印一些统计量。
plt.close()  # 关闭图形，避免在非交互式环境中弹出

# 同时，计算并输出一些基本的描述性统计量，这也是EDA的一部分
print("数据概要：")
print(f"  数据量: {len(user_ages)}")
print(f"  平均值: {user_ages.mean():.2f}")
print(f"  标准差: {user_ages.std():.2f}")
print(f"  最小值: {user_ages.min()}")
print(f"  最大值: {user_ages.max()}")

数据概要：
  数据量: 200
  平均值: 34.17
  标准差: 9.07
  最小值: 18
  最大值: 62

通过以上简单的代码，我们完成了EDA中最基础的一步：

1. 接触数据：我们构造（或加载）了一份数据。
2. 初步计算：计算了数据的基本统计特征（均值、标准差等），对数据的集中和离散趋势有了量化认知。
3. 可视化呈现：绘制了直方图。虽然在这个自包含的代码块中我们没有展示图形，但这段代码清晰地表明了如何将数据映射为图形元素（这里是矩形条）。直方图能让我们一眼看出年龄的分布是接近正态，还是有偏，是否存在异常区间。

这正是EDA精神的体现：不预设“年龄应该服从某种分布”的假设，而是先画图看看，让图形告诉我们答案。如果图中出现双峰，我们可能会去思考数据是否混合了两种用户群体；如果出现极端异常值，我们则需要检查数据采集过程。这些基于可视化的观察，将引导我们下一步的分析方向。

📝 动手练一练

1. 概念辨析：请简述探索性数据分析（EDA）与验证性数据分析（CDA）的主要区别。在什么情况下你会优先选择使用EDA？

2. 动手实践：将上面代码中生成user_ages的正态分布参数进行修改，例如将loc（均值）改为50，scale（标准差）改为5，重新运行代码。观察输出的统计摘要发生了什么变化？这如何体现了EDA中“让数据说话”的思想？

# 修改参数后的代码
import matplotlib
matplotlib.use('Agg')
import matplotlib.pyplot as plt
import numpy as np

np.random.seed(42)
user_ages_new = np.random.normal(loc=50, scale=5, size=200).astype(int)
user_ages_new = np.clip(user_ages_new, 18, 70)

plt.figure(figsize=(8,5))
plt.hist(user_ages_new, bins=15, edgecolor='black', alpha=0.7, color='lightcoral')
plt.title('修改参数后的年龄分布探索')
plt.xlabel('年龄')
plt.ylabel('频数')
plt.grid(axis='y', alpha=0.3)
plt.close()

print("修改参数后的数据概要：")
print(f"  数据量: {len(user_ages_new)}")
print(f"  平均值: {user_ages_new.mean():.2f}")
print(f"  标准差: {user_ages_new.std():.2f}")
print(f"  最小值: {user_ages_new.min()}")
print(f"  最大值: {user_ages_new.max()}")

修改参数后的数据概要：
  数据量: 200
  平均值: 49.27
  标准差: 4.66
  最小值: 36
  最大值: 63

本章小结

本节我们开启了数据可视化篇章的学习，并重点介绍了探索性数据分析（EDA）这一基础而强大的理念。

• EDA定义：EDA是一种在不预设假设的前提下，通过可视化、制表、计算特征等手段，探索数据内在结构和规律的分析方法。
• EDA精髓：其核心在于“探索”与“发现”，形式自由，鼓励分析师根据数据本身的提示进行深入挖掘。
• EDA价值：它既是理解陌生数据的“敲门砖”，也是产生新假设、新见解的“灵感源”，为后续更严谨的建模或验证性分析奠定基础。

📋 行动清单

学完本节，你可以立即尝试：

• 在脑海中回顾一个你曾经分析过的数据项目，思考当时的第一步是更接近EDA（无假设探索）还是CDA（有假设验证）？
• 使用Pandas的.describe()方法或Matplotlib的plt.hist()函数，对你手头或课程提供的一份小数据样本，进行一次最简单的EDA：看看它的基本统计量和分布形状。
• 思考：如果一份数据的分布图呈现出两个明显的“峰”（双峰分布），它可能暗示着数据背后存在着哪两种可能性？（例如：混合了两种不同的用户群体，或数据采集过程存在两个阶段）。

—— 小象教研组