数据集分布可视化(1) -- 单变量分布、双变量分布

数据集分布可视化：单变量与双变量分布

小象实战讲义 · Python数据分析实战

在数据分析中，我们不仅要看数据的“值”，更要看数据的“分布”。理解数据的分布特征，是进行探索性数据分析（EDA）和后续建模的关键一步。本节我们将学习如何使用 Seaborn 库，直观地可视化单个变量（单变量）以及两个变量之间（双变量）的数据分布。

💡 核心导读

• 单变量分布：理解“变量”即数据集中一列数据的分布情况，掌握核密度估计图（KDE Plot）和分布图（Dist Plot）的绘制与解读。
• 核密度估计：了解其作为概率密度函数估计器的基本原理，以及如何通过图形直观判断数据分布形态（如正态分布、均匀分布）。
• 双变量分布：学习如何同时观察两个变量的联合分布，掌握散点图、二维直方图和二维核密度估计图的使用。
• 相关性洞察：配合自行计算的皮尔逊相关系数（新版 seaborn 不再自动标注），量化判断两个变量之间的线性相关性强弱。

单变量分布可视化

在数据集中，一个“变量”通常对应一列数据。单变量分布可视化就是观察这一列数据的分布情况，例如大部分数据集中在哪个范围，整体呈现何种形态（如钟形、均匀、偏态）。

核密度估计图 (KDE Plot)

核密度估计（Kernel Density Estimation, KDE）是一种用于估计未知概率密度函数的非参数方法。简单来说，它根据已有的数据样本，“平滑”地估计出数据真实的分布曲线。在 Seaborn 中，使用 sns.kdeplot() 可以轻松绘制。

我们先通过一个构造的例子来感受。假设我们有一组模拟的“产品评分”数据，我们想观察其分布。

import seaborn as sns
import matplotlib.pyplot as plt
import numpy as np

# 使用Agg后端，确保在无图形界面的环境中也能运行
plt.switch_backend('Agg')

# 构造示例数据：模拟产品评分，分值在1-5之间，集中在3.5分附近
# 注意：讲义示例数据使用硬编码，确保输出确定
ratings_data = [2.8, 3.1, 3.0, 4.2, 3.5, 3.7, 3.9, 3.2, 2.5, 4.0,
                3.6, 3.8, 3.3, 3.4, 4.5, 2.9, 3.5, 3.7, 4.1, 3.0]

# 绘制核密度估计图
sns.kdeplot(data=ratings_data)
plt.title('产品评分分布核密度估计图')
# 在实际讲义中，我们说明可使用plt.savefig保存图像，此处为演示不实际保存
plt.close()

# 图像显示一条平滑曲线，峰值在3.5分附近，整体呈近似正态分布形态。

从图形可以看出，这组评分数据大致呈正态分布，大部分评分集中在3到4分之间。KDE图帮助我们跳出了具体数据点的限制，看到了数据分布的“轮廓”。

分布图 (Dist Plot)

seaborn.distplot（注意：在较新版本的Seaborn中，该函数已被histplot、kdeplot等更专门的函数取代，但原课程讲授此函数，此处按原内容介绍）功能更强大，它集成了直方图（Histogram）和核密度估计曲线于一体。

• kde=True：绘制核密度估计曲线（默认）。
• hist=True：绘制直方图（默认）。
• rug=True：在坐标轴底部绘制观测条，显示每个数据点的实际位置。

import seaborn as sns
import matplotlib.pyplot as plt
import numpy as np

plt.switch_backend('Agg')

# 构造另一组示例数据：模拟用户年龄，范围在18-60岁，较为均匀
user_ages = [22, 25, 19, 35, 42, 28, 31, 24, 50, 38,
             29, 33, 26, 45, 21, 55, 30, 27, 40, 23]

# 绘制分布图，同时显示直方图、KDE曲线和观测条
sns.distplot(user_ages, kde=True, hist=True, rug=True, color='skyblue')
plt.title('用户年龄分布图 (含直方图、KDE与观测条)')
plt.close()

# 图像底部有一系列短竖线（观测条），中间是柱状直方图，上方覆盖一条平滑的KDE曲线。
# 从直方图和KDE曲线看，年龄分布相对均匀，无明显集中峰值。

通过分布图，我们可以一次性获得数据的多种视图：直方图显示了分箱后的频数，KDE曲线提供了平滑的分布趋势，观测条则展示了原始数据点的位置。你可以通过设置参数（如 kde=False 或 hist=False）来只显示其中一部分。

双变量分布可视化

双变量分布可视化旨在探索两个变量之间的关系，比如“广告投入”和“销售额”是否存在关联。Seaborn 的 sns.jointplot() 是完成此任务的利器。

联合分布图 (Joint Plot)

jointplot 默认绘制二维散点图，并在边缘绘制每个变量的单变量分布（默认为直方图）。其核心参数包括：

• x, y: 分别指定两个变量的数据（可以是列表、数组，或 DataFrame 的列名）。
• data: 当 x, y 是列名字符串时，需传入 DataFrame 对象。
• kind: 指定中间区域的图形类型，可选 'scatter'（散点图，默认）、'hex'（二维六边形直方图）、'kde'（二维核密度估计图）。

我们先构造一个包含两个变量的简单 DataFrame 进行演示。

import seaborn as sns
import matplotlib.pyplot as plt
import pandas as pd

plt.switch_backend('Agg')

# 构造示例DataFrame：模拟广告投入与销售额数据
data_dict = {
    '广告投入_万': [10, 15, 12, 18, 5, 20, 8, 14, 16, 9],
    '销售额_万': [25, 38, 30, 48, 15, 55, 22, 35, 42, 28]
}
df_ads = pd.DataFrame(data_dict)

# 绘制默认的散点图联合分布
joint_grid = sns.jointplot(x='广告投入_万', y='销售额_万', data=df_ads, kind='scatter')
plt.suptitle('广告投入与销售额联合分布（散点图）', y=1.02)
plt.close()

# 图形中央是散点图，x轴和y轴边缘各有一个直方图。
# 散点图呈明显的从左下到右上的趋势。

版本提示：旧版 seaborn（< 0.11）的 jointplot 会在图上自动标注皮尔逊相关系数及 p 值；seaborn 0.11 起该自动统计标注已被移除（stat_func 参数同样已删除），新版图上看不到这行数字。要量化相关性，请自行计算，例如：

import numpy as np
import pandas as pd

# 每个代码块自包含：重建广告数据
df_ads = pd.DataFrame({
    '广告投入_万': [10, 15, 12, 18, 5, 20, 8, 14, 16, 9],
    '销售额_万': [25, 38, 30, 48, 15, 55, 22, 35, 42, 28]
})

# 量化广告投入与销售额的线性相关性
r = np.corrcoef(df_ads['广告投入_万'], df_ads['销售额_万'])[0, 1]
print(f"皮尔逊相关系数 r = {r:.4f}")

皮尔逊相关系数 r = 0.9866

• 皮尔逊相关系数：范围在 -1 到 1 之间。0.9866 表示极强的正相关，即广告投入增加，销售额也倾向于增加。

探索不同的图形类型

我们可以通过改变 kind 参数，从不同视角观察双变量分布。

import seaborn as sns
import matplotlib.pyplot as plt
import pandas as pd
import numpy as np

plt.switch_backend('Agg')

# 为展示不同图形，构造一组新的、相关性较弱的模拟数据
np.random.seed(42) # 固定随机种子，仅为生成示例数据，输出不依赖随机值
x_vals = np.random.randn(50) # 50个标准正态分布随机数
y_vals = np.random.randn(50) * 0.5 + x_vals * 0.2 # y与x有微弱关系

df_random = pd.DataFrame({'变量A': x_vals, '变量B': y_vals})

# 1. 二维六边形直方图 (Hexbin)
fig1, ax1 = plt.subplots()
hex_plot = sns.jointplot(x='变量A', y='变量B', data=df_random, kind='hex', color='green')
plt.suptitle('双变量分布：二维六边形直方图', y=1.02)
plt.close()

# 2. 二维核密度估计图
fig2, ax2 = plt.subplots()
kde_plot = sns.jointplot(x='变量A', y='变量B', data=df_random, kind='kde', color='purple', fill=True)
plt.suptitle('双变量分布：二维核密度估计图', y=1.02)
plt.close()

# 第一张图（hex）：散点区域被许多六边形色块取代，颜色越深表示落在此区域的数据点越多。
# 第二张图（kde）：散点区域被类似等高线的曲线填充，曲线越密集、颜色越深表示概率密度越高。
# 两张图的边缘仍是单变量分布图。

• kind='hex'：适用于数据点较多的情况，用六边形色块的颜色深浅表示数据点的密集程度，避免散点图的重叠问题。
• kind='kde'：绘制二维核密度估计图，用等高线或填充色来展示两个变量联合分布的概率密度，能非常平滑地揭示分布的核心区域。

📝 动手练一练

1. 概念辨析：核密度估计图（KDE）和直方图都是展示单变量分布的工具，它们的主要区别是什么？在什么情况下你可能更倾向于使用KDE图？

2. 动手实践：使用下面给出的模拟“学习时间”和“考试成绩”数据，绘制它们的联合分布图。尝试分别使用 kind='scatter' 和 kind='kde'，并计算皮尔逊相关系数，分析这两个变量之间的关系。

   study_hours = [1, 2, 1.5, 3, 2.5, 0.5, 4, 3.5, 2, 1]
   exam_scores = [55, 70, 65, 85, 75, 40, 90, 82, 68, 58]

import seaborn as sns
import matplotlib.pyplot as plt
import pandas as pd
import numpy as np

plt.switch_backend('Agg')

study_hours = [1, 2, 1.5, 3, 2.5, 0.5, 4, 3.5, 2, 1]
exam_scores = [55, 70, 65, 85, 75, 40, 90, 82, 68, 58]

df_study = pd.DataFrame({'学习时间_小时': study_hours, '考试成绩': exam_scores})

# 计算皮尔逊相关系数（新版 seaborn 的 jointplot 不再自动标注，需自行计算）
r = np.corrcoef(df_study['学习时间_小时'], df_study['考试成绩'])[0, 1]
print(f"皮尔逊相关系数 r = {r:.4f}")

# 绘制散点图
joint_scatter = sns.jointplot(x='学习时间_小时', y='考试成绩', data=df_study, kind='scatter')
plt.suptitle('学习时间与考试成绩（散点图）', y=1.02)
plt.close()

# 绘制二维KDE图
joint_kde = sns.jointplot(x='学习时间_小时', y='考试成绩', data=df_study, kind='kde')
plt.suptitle('学习时间与考试成绩（二维KDE）', y=1.02)
plt.close()

皮尔逊相关系数 r = 0.9616

本章小结

本节我们深入学习了数据分布可视化的核心方法。单变量分布可视化让我们能快速把握一个特征的整体形态和集中趋势；双变量分布可视化则进一步揭示了两个特征之间的关联模式与相关性强弱。Seaborn 库提供了 kdeplot、distplot、jointplot 等高级接口，让这些分析变得异常简单和美观。

📋 行动清单

• 为你手头数据集中的一个数值列，绘制其核密度估计图，描述它大致符合哪种分布（如正态、偏态、均匀）。
• 选择数据集中你认为可能有关联的两个数值列，使用 sns.jointplot() 绘制散点图和二维KDE图，并自行计算皮尔逊相关系数（np.corrcoef）判断它们的相关性。
• 尝试调整 distplot 中的 kde、hist、rug 参数，或 jointplot 中的 kind 参数，感受不同可视化效果带来的信息差异。

—— 小象教研组