实战：小象咖啡店营业数据与热门个股时间序列清洗分析

实战：全球食品营养数据清洗分析

小象实战讲义 · 量化交易Python入门：从咖啡馆到华尔街

Pandas 是量化交易员最核心的武器。本章你将通过 Series 和 DataFrame 深度处理时间序列行情数据，掌握 loc/iloc 定位筛选、缺失值与重复值清洗、以及最大回撤与年化波动率等核心指标统计计算。

💡 核心导读

本节将带领读者使用 Pandas 对全球食品营养数据进行实战分析。通过本小节的学习，您将掌握：如何加载和清洗真实世界中的复杂数据集、使用分组聚合进行多维度分析、可视化食品营养指标分布，以及构建基础的数据透视表。核心技能包括：缺失值处理技巧、groupby高级用法、pd.cut分箱操作，以及 Seaborn 可视化集成。

数据集准备与清洗

数据加载与初探

我们使用 Open Food Facts 数据集，包含来自全球的食品营养信息：

import pandas as pd
import numpy as np

# 构造示例食品数据，模拟原数据形态
data = {
    'product_name': ['Cookie A', 'Chips B', 'Milk C', 'Bread D', 'Yogurt E', 'Juice F', 'Cereal G', 'Cheese H'],
    'countries_en': ['United States,Canada', 'France,Germany', 'Italy', 'Japan,Korea', 'United Kingdom', 'Australia', 'Spain', 'Brazil'],
    'energy_100g': [2100.5, 1850.2, 650.8, 1200.0, 850.3, 950.7, 1350.1, 1750.9],
    'fat_100g': [25.3, 30.1, 3.5, 15.2, 5.8, 0.5, 8.9, 28.7],
    'carbohydrates_100g': [65.2, 55.8, 48.3, 70.1, 12.5, 23.4, 75.0, 2.1],
    'sugars_100g': [35.5, 2.3, 12.8, 25.6, 9.2, 21.0, 30.5, 1.2],
    'proteins_100g': [5.2, 6.8, 3.5, 8.1, 4.3, 0.8, 10.2, 22.5],
    'salt_100g': [1.2, 1.8, 0.3, 2.1, 0.9, 0.1, 1.5, 1.9],
    'nutriscore_grade': ['d', 'e', 'b', 'c', 'a', 'b', 'c', 'd']
}
food_df = pd.DataFrame(data)

print(f"数据集形状：{food_df.shape}")
print("字段示例：")
print(food_df.iloc[:, :5].columns.tolist())

数据集形状：(8, 9)
字段示例：
['product_name', 'countries_en', 'energy_100g', 'fat_100g', 'carbohydrates_100g']

关键字段清洗

清洗核心分析字段并处理缺失值：

import pandas as pd
import numpy as np

# 重新构造数据，确保本块自包含
data = {
    'product_name': ['Cookie A', 'Chips B', 'Milk C', 'Bread D', 'Yogurt E', 'Juice F', 'Cereal G', 'Cheese H'],
    'countries_en': ['United States,Canada', 'France,Germany', 'Italy', 'Japan,Korea', 'United Kingdom', 'Australia', 'Spain', 'Brazil'],
    'energy_100g': [2100.5, 1850.2, 650.8, 1200.0, 850.3, 950.7, 1350.1, 1750.9],
    'fat_100g': [25.3, 30.1, 3.5, 15.2, 5.8, 0.5, 8.9, 28.7],
    'carbohydrates_100g': [65.2, 55.8, 48.3, 70.1, 12.5, 23.4, 75.0, 2.1],
    'sugars_100g': [35.5, 2.3, 12.8, 25.6, 9.2, 21.0, 30.5, 1.2],
    'proteins_100g': [5.2, 6.8, 3.5, 8.1, 4.3, 0.8, 10.2, 22.5],
    'salt_100g': [1.2, 1.8, 0.3, 2.1, 0.9, 0.1, 1.5, 1.9],
    'nutriscore_grade': ['d', 'e', 'b', 'c', 'a', 'b', 'c', 'd']
}
food_df = pd.DataFrame(data)

cols = [
    'product_name', 'countries_en', 'energy_100g', 
    'fat_100g', 'carbohydrates_100g', 'sugars_100g',
    'proteins_100g', 'salt_100g', 'nutriscore_grade'
]
food_df = food_df[cols].copy()

food_df['nutriscore_grade'] = food_df['nutriscore_grade'].fillna('Unknown')
food_df = food_df.dropna(subset=['energy_100g', 'fat_100g'])

food_df['countries_en'] = food_df['countries_en'].str.split(',').str[0]

print("清洗后数据形状:", food_df.shape)
print("国家字段处理示例:")
print(food_df[['product_name', 'countries_en']].head())

清洗前后数据结构对比：

清洗后数据形状: (8, 9)
国家字段处理示例:
  product_name    countries_en
0     Cookie A   United States
1      Chips B          France
2       Milk C           Italy
3      Bread D           Japan
4     Yogurt E  United Kingdom

营养指标分析实战

国家维度营养对比

使用分组聚合计算各国食品平均营养值：

import pandas as pd
import numpy as np

# 重新构造数据，确保本块自包含
data = {
    'product_name': ['Cookie A', 'Chips B', 'Milk C', 'Bread D', 'Yogurt E', 'Juice F', 'Cereal G', 'Cheese H'],
    'countries_en': ['United States', 'France', 'Italy', 'Japan', 'United Kingdom', 'Australia', 'Spain', 'Brazil'],
    'energy_100g': [2100.5, 1850.2, 650.8, 1200.0, 850.3, 950.7, 1350.1, 1750.9],
    'fat_100g': [25.3, 30.1, 3.5, 15.2, 5.8, 0.5, 8.9, 28.7],
    'carbohydrates_100g': [65.2, 55.8, 48.3, 70.1, 12.5, 23.4, 75.0, 2.1],
    'sugars_100g': [35.5, 2.3, 12.8, 25.6, 9.2, 21.0, 30.5, 1.2],
    'proteins_100g': [5.2, 6.8, 3.5, 8.1, 4.3, 0.8, 10.2, 22.5],
    'salt_100g': [1.2, 1.8, 0.3, 2.1, 0.9, 0.1, 1.5, 1.9],
    'nutriscore_grade': ['d', 'e', 'b', 'c', 'a', 'b', 'c', 'd']
}
food_df = pd.DataFrame(data)

country_stats = (
    food_df.groupby('countries_en')
    .agg({
        'energy_100g': 'mean',
        'fat_100g': ['mean', 'median'],
        'sugars_100g': lambda x: np.percentile(x.dropna(), 75)
    })
    .sort_values(('energy_100g', 'mean'), ascending=False)
    .head(10)
)

print(country_stats.round(1))

终端输出示例：

energy_100g fat_100g        sugars_100g
                      mean     mean median    <lambda>
countries_en
United States       2100.5     25.3   25.3        35.5
France              1850.2     30.1   30.1         2.3
Brazil              1750.9     28.7   28.7         1.2
Spain               1350.1      8.9    8.9        30.5
Japan               1200.0     15.2   15.2        25.6
Australia            950.7      0.5    0.5        21.0
United Kingdom       850.3      5.8    5.8         9.2
Italy                650.8      3.5    3.5        12.8

能量等级分箱分析

使用pd.cut进行能量等级分箱：

import pandas as pd
import numpy as np

# 重新构造数据，确保本块自包含
data = {
    'product_name': ['Cookie A', 'Chips B', 'Milk C', 'Bread D', 'Yogurt E', 'Juice F', 'Cereal G', 'Cheese H'],
    'countries_en': ['United States', 'France', 'Italy', 'Japan', 'United Kingdom', 'Australia', 'Spain', 'Brazil'],
    'energy_100g': [2100.5, 1850.2, 650.8, 1200.0, 850.3, 950.7, 1350.1, 1750.9],
    'fat_100g': [25.3, 30.1, 3.5, 15.2, 5.8, 0.5, 8.9, 28.7],
    'carbohydrates_100g': [65.2, 55.8, 48.3, 70.1, 12.5, 23.4, 75.0, 2.1],
    'sugars_100g': [35.5, 2.3, 12.8, 25.6, 9.2, 21.0, 30.5, 1.2],
    'proteins_100g': [5.2, 6.8, 3.5, 8.1, 4.3, 0.8, 10.2, 22.5],
    'salt_100g': [1.2, 1.8, 0.3, 2.1, 0.9, 0.1, 1.5, 1.9],
    'nutriscore_grade': ['d', 'e', 'b', 'c', 'a', 'b', 'c', 'd']
}
food_df = pd.DataFrame(data)

bins = [0, 800, 1500, 2500, np.inf]
labels = ['低能量', '中能量', '高能量', '超高能量']
food_df['energy_level'] = pd.cut(food_df['energy_100g'], bins=bins, labels=labels)

energy_grade = pd.crosstab(
    food_df['energy_level'],
    food_df['nutriscore_grade'],
    normalize='index'
)

print("能量等级与营养评分交叉表（行归一化）:")
print(energy_grade.round(3))

能量等级与营养评分交叉表（行归一化）:
nutriscore_grade     a     b    c      d      e
energy_level
低能量               0.00  1.00  0.0  0.000  0.000
中能量               0.25  0.25  0.5  0.000  0.000
高能量               0.00  0.00  0.0  0.667  0.333

可视化实战

营养指标分布矩阵

使用 Seaborn 绘制核心指标关系：

import matplotlib
matplotlib.use('Agg')
import seaborn as sns
import matplotlib.pyplot as plt
import pandas as pd
import numpy as np

# 重新构造数据，确保本块自包含
data = {
    'product_name': ['Cookie A', 'Chips B', 'Milk C', 'Bread D', 'Yogurt E', 'Juice F', 'Cereal G', 'Cheese H'],
    'countries_en': ['United States', 'France', 'Italy', 'Japan', 'United Kingdom', 'Australia', 'Spain', 'Brazil'],
    'energy_100g': [2100.5, 1850.2, 650.8, 1200.0, 850.3, 950.7, 1350.1, 1750.9],
    'fat_100g': [25.3, 30.1, 3.5, 15.2, 5.8, 0.5, 8.9, 28.7],
    'carbohydrates_100g': [65.2, 55.8, 48.3, 70.1, 12.5, 23.4, 75.0, 2.1],
    'sugars_100g': [35.5, 2.3, 12.8, 25.6, 9.2, 21.0, 30.5, 1.2],
    'proteins_100g': [5.2, 6.8, 3.5, 8.1, 4.3, 0.8, 10.2, 22.5],
    'salt_100g': [1.2, 1.8, 0.3, 2.1, 0.9, 0.1, 1.5, 1.9],
    'nutriscore_grade': ['d', 'e', 'b', 'c', 'a', 'b', 'c', 'd']
}
food_df = pd.DataFrame(data)

sns.set(style="ticks", font_scale=0.8)
g = sns.pairplot(
    food_df[['fat_100g', 'sugars_100g', 'proteins_100g', 'nutriscore_grade']],
    hue='nutriscore_grade',
    palette="Set2",
    height=2,
    corner=True
)
g.fig.suptitle("营养指标分布矩阵（按NutriScore分级）", y=1.02)

print("绘图完成（演示用，实际环境中会显示图形）")
plt.close(g.fig)

绘图完成（演示用，实际环境中会显示图形）

国家营养雷达图

展示前5国的营养指标对比：

import matplotlib
matplotlib.use('Agg')
import matplotlib.pyplot as plt
import numpy as np
import pandas as pd
from math import pi

# 重新构造聚合统计数据，确保本块自包含
index_data = ['United States', 'France', 'Italy', 'Japan', 'United Kingdom']
multi_col = pd.MultiIndex.from_tuples([
    ('energy_100g', 'mean'),
    ('fat_100g', 'mean'),
    ('fat_100g', 'median'),
    ('sugars_100g', '<lambda>')
])
data_values = [
    [2100.5, 25.3, 25.3, 35.5],
    [1850.2, 30.1, 30.1, 2.3],
    [650.8, 3.5, 3.5, 12.8],
    [1200.0, 15.2, 15.2, 25.6],
    [850.3, 5.8, 5.8, 9.2]
]
country_stats = pd.DataFrame(data_values, index=index_data, columns=multi_col)

radar_df = country_stats.head(5).copy()
categories = radar_df.columns.get_level_values(0).unique()

radar_df = (radar_df - radar_df.min()) / (radar_df.max() - radar_df.min())

fig = plt.figure(figsize=(8, 8))
ax = fig.add_subplot(111, polar=True)
for idx, country in enumerate(radar_df.index):
    values = radar_df.loc[country].values.flatten().tolist()
    values += values[:1]  # 闭合图形
    ax.plot(np.linspace(0, 2*pi, len(values)), values, label=country)

ax.set_xticks(np.linspace(0, 2*pi, len(categories)))
ax.set_xticklabels(categories)
plt.legend()
plt.title("五国核心营养指标对比（标准化）")

print("雷达图绘制完成（演示用，实际环境中会显示图形）")
plt.close(fig)

雷达图绘制完成（演示用，实际环境中会显示图形）

📝 动手练一练

第 1 题 · 概念应用

你正在分析食品营养数据集 df，其中每一行是一款食品，含 energy_100g（每 100 克能量，千焦）与 sodium_100g（每 100 克钠含量，毫克）两列。你想找出高能量（> 1700）且低钠（< 100）的食品，用于后续的标签分析。以下哪种写法是正确的？

• A. df[df['energy_100g'] > 1700 and df['sodium_100g'] < 100]
• B. df[(df['energy_100g'] > 1700) & (df['sodium_100g'] < 100)]
• C. df[(df['energy_100g'] > 1700) | (df['sodium_100g'] < 100)]
• D. df[df['energy_100g'] > 1700 & df['sodium_100g'] < 100]

第 2 题 · 代码填空

将连续的数值指标（如能量值 energy_100g）转换为离散等级后，分组统计会方便很多。下面的代码把食品按每 100 克能量划分为“低”、“中”、“高”三个等级。请补全完成分箱操作的函数名。

import pandas as pd
import numpy as np

# 示例数据
data = {
    'product': ['Cookie', 'Chips', 'Milk', 'Bread', 'Yogurt'],
    'energy_100g': [2100, 1850, 650, 1200, 850]
}
df = pd.DataFrame(data)

# 定义分箱边界和标签
bins = [0, 800, 1500, np.inf]
labels = ['低', '中', '高']

# 使用 pd.cut 进行分箱操作
df['energy_level'] = ______(df['energy_100g'],
                            bins=bins,
                            labels=labels,
                            include_lowest=True)

print(df[['product', 'energy_100g', 'energy_level']])

import pandas as pd
import numpy as np

# 示例数据
data = {
    'product': ['Cookie', 'Chips', 'Milk', 'Bread', 'Yogurt'],
    'energy_100g': [2100, 1850, 650, 1200, 850]
}
df = pd.DataFrame(data)

# 定义分箱边界和标签
bins = [0, 800, 1500, np.inf]
labels = ['低', '中', '高']

# 使用 pd.cut 进行分箱操作
df['energy_level'] = pd.cut(df['energy_100g'],
                            bins=bins,
                            labels=labels,
                            include_lowest=True)

print(df[['product', 'energy_100g', 'energy_level']])

  product  energy_100g energy_level
0  Cookie         2100            高
1   Chips         1850            高
2    Milk          650            低
3   Bread         1200            中
4  Yogurt          850            中

本章小结

通过本实战练习，我们完成了从原始数据加载到多维分析的完整流程。关键操作包括：

1. 使用low_memory=False处理大型CSV文件
2. 通过groupby+agg实现多维度聚合
3. 利用pd.cut进行智能分箱
4. 结合Seaborn实现高级可视化

📋 行动清单

• 尝试修改pd.cut的分箱边界，观察能量等级分级对NutriScore分布的影响
• 使用pivot_table重构国家营养数据，比较与groupby结果的差异
• 为雷达图添加新的营养指标（如蛋白质或膳食纤维），重新分析国家特征

—— 小象教研组