实战：获取国内城市空气质量指数数据

小象实战讲义 · Python数据分析实战

本节我们将通过一个实战项目来巩固第三课《网络数据的获取与表示》的学习。该项目旨在获取国内城市空气质量指数（AQI）数据，这类数据通常实时或每日更新，通过编写自动化代码定期运行，就能持续获取最新数据，为后续的分析处理提供便利。本节将重点讲解如何设计爬虫流程来获取这类结构化数据。

💡 核心导读

• 项目目标：爬取国内所有城市的AQI及相关污染物浓度数据，并保存为本地CSV文件
• 网站结构分析：识别一级页面（城市列表页）与二级页面（城市详情页）的层级关系
• 数据传递机制：学习如何在Scrapy框架中使用meta参数在不同解析函数间传递数据
• 编码处理：了解CSV文件在不同工具（如Excel）中打开时的编码问题及解决方案

网站结构与爬取思路

目标网站为PM2.5监测平台（http://www.pm25.in/），其结构清晰：

• 一级页面：首页列出所有城市的名称和链接（相对路径）
• 二级页面：每个城市的详情页，包含AQI、PM2.5、PM10、一氧化碳、二氧化氮等具体指标

爬取流程分为两步：

1. 解析一级页面，获取所有城市的名称和详情页链接（需拼接为完整URL）
2. 对每个城市详情页发起请求，解析其中的各项空气质量指标数据

这种“列表页→详情页”的爬取模式在实际项目中非常常见，核心挑战在于如何在一级页面解析和二级页面解析之间传递必要的信息（如城市名称）。

Scrapy项目结构回顾

虽然本课环境限制无法实际运行Scrapy代码，但理解其项目结构对掌握爬虫工程化思维至关重要。一个典型的Scrapy项目包含以下核心组件：

# 伪代码：items.py 中的 CityAqiItem 类定义
# 注：Scrapy框架不在本课白名单内，此处仅作概念演示
# 实际环境中需安装scrapy并创建项目

# 定义数据容器（Item），明确要爬取的字段
class CityAqiItem:
    def __init__(self):
        self.city_name = None   # 城市名称，从一级页面获取
        self.city_link = None   # 城市详情页链接（完整URL）
        self.aqi = None         # 空气质量指数，从二级页面获取
        self.pm2_5 = None       # PM2.5浓度
        self.pm10 = None        # PM10浓度
        self.co = None          # 一氧化碳
        self.no2 = None         # 二氧化氮
        # 其他污染物字段...

# 伪代码：pipelines.py 中的数据保存逻辑
# 演示如何将爬取到的数据保存为CSV文件

import csv

class CsvPipeline:
    def open_spider(self, spider):
        """爬虫启动时打开CSV文件并写入表头"""
        self.file = open('cities_aqi.csv', 'w', newline='', encoding='utf-8')
        self.writer = csv.writer(self.file)
        # 写入列名
        self.writer.writerow(['city_name', 'city_link', 'aqi', 'pm2_5', 'pm10', 'co', 'no2'])
    
    def process_item(self, item, spider):
        """处理每个爬取到的Item，写入CSV行"""
        row = [
            item.get('city_name', ''),
            item.get('city_link', ''),
            item.get('aqi', ''),
            item.get('pm2_5', ''),
            item.get('pm10', ''),
            item.get('co', ''),
            item.get('no2', '')
        ]
        self.writer.writerow(row)
        return item
    
    def close_spider(self, spider):
        """爬虫关闭时关闭文件"""
        self.file.close()

核心爬虫逻辑解析

爬虫的核心在于Spider类的编写，它定义了如何发起请求、如何解析响应、如何在页面间跳转。以下是关键逻辑的伪代码说明：

# 伪代码：spiders/aqi_spider.py 中的核心解析逻辑
# 演示一级页面解析、二级页面请求、数据传递的完整流程

class AqiSpider:
    name = "aqi_spider"
    start_urls = ["http://www.pm25.in/"]
    
    def parse(self, response):
        """解析一级页面（城市列表页）"""
        # 1. 使用BeautifulSoup或Scrapy Selector解析HTML
        # 2. 定位包含城市列表的容器（如特定的div或ul）
        # 3. 遍历每个城市条目，提取：
        #    - city_name: 城市名称（从<a>标签的text获取）
        #    - city_link: 详情页链接（将相对路径与基准URL拼接）
        
        # 4. 对于每个城市，创建CityAqiItem并填充city_name和city_link
        # 5. 发起对二级页面的请求，关键步骤：
        #    yield scrapy.Request(
        #        url=city_link,  # 二级页面URL
        #        callback=self.parse_city_detail,  # 二级页面解析函数
        #        meta={'item': item},  # 通过meta传递已部分填充的item
        #        dont_filter=True  # 不过滤重复请求
        #    )
    
    def parse_city_detail(self, response):
        """解析二级页面（城市详情页）"""
        # 1. 从response.meta中取出之前传递的item
        #    item = response.meta['item']
        
        # 2. 解析详情页中的空气质量数据
        #    定位数据容器：通常有特定class的div（如"span12 data"）
        #    在容器内查找所有数值元素（如class="value"的div）
        
        # 3. 按顺序提取数值并填充到item中：
        #    item['aqi'] = values[0].text  # 第一个value是AQI
        #    item['pm2_5'] = values[1].text  # 第二个是PM2.5
        #    item['pm10'] = values[2].text  # 第三个是PM10
        #    ...依此类推
        
        # 4. 将完整item返回给引擎，由Pipeline处理
        #    yield item

关键机制说明：

• meta参数：这是Scrapy中在不同请求/响应间传递数据的标准方式。在一级页面解析时，我们将部分填充的item放入meta，在二级页面解析时再从response.meta中取出，继续填充剩余字段。
• 回调函数链：parse → Request → parse_city_detail 形成了一个完整的处理链，实现了页面跳转和数据累积。
• URL拼接：一级页面中的链接通常是相对路径（如/beijing），需要与基准URL（http://www.pm25.in）拼接成完整URL。

编码问题与数据查看

爬取完成并保存为CSV文件后，可能会遇到编码问题。特别是用Excel直接打开UTF-8编码的CSV时，中文字符可能显示为乱码。这是因为Excel默认使用系统本地编码（如GBK）打开CSV文件。

正确在Excel中打开UTF-8编码CSV的方法：

1. 打开Excel，选择“数据”选项卡
2. 点击“从文本/CSV”
3. 选择爬取得到的CSV文件
4. 在导入向导中，将“文件原始格式”选择为“UTF-8”
5. 确认分隔符为逗号，然后点击“加载”

这样就能正确显示包含中文城市名称的数据了。数据加载后，你可以利用Excel的排序、筛选功能，或使用Pandas进行更深入的分析，比如：

• 按AQI值对城市进行排序，找出空气质量最好/最差的城市
• 分析不同污染物之间的相关性
• 将数据与地理信息结合，制作空气质量地图

📝 动手练一练

1. 概念辨析：在Scrapy框架中，meta参数的主要作用是什么？为什么在爬取“列表页→详情页”这类网站时需要使用它？

2. 流程设计：如果目标网站改版，城市详情页的HTML结构发生变化，原来定位数据的CSS选择器div.span12.data div.value不再有效。你应该如何排查和解决这个问题？

本章小结

通过本实战项目，我们完整演练了使用Scrapy框架爬取结构化数据的全过程。这个项目虽然基于特定网站，但其中体现的爬虫设计模式具有普遍适用性：

• 网站结构分析是爬虫开发的第一步，需要清晰理解页面层级和数据分布
• 数据模型设计（Item定义）有助于明确爬取目标，使代码更清晰
• 跨页面数据传递（使用meta）是处理多级页面的关键技术
• 编码处理是数据持久化时不可忽视的细节，特别是涉及多语言内容时

📋 行动清单

• 尝试分析一个你感兴趣的网站，画出它的页面层级结构图
• 思考如果目标网站需要登录才能访问数据，爬虫设计需要做哪些调整
• 了解反爬虫机制（如IP封锁、验证码）及常见的应对策略

—— 小象教研组