核心爬虫逻辑解析是什么？

关键要点

• 爬虫采用‘列表页→详情页’的两步爬取模式。
• 使用Scrapy的meta参数在不同解析函数间传递数据（如城市名称）。
• 一级页面解析负责提取城市名称和详情页链接。
• 二级页面解析负责提取AQI、PM2.5等具体污染物数据。
• 数据最终通过Pipeline保存为CSV文件。
• 爬取时需注意相对URL与基准URL的拼接。
• CSV文件在Excel中打开需注意UTF-8编码设置。

怎么选 / 怎么做

1. 解析一级页面：定位城市列表容器，遍历提取城市名称（city_name）和详情页链接（city_link）。
2. 发起二级请求：对每个城市链接发起Request，通过meta参数传递已获取的city_name和city_link。
3. 解析二级页面：从response.meta中取出数据，解析详情页中的空气质量数值（如aqi, pm2_5）。
4. 保存数据：将完整的Item交给Pipeline处理，写入CSV文件。

常见问题

meta参数的主要作用是什么？

在不同请求和响应间传递数据，保持跨页面数据的关联。

如何解析两级页面？

一级页面提取城市列表，二级页面提取具体污染物数据。

CSV文件在Excel中乱码怎么办？

使用Excel的数据导入功能，选择UTF-8编码打开。