解析网页并填充 Item是什么？

关键要点

• Item是用于结构化存储爬取数据的数据容器类，如示例中的CityItem。
• 解析过程通常包括定位容器、遍历列表项、提取数据三个核心步骤。
• 可以使用Python标准库的html.parser或BeautifulSoup等工具进行HTML解析。
• 填充数据后，常使用yield逐个产出Item，以支持流式处理和节省内存。

怎么选 / 怎么做

1. 定义Item数据结构：创建一个类，明确数据字段（如city_name, city_link）。
2. 解析网页内容：使用解析器定位包含目标数据的HTML元素（如div、li、a标签）。
3. 提取数据：从元素中获取文本内容或属性值（如href）。
4. 填充Item：实例化Item对象，将提取的数据赋值给相应字段。

常见问题

Item的作用是什么？

将零散的网页数据封装成具有明确字段的结构化对象。

解析网页的核心步骤有哪些？

定位容器、遍历列表项、提取目标数据。

为什么常用yield返回Item？

可以逐个产出数据，节省内存，支持流式处理。