Scrapy使用步骤(3)

Scrapy 使用步骤（3）：定义 Item 与解析网页

小象实战讲义 · Python数据分析实战

上一节我们创建了 Scrapy 项目并编写了简单的爬虫主体。本节我们将深入讲解如何定义 Item 来结构化存储爬取的数据，并结合 BeautifulSoup 解析网页内容，将解析出的城市名称和链接填充到 Item 对象中。

💡 核心导读

• Item 的作用：将爬取的数据封装成结构化对象，便于后续访问和处理。
• BeautifulSoup 解析：使用 html.parser 解析 HTML 内容，定位目标元素。
• 数据提取流程：从网页中定位包含城市列表的 div，遍历其中的 li 标签，提取 a 标签的文本和 href 属性。
• Item 的构造与使用：定义 Item 类，在解析过程中实例化并填充数据，通过 yield 返回。

定义 Item：结构化爬取数据

在 Scrapy 框架中，Item 用于定义我们想要爬取的数据结构。它类似于一个容器或模型，将零散的网页数据（如文本、链接）封装成具有明确字段的对象。这样做的好处是数据组织清晰，后续处理（如存储到数据库、导出为文件）更加方便。

原课中，我们为爬取 PM2.5 网站的城市信息，定义了 CityItem，包含 city_name 和 city_link 两个字段。虽然 Scrapy 框架本身不在本课白名单库中，但其 Item 的设计思想是通用的：先定义数据结构，再填充数据。

我们可以用纯 Python 类来模拟这一思想：

# 模拟 Scrapy Item 的设计思想：定义一个数据容器类
class CityItem:
    """用于存储城市信息的简单数据类"""
    def __init__(self):
        self.city_name = None  # 城市名称
        self.city_link = None  # 城市详情页链接

    def __repr__(self):
        # 定义打印格式，便于查看内容
        return f"CityItem(city_name={self.city_name!r}, city_link={self.city_link!r})"

# 示例：手动创建一个 Item 并填充数据
item = CityItem()
item.city_name = "北京市"
item.city_link = "/city/beijing"

print("手动创建的 Item 示例：")
print(item)

手动创建的 Item 示例：
CityItem(city_name='北京市', city_link='/city/beijing')

解析网页并填充 Item

有了数据结构，下一步是从网页中提取信息并填充它。原课使用 BeautifulSoup 解析 HTML。这里我们使用 Python 标准库的 html.parser 来演示相同的解析逻辑。

核心步骤：

1. 定位容器：首先找到包含所有城市列表的 div 容器（通常通过其 class 或 id 属性识别）。
2. 遍历列表项：在该容器内，找到所有的 li 标签，每个 li 代表一个城市。
3. 提取数据：在每个 li 标签内，找到 a 标签，其文本内容即为城市名称，href 属性值即为城市链接（通常是相对路径）。
4. 构造 Item：为每个城市创建一个 CityItem 对象，将提取的数据赋值给对应字段。

下面的代码模拟了从一段简化的 HTML 中解析城市列表并生成 CityItem 对象列表的过程：

# 模拟：使用 html.parser 解析网页内容并填充 Item
from html.parser import HTMLParser
from urllib.parse import urljoin

# 每个代码块自包含：重新定义 CityItem
class CityItem:
    """用于存储城市信息的简单数据类"""
    def __init__(self):
        self.city_name = None  # 城市名称
        self.city_link = None  # 城市详情页链接

    def __repr__(self):
        # 定义打印格式，便于查看内容
        return f"CityItem(city_name={self.city_name!r}, city_link={self.city_link!r})"

# 1. 定义解析器
class CityListParser(HTMLParser):
    def __init__(self, base_url="https://example.com"):
        super().__init__()
        self.base_url = base_url
        self.current_item = None
        self.items = []
        self.in_target_div = False
        self.in_li = False
        self.current_a_text = ""
        self.current_a_href = ""

    def handle_starttag(self, tag, attrs):
        attrs_dict = dict(attrs)
        # 寻找 class 为 'all-city' 的 div
        if tag == 'div' and attrs_dict.get('class') == 'all-city':
            self.in_target_div = True
        # 在目标 div 内寻找 li
        elif self.in_target_div and tag == 'li':
            self.in_li = True
            self.current_item = CityItem()  # 为每个城市创建一个新的 Item
        # 在 li 内寻找 a 标签，并记录 href
        elif self.in_li and tag == 'a':
            self.current_a_href = attrs_dict.get('href', '')

    def handle_data(self, data):
        # 记录 a 标签内的文本（城市名称）
        if self.in_li and self.current_a_href:
            self.current_a_text = data.strip()

    def handle_endtag(self, tag):
        if tag == 'a' and self.in_li:
            # a 标签结束，将收集到的数据填充到 Item
            if self.current_item:
                self.current_item.city_name = self.current_a_text
                # 将相对路径拼接为完整 URL
                self.current_item.city_link = urljoin(self.base_url, self.current_a_href)
        elif tag == 'li' and self.in_li:
            # li 标签结束，将当前 Item 加入列表
            self.items.append(self.current_item)
            self.current_item = None
            self.in_li = False
            self.current_a_text = ""
            self.current_a_href = ""
        elif tag == 'div' and self.in_target_div:
            # 目标 div 结束
            self.in_target_div = False

# 2. 模拟要解析的 HTML 内容（简化版）
html_content = """
<div class="all-city">
    <ul>
        <li><a href="/city/aba">阿坝州</a></li>
        <li><a href="/city/akesu">阿克苏地区</a></li>
        <li><a href="/city/alashan">阿拉善盟</a></li>
    </ul>
</div>
"""

# 3. 执行解析
parser = CityListParser(base_url="https://www.aqistudy.cn")
parser.feed(html_content)

# 4. 输出解析结果
print("解析得到的 CityItem 列表：")
for idx, item in enumerate(parser.items, 1):
    print(f"{idx}. {item}")

解析得到的 CityItem 列表：
1. CityItem(city_name='阿坝州', city_link='https://www.aqistudy.cn/city/aba')
2. CityItem(city_name='阿克苏地区', city_link='https://www.aqistudy.cn/city/akesu')
3. CityItem(city_name='阿拉善盟', city_link='https://www.aqistudy.cn/city/alashan')

整合：在爬虫流程中使用 Item

在原课的 Scrapy Spider 中，上述解析和 Item 填充过程被整合在 parse 方法里。解析出每个 Item 后，使用 yield 关键字返回。yield 使得方法变成一个生成器，可以逐个产出数据项，这在处理大量数据时非常高效，无需一次性将所有数据加载到内存。

# 概念演示：生成器 (yield) 的用法
# 每个代码块自包含：重新定义 CityItem
class CityItem:
    """用于存储城市信息的简单数据类"""
    def __init__(self):
        self.city_name = None  # 城市名称
        self.city_link = None  # 城市详情页链接

    def __repr__(self):
        return f"CityItem(city_name={self.city_name!r}, city_link={self.city_link!r})"

def simple_spider_logic(data_list):
    """模拟爬虫解析逻辑，使用 yield 逐个返回结果"""
    for data in data_list:
        # 模拟创建和填充 Item
        item = CityItem()
        item.city_name = data['name']
        item.city_link = data['link']
        yield item  # 逐个产出，而不是一次性返回列表

# 模拟一些数据
mock_data = [
    {'name': '城市A', 'link': '/city/a'},
    {'name': '城市B', 'link': '/city/b'},
    {'name': '城市C', 'link': '/city/c'},
]

print("使用 yield 逐个产出 Item：")
for yielded_item in simple_spider_logic(mock_data):
    print(f"  产出: {yielded_item}")

使用 yield 逐个产出 Item：
  产出: CityItem(city_name='城市A', city_link='/city/a')
  产出: CityItem(city_name='城市B', city_link='/city/b')
  产出: CityItem(city_name='城市C', city_link='/city/c')

📝 动手练一练

1. 概念辨析：yield 和 return 在函数中有什么核心区别？在数据爬取场景下，使用 yield 有什么优势？
2. 动手实践：假设网页结构稍有变化，城市链接不再放在 li > a 里，而是放在 li 标签的一个 data-link 属性中（如 <li data-link="/city/xxx">城市名</li>）。请修改上面 CityListParser 类的部分代码，使其能够正确解析这种结构并填充 city_link 字段。

CityItem(city_name='西安市', city_link='https://www.aqistudy.cn/city/x')
CityItem(city_name='延安市', city_link='https://www.aqistudy.cn/city/y')

（注：上方代码块已自包含——`CityItem` 类与所需 import 均在块内定义，可独立运行。）

本章小结

本节我们深入探讨了 Scrapy 爬虫中两个关键环节：定义 Item 和解析网页。我们通过纯 Python 代码模拟了 Scrapy Item 的设计思想，即先定义清晰的数据结构（CityItem），再在解析过程中填充数据。同时，我们使用标准库 html.parser 演示了如何定位 HTML 元素、提取属性与文本，并最终构造出结构化的数据对象。理解 yield 在爬虫中的使用，是掌握高效数据流处理的关键。

📋 行动清单

• 尝试定义一个自己的 ProductItem，包含 name、price、url 字段，模拟电商商品信息。
• 找一段简单的包含列表的 HTML，使用 html.parser 编写解析器，提取信息并填充到你定义的 Item 中。
• 修改解析器代码，使其能够处理更复杂的嵌套结构或不同的属性命名。

—— 小象教研组