Scrapy框架：构建工业级量化爬虫

小象实战讲义 · 量化交易Python入门：从咖啡馆到华尔街

本节我们将学习 Scrapy 爬虫框架的核心概念与基础用法，理解其组件化架构，完成第一个爬虫项目的创建、数据提取与存储，为后续实战打下基础。

💡 核心导读

本节将带领读者快速掌握Scrapy框架的核心概念与基础用法。通过本章学习，你将能够：1) 理解Scrapy的架构设计和工作原理；2) 完成第一个Scrapy爬虫项目的创建与运行；3) 使用选择器提取结构化数据。重点掌握Spider编写、Item定义以及数据存储流程，为后续实战项目打下基础。

框架概述

Scrapy是一个用Python编写的开源网络爬虫框架，具有以下核心特性：

• 组件化架构：引擎(Engine)、调度器(Scheduler)、下载器(Downloader)等组件各司其职
• 内置选择器：支持XPath和CSS选择器提取数据
• 管道系统：灵活的数据处理流水线(Pipeline)
• 中间件扩展：可自定义下载中间件和蜘蛛中间件

+-------------+       +-------------+       +-------------+
|   Scheduler | <---> |    Engine   | <---> |  Downloader |
+-------------+       +-------------+       +-------------+
                           ^  ^
                           |  |
                     +-----+  +-----+
                     |            |
               +-----------+  +-----------+
               |   Spider  |  |  Pipeline |
               +-----------+  +-----------+

快速入门

环境安装

pip install scrapy
scrapy version

创建第一个项目

scrapy startproject tutorial
cd tutorial
scrapy genspider example example.com

生成的项目结构如下：

tutorial/
    scrapy.cfg            # 部署配置文件
    tutorial/             # 项目Python模块
        __init__.py
        items.py          # 数据容器定义
        middlewares.py    # 中间件配置
        pipelines.py      # 数据处理管道
        settings.py       # 项目设置
        spiders/          # 爬虫目录
            __init__.py
            example.py    # 示例爬虫

核心组件实战

定义数据模型

# 演示Item的创建与访问（使用字典模拟Scrapy Item结构）
class BookItem:
    def __init__(self):
        self._values = {}
    
    def __setitem__(self, key, value):
        self._values[key] = value
    
    def __getitem__(self, key):
        return self._values.get(key)
    
    def items(self):
        return self._values.items()

item = BookItem()
item['title'] = 'Python for Finance'
item['price'] = '£39.99'
item['stock'] = 'In stock'
item['rating'] = 4
print("创建的Item对象：")
for key, value in item.items():
    print(f"  {key}: {value}")

创建的Item对象：
  title: Python for Finance
  price: £39.99
  stock: In stock
  rating: 4

编写爬虫逻辑

# 模拟Scrapy Spider的数据提取流程
class BookItem:
    def __init__(self):
        self._values = {}
    
    def __setitem__(self, key, value):
        self._values[key] = value
    
    def __getitem__(self, key):
        return self._values.get(key)
    
    def items(self):
        return self._values.items()

class BookSpider:
    name = "books"
    
    def parse(self, response):
        # 模拟从响应中解析数据，避免真实网络请求
        # 使用硬编码的HTML片段模拟response.css的解析结果
        simulated_books_data = [
            {'title': 'A Light in the Attic', 'price': '£51.77'},
            {'title': 'Tipping the Velvet', 'price': '£53.74'},
            {'title': 'Soumission', 'price': '£50.10'}
        ]
        
        items = []
        for book_data in simulated_books_data:
            item = BookItem()
            item['title'] = book_data['title']
            item['price'] = book_data['price']
            items.append(item)
            # 为演示，打印出提取的item
            print(f"提取到书籍: {item['title']}, 价格: {item['price']}")
        
        return items

# 模拟运行spider的parse方法
spider = BookSpider()
items = spider.parse(None)
print(f"\n共提取到 {len(items)} 本书籍信息。")

提取到书籍: A Light in the Attic, 价格: £51.77
提取到书籍: Tipping the Velvet, 价格: £53.74
提取到书籍: Soumission, 价格: £50.10

共提取到 3 本书籍信息。

运行爬虫

scrapy crawl books -o books.json

执行后生成的数据示例：

[
  {
    "title": "A Light in the Attic",
    "price": "£51.77"
  },
  {
    "title": "Tipping the Velvet",
    "price": "£53.74"
  }
]

数据处理管道

价格清洗管道

import re

class PriceConverterPipeline:
    def process_item(self, item, spider):
        if 'price' in item:
            # 移除货币符号等非数字字符，转换为浮点数
            price_str = item['price']
            # 确保字符串包含数字
            cleaned = re.sub(r'[^\d.]', '', price_str)
            if cleaned:
                price_num = float(cleaned)
                # 示例汇率转换：英镑转美元 (1 GBP = 1.12 USD)
                converted_price = round(price_num * 1.12, 2)
                item['price'] = f'${converted_price:.2f}'
            else:
                item['price'] = 'N/A'
        return item

# 演示Pipeline的使用
pipeline = PriceConverterPipeline()
sample_items = [
    {'title': 'Book A', 'price': '£51.77'},
    {'title': 'Book B', 'price': '£53.74'},
    {'title': 'Book C', 'price': 'Not Available'}, # 无有效价格信息的item
]

print("价格转换前:")
for it in sample_items:
    print(f"  {it}")

print("\n价格转换后:")
for it in sample_items:
    processed = pipeline.process_item(it, spider=None)
    print(f"  {processed}")

价格转换前:
  {'title': 'Book A', 'price': '£51.77'}
  {'title': 'Book B', 'price': '£53.74'}
  {'title': 'Book C', 'price': 'Not Available'}

价格转换后:
  {'title': 'Book A', 'price': '$57.98'}
  {'title': 'Book B', 'price': '$60.19'}
  {'title': 'Book C', 'price': 'N/A'}

启用管道配置

# 此块通常位于Scrapy项目的settings.py文件中，用于配置项目启用的Pipeline及其顺序。
# 此处仅为展示配置字典的结构，不产生直接输出。
ITEM_PIPELINES = {
    'tutorial.pipelines.PriceConverterPipeline': 300,
}

print("Pipeline配置字典:")
print(ITEM_PIPELINES)
print("\n说明：键为Pipeline类的导入路径，值为执行优先级（数字越小越先执行）。")

数据处理前后对比：

Pipeline配置字典:
{'tutorial.pipelines.PriceConverterPipeline': 300}

说明：键为Pipeline类的导入路径，值为执行优先级（数字越小越先执行）。

📝 动手练一练

第 1 题 · 概念应用

假设你正在构建一个量化数据采集系统，用于监控多个财经新闻网站。系统使用 Scrapy 框架，并设计了一个名为 NewsSpider 的爬虫来抓取新闻标题和发布时间。为了高效管理不同网站的解析规则，你为每个网站都编写了独立的解析方法（如 parse_site_a, parse_site_b）。

在 parse_site_a 方法中，你发现页面底部有一个“下一页”链接。为了继续抓取该网站的历史新闻，你需要创建一个新的 Request 对象来请求这个“下一页”链接，并希望由 parse_site_a 方法来处理下一页的响应，以保持解析逻辑一致。

请问，在创建这个新的 Request 对象时，你应该使用以下哪个参数来指定其响应由 parse_site_a 方法处理？

• A. handler
• B. callback
• C. parser
• D. next

第 2 题 · 动手题（代码填空）

在量化数据采集中，经常需要清洗从网页抓取的文本型价格数据（如 "$1,234.56"）为可用于计算的浮点数。以下代码模拟了 Scrapy 项目管道（Pipeline）中的一个价格清洗步骤。请补全代码，使用正则表达式移除价格字符串 price_str 中所有非数字和小数点的字符，并将结果赋值给变量 cleaned。

import re

def clean_price_string(price_str):
    """
    清洗价格字符串，移除所有非数字和小数点的字符。
    例如: "$1,234.56" -> "1234.56"
    """
    # 使用正则表达式移除所有非数字和小数点的字符
    cleaned = re.sub(r'______', '', price_str)
    return cleaned

# 测试清洗函数
test_cases = [
    "$1,234.56",
    "Price: €89.99",
    "100",
    "Free",
    "12.34%"
]

print("价格清洗测试:")
for test in test_cases:
    result = clean_price_string(test)
    print(f"  原始: '{test}' -> 清洗后: '{result}'")

价格清洗测试:
  原始: '$1,234.56' -> 清洗后: '$1,234.56'
  原始: 'Price: €89.99' -> 清洗后: 'Price: €89.99'
  原始: '100' -> 清洗后: '100'
  原始: 'Free' -> 清洗后: 'Free'
  原始: '12.34%' -> 清洗后: '12.34%'

import re

def clean_price_string(price_str):
    """
    清洗价格字符串，移除所有非数字和小数点的字符。
    例如: "$1,234.56" -> "1234.56"
    """
    # 使用正则表达式移除所有非数字和小数点的字符
    cleaned = re.sub(r'[^\d.]', '', price_str)
    return cleaned

# 测试清洗函数
test_cases = [
    "$1,234.56",
    "Price: €89.99",
    "100",
    "Free",
    "12.34%"
]

print("价格清洗测试:")
for test in test_cases:
    result = clean_price_string(test)
    print(f"  原始: '{test}' -> 清洗后: '{result}'")

价格清洗测试:
  原始: '$1,234.56' -> 清洗后: '1234.56'
  原始: 'Price: €89.99' -> 清洗后: '89.99'
  原始: '100' -> 清洗后: '100'
  原始: 'Free' -> 清洗后: ''
  原始: '12.34%' -> 清洗后: '12.34'

本章小结

📋 行动清单

• 使用scrapy startproject创建新项目，并生成一个爬取豆瓣电影Top250的爬虫
• 在Item中定义包含电影名称、评分和评论人数的数据模型
• 通过-o output.csv参数将结果导出为CSV格式，并使用Excel打开验证数据

—— 小象教研组