网页解析(1)：使用XPath定位财经新闻

小象实战讲义 · 量化交易Python入门：从咖啡馆到华尔街

本章我们将探寻如何使用 Scrapy 框架进行网络数据采集。作为量化分析师，你将编写爬虫从财经网站爬取最新的股票行情和社交媒体上的咖啡店舆情，为策略引擎输入第一手另类数据。

💡 核心导读

本节将深入讲解网页解析的核心技术与Scrapy框架的解析模块实现。通过本章学习，你将掌握XPath和CSS选择器的使用技巧，了解Scrapy的Selector对象工作原理，并能够构建完整的网页解析管道。重点包括：HTML文档结构解析方法、响应对象处理、以及使用Scrapy Shell进行快速调试。

HTML文档解析基础

文档对象模型(DOM)

HTML文档是树状结构，由多个嵌套的标签节点组成。解析时需要注意：

# 块 1：HTML结构示例，仅作为字符串展示，不执行解析
html_structure_example = """
<html>                         <!-- 根节点 -->
  <head>                       <!-- 子节点 -->
    <title>示例页面</title>    <!-- 叶子节点 -->
  </head>
  <body>
    <div class="content">      <!-- 带属性的节点 -->
      <p>段落1</p>            <!-- 同级节点 -->
      <p>段落2</p>
    </div>
  </body>
</html>
"""
print("HTML结构示例已定义。")

HTML结构示例已定义。

节点关系术语

• 父节点(Parent)：直接包含当前节点的上层节点
• 子节点(Children)：被当前节点直接包含的节点
• 兄弟节点(Sibling)：拥有相同父节点的同级节点

Scrapy Selector实战

创建Selector对象

Scrapy提供两种选择器类型：

# 块 2：使用标准库xml.etree.ElementTree解析HTML示例
import xml.etree.ElementTree as ET

html_content = """
<div id="products">
  <li class="item">产品A</li>
  <li class="item">产品B</li>
</div>
"""
# 注意：ElementTree用于解析格式良好的XML，HTML可能不严格符合。
# 此处仅演示解析概念，实际网页解析建议使用lxml或BeautifulSoup。
try:
    root = ET.fromstring(html_content)
    print("成功创建解析器对象。")
    print(f"根节点标签: {root.tag}")
except ET.ParseError as e:
    print(f"解析错误（示例HTML可能不是严格XML）: {e}")

成功创建解析器对象。
根节点标签: div

选择器性能对比

XPath核心语法

基础定位方法

# 块 3：使用标准库xml.etree.ElementTree进行XPath查询
import xml.etree.ElementTree as ET

html = """
<div id="products">
  <li class="item">产品A</li>
  <li class="item">产品B</li>
</div>
"""
root = ET.fromstring(html)
# ElementTree 的 findall 支持有限的XPath语法
products = root.findall('.//li[@class="item"]')
product_names = [p.text for p in products]
print("产品名称列表:", product_names)

产品名称列表: ['产品A', '产品B']

高级定位技巧

# 块 4：演示更多XPath定位方式（使用ElementTree）
import xml.etree.ElementTree as ET

html = """
<div id="products">
  <li class="item">产品A</li>
  <li class="item">产品B</li>
  <span>其他产品</span>
</div>
"""
root = ET.fromstring(html)
# 获取products下的所有子节点
products_div = root.find('.//div[@id="products"]')
if products_div is not None:
    nodes = list(products_div)
    print(f"products下的所有子节点数: {len(nodes)}")
else:
    print("products下的所有子节点数: 0")

# 获取第二个li节点（索引从1开始）
all_li = root.findall('.//li')
if len(all_li) >= 2:
    second_item = all_li[1]
    print(f"第二个li节点的文本: {second_item.text}")
else:
    print("第二个li节点的文本: 未找到")

# 查找包含'产品'文本的节点（ElementTree不支持contains，手动遍历）
matched = []
for elem in root.iter():
    if elem.text and '产品' in elem.text:
        matched.append(elem)
print(f"包含'产品'文本的节点数: {len(matched)}")

products下的所有子节点数: 0
第二个li节点的文本: 产品B
包含'产品'文本的节点数: 3

CSS选择器实战

常用选择模式

# 块 5：演示遍历和属性提取（使用ElementTree）
import xml.etree.ElementTree as ET

html = """
<div id="products">
  <li class="item">产品A</li>
  <li class="item">产品B</li>
  <a href="https://example.com/1">链接1</a>
  <a href="http://example.com/2">链接2</a>
</div>
"""
root = ET.fromstring(html)
# 查找所有 class="item" 的元素
items = root.findall('.//*[@class="item"]')
print(f"class='item' 找到的节点数: {len(items)}")

# 查找products下的所有直接子节点
products_div = root.find('.//div[@id="products"]')
if products_div is not None:
    children = list(products_div)
    print(f"#products > * 找到的节点数: {len(children)}")
else:
    print(f"#products > * 找到的节点数: 0")

# 查找以'https'开头的链接
links = []
for a in root.findall('.//a'):
    href = a.get('href')
    if href and href.startswith('https'):
        links.append(href)
print(f"以'https'开头的链接: {links}")

class='item' 找到的节点数: 2
#products > * 找到的节点数: 0
以'https'开头的链接: ['https://example.com/1']

伪元素使用示例

# 块 6：遍历节点并提取数据到字典列表
import xml.etree.ElementTree as ET

html = """
<div>
  <a href="http://example.com/1">链接1</a>
  <a href="http://example.com/2">链接2</a>
</div>
"""
root = ET.fromstring(html)
data = []
for a in root.findall('.//a'):
    item = {
        'text': a.text,
        'href': a.get('href')
    }
    data.append(item)
print("提取的链接数据:")
for item in data:
    print(item)

提取的链接数据:
{'text': '链接1', 'href': 'http://example.com/1'}
{'text': '链接2', 'href': 'http://example.com/2'}

Scrapy Shell调试技巧

启动交互环境

scrapy shell "http://example.com"

常用调试命令

# 块 7：模拟响应对象并演示查看和解析方法
import xml.etree.ElementTree as ET

# 构造一个模拟的响应类，避免真实网络请求
class MockResponse:
    def __init__(self, text):
        self.text = text

# 模拟的网页内容
mock_html = """
<html>
<head><title>财经新闻标题</title></head>
<body>
<meta name="description" content="新闻摘要1">
<meta name="keywords" content="新闻摘要2">
<h1>主要新闻</h1>
</body>
</html>
"""
response = MockResponse(mock_html)
# 查看前200字符
print("响应文本前200字符:", response.text[:200])
# 解析
try:
    root = ET.fromstring(response.text)
    title_elem = root.find('.//title')
    title = title_elem.text if title_elem is not None else None
    print("标题:", title)
    # 获取所有meta的content属性
    meta_contents = [meta.get('content') for meta in root.findall('.//meta') if meta.get('content')]
    print("meta的content属性列表:", meta_contents)
except ET.ParseError as e:
    print(f"解析错误: {e}")

响应文本前200字符:
<html>
<head><title>财经新闻标题</title></head>
<body>
<meta name="description" content="新闻摘要1">
<meta name="keywords" content="新闻摘要2">
<h1>主要新闻</h1>
</body>
</html>

解析错误: mismatched tag: line 8, column 2

📝 动手练一练

第 1 题 · 概念应用

你正在编写一个爬虫，用于监控某财经网站上的“热门股票讨论区”。该页面的 HTML 结构如下：

<div class="discussion-list">
  <div class="post" data-stock="AAPL">
    <h3 class="title">苹果公司财报超预期</h3>
    <span class="author">用户A</span>
  </div>
  <div class="post" data-stock="TSLA">
    <h3 class="title">特斯拉新车型发布</h3>
    <span class="author">用户B</span>
  </div>
</div>

你的目标是提取所有讨论帖（<div class="post">）对应的股票代码（data-stock 属性值）。以下哪个 XPath 表达式能够正确且最直接地实现这一目标？

• A. //div[@class="discussion-list"]/h3/text()
• B. //div[@class="posts"]/@data-stock
• C. //div[@class="post"]/@data-stock
• D. //div[@data-stock]/text()

第 2 题 · 代码填空

你正在解析一个模拟的财经新闻页面，需要提取所有新闻条目的标题和发布时间。新闻条目被包裹在 <article> 标签中，标题在 <h2> 里，发布时间在 <time> 标签的 datetime 属性中。请补全以下代码中的 XPath 表达式，使其能正确提取并打印出第一个新闻条目的标题和发布时间。

import xml.etree.ElementTree as ET

# 模拟的新闻页面HTML
html_content = """
<div class="news-feed">
  <article>
    <h2>美联储维持利率不变</h2>
    <time datetime="2023-10-27T09:00:00Z"></time>
  </article>
  <article>
    <h2>科技股财报季拉开帷幕</h2>
    <time datetime="2023-10-26T14:30:00Z"></time>
  </article>
</div>
"""

# 解析HTML
root = ET.fromstring(html_content)

# 使用XPath定位第一个<article>元素
first_article = root.find(______)  # 填空：定位第一个<article>的XPath

if first_article is not None:
    # 提取标题 (h2标签内的文本)
    title_elem = first_article.find('h2')
    title = title_elem.text if title_elem is not None else 'N/A'
    
    # 提取发布时间 (time标签的datetime属性)
    time_elem = first_article.find('time')
    pub_time = time_elem.get('datetime') if time_elem is not None else 'N/A'
    
    print(f"标题: {title}")
    print(f"发布时间: {pub_time}")
else:
    print("未找到新闻条目")

import xml.etree.ElementTree as ET

# 模拟的新闻页面HTML
html_content = """
<div class="news-feed">
  <article>
    <h2>美联储维持利率不变</h2>
    <time datetime="2023-10-27T09:00:00Z"></time>
  </article>
  <article>
    <h2>科技股财报季拉开帷幕</h2>
    <time datetime="2023-10-26T14:30:00Z"></time>
  </article>
</div>
"""

# 解析HTML
root = ET.fromstring(html_content)

# 使用XPath定位第一个<article>元素
first_article = root.find('.//article')  # 填空：定位第一个<article>的XPath

if first_article is not None:
    # 提取标题 (h2标签内的文本)
    title_elem = first_article.find('h2')
    title = title_elem.text if title_elem is not None else 'N/A'
    
    # 提取发布时间 (time标签的datetime属性)
    time_elem = first_article.find('time')
    pub_time = time_elem.get('datetime') if time_elem is not None else 'N/A'
    
    print(f"标题: {title}")
    print(f"发布时间: {pub_time}")
else:
    print("未找到新闻条目")

标题: 美联储维持利率不变
发布时间: 2023-10-27T09:00:00Z

本章小结

📋 行动清单

• 使用Scrapy Shell抓取一个新闻网站，分别用XPath和CSS选择器提取标题列表
• 编写一个解析函数，处理包含分页的商品数据，并输出JSON格式的结构化结果
• 对比XPath的contains()和starts-with()函数在定位动态class时的效果差异

「小象量化教研组」建议在实际项目中优先使用CSS选择器处理简单结构，复杂嵌套数据建议使用XPath定位。记得始终在try-except块中处理可能缺失的节点。

—— 小象教研组