爬虫简介

小象实战讲义 · Python数据分析实战

在上一课中，我们学习了如何从本地文件（如CSV、Excel、JSON）和数据库中获取数据。然而，在现实世界中，大量有价值的数据并非静态地存放在本地，而是实时更新于互联网之上。本课我们将开启网络数据获取的大门，学习如何编写程序自动从网页上抓取所需信息，即“网络爬虫”。掌握这项技能，你将能够自动化地收集天气、商品价格、新闻资讯等动态数据，为后续的数据分析工作提供源源不断的“原料”。

💡 核心导读

• 什么是爬虫：理解网络爬虫作为“自动获取互联网信息的程序”的本质及其应用场景。
• 为何需要爬虫：认识手动获取网络数据的低效性，以及自动化程序在数据采集中的巨大优势。
• 爬虫基本架构：掌握构成一个爬虫程序的三个核心模块：URL管理、网页下载和网页解析，以及它们之间的协同工作流程。

什么是网络爬虫？

想象一下，你需要持续追踪某个城市过去一年每天的天气情况。如果手动操作，你需要每天访问天气网站，点击日期链接，查看并记录数据。这不仅枯燥、耗时，而且极易出错。如果数据需要追溯历史或预测未来，手动操作更是难以为继。

网络爬虫（Web Crawler/Spider） 正是为了解决这个问题而生的。简单来说，它是一个能够自动访问互联网、下载网页内容并从中提取特定信息的程序或框架。它模拟了人类用户点击链接、浏览网页的行为，但以程序化的方式，实现了高效、准确、大规模的数据采集。

爬虫的核心价值在于利用互联网数据进行后续的分析与产品开发。例如，电商公司通过爬虫监控竞品价格，新闻机构用它聚合全网资讯，数据分析师则用它收集研究所需的各类公开数据。获取到的数据可以保存到本地文件（如CSV、JSON）或数据库中，与我们上一课学习的本地数据处理技术无缝衔接。

爬虫的基本架构

一个典型的网络爬虫，无论其复杂程度如何，其核心工作流程都可以抽象为三个相互协作的模块。理解这个架构，是编写或使用任何爬虫框架的基础。

URL 管理模块

这个模块负责管理所有待爬取和已爬取的网页地址（URL）。它的核心职责包括：

• 计划爬取：维护一个待爬取的URL队列。例如，当你要爬取一个电商网站上关于“iPhone”的所有搜索结果时，初始URL可能是第一页的链接。解析后会发现第二页、第三页的链接，这些新发现的URL会被添加到待爬取队列中。
• 去重与状态管理：确保同一个URL不会被重复爬取，以节省资源和避免重复数据。同时，它还需要处理失效的URL（例如，因网站改版而无法访问的链接），将其从队列中移除。

可以把URL管理模块想象成一个智能的“任务调度中心”，它决定接下来要去访问哪个网页，并确保任务不重复、不遗漏。

网页下载模块

当URL管理模块分配了一个待爬取的URL后，网页下载模块便开始工作。它的任务非常直接：访问该URL，并将对应的网页内容（通常是HTML代码）下载到本地内存或临时存储中。

这个过程类似于你在浏览器地址栏输入网址并按下回车后，浏览器向服务器发送请求并接收响应的过程。网页下载模块就是程序中的“浏览器引擎”，负责完成网络通信，获取原始的网页数据。

网页解析模块

获取到网页的原始HTML内容后，我们需要从中提取出感兴趣的信息。这就是网页解析模块的工作。

浏览器之所以能将HTML代码渲染成我们看到的图文并茂的网页，是因为它内置了解析HTML规则（标签、样式、脚本）的引擎。爬虫的解析模块做的事情类似，但它不负责渲染显示，而是按照HTML的结构规则，定位到特定信息所在的标签位置，并将其中的文本、属性等内容抽取出来。

例如，在一个商品页面中，我们只关心价格信息。解析模块就需要在复杂的HTML代码中找到包裹价格的特定标签（如一个<span class="price">），然后将其中的文本“¥5999”提取出来。

关键循环：解析模块在提取目标数据的同时，常常会发现当前页面中包含指向其他页面的链接（例如“下一页”、“相关商品”）。这些新发现的URL会被反馈给URL管理模块，从而开启新一轮的“下载->解析”循环，直到所有感兴趣的数据都被采集完毕。

URL 管理模块 -> (提供URL) -> 网页下载模块 -> (提供HTML) -> 网页解析模块
     ^                                                           |
     |                                                           | (发现新URL)
     +-----------------------------------------------------------+

这三个模块构成了爬虫的基本工作流，形成了一个高效的自动化数据采集闭环。

📝 动手练一练

1. 概念辨析：请简述网页下载模块和网页解析模块的核心区别。一个常见的误解是“下载模块就能直接得到数据”，这种说法错在哪里？

2. 流程推演：假设你要爬取一个新闻网站“今日热点”板块下所有文章的标题和链接。请描述爬虫三个模块在此场景下的具体工作步骤。

本章小结

本节我们揭开了网络爬虫的神秘面纱。我们认识到，爬虫并非高深莫测的黑科技，而是一个旨在自动化、程序化地获取网络公开信息的实用工具。其核心价值在于将人从重复、低效的手动数据收集工作中解放出来。

我们重点剖析了爬虫的三个基本架构模块：URL管理、网页下载和网页解析。这三个模块各司其职又紧密协作，构成了爬虫从“发现目标”到“获取原料”再到“提炼数据”的完整工作流。理解这个流程，是后续各节逐个学习这三大模块具体实现的坚实基础。

📋 行动清单

学完本节，你可以立即开始：

• 在脑海中复述爬虫三大模块的名称及其核心功能。
• 打开一个你常浏览的网站（如电商、新闻），用“检查元素”功能查看网页HTML结构，思考如果要爬取某个信息（如商品价格），它可能藏在哪个标签里。
• 预习下一节：想一想「URL 管理模块」要解决什么问题？如果爬虫没有它会遇到哪些麻烦？

—— 小象教研组