课程介绍

本地数据的采集与操作：课程介绍

小象实战讲义 · Python数据分析实战

在数据分析的完整流程中，第一步往往是获取数据。数据可能来自网络下载、客户提供或内部系统导出，并以各种格式存储在我们的本地计算机上。本节课将为你系统性地介绍数据分析工作中最常见的几种本地数据格式，以及如何使用Python高效地读取、操作它们，为后续的清洗、分析和建模打下坚实的基础。

💡 核心导读

• 认识本地数据：了解TXT、JSON、CSV、Excel及数据库等常见本地数据格式的特点与适用场景。
• 掌握操作工具：学习使用Python标准库及Pandas等工具读取和解析不同格式的数据。
• 理解结构化与非结构化：区分纯文本、半结构化（JSON）和高度结构化（数据库）数据。
• 实战导向：课程将以一个欧洲职业足球数据库的综合案例结束，串联所学知识。

本地数据：多样化的格式与来源

数据分析始于数据。在开始任何分析之前，我们首先需要将数据“搬”到我们的工作环境中。这些数据通常以文件或数据库的形式存储在本地。理解不同数据格式的特性，是选择正确工具进行高效处理的前提。

本地数据来源广泛，可能是从公开数据平台（如Kaggle、政府开放数据网站）下载的数据集，也可能是业务部门或客户提供的原始数据文件。无论来源如何，它们最终都会以某种特定的格式呈现在我们面前。

常见的本地文件格式

纯文本文件：TXT

TXT文件是最基础、最通用的文本存储格式。它不包含任何字体、颜色等样式信息，也不强制要求特定的数据结构。任何操作系统（Windows, macOS, Linux）都能直接打开和编辑TXT文件。

特点：

• 无结构：内容可以是任意文本，如日志、小说、配置信息。
• 通用性强：几乎所有的文本编辑器和编程语言都能处理。
• 轻量：不包含元数据，文件体积小。

在数据分析中，TXT文件常用于存储日志、简单的配置参数或非结构化的文本数据。当我们处理这类文件时，关注的是如何从连续的文本中提取出有意义的信息。

半结构化数据：JSON

JSON（JavaScript Object Notation）是一种轻量级的数据交换格式。它源于JavaScript，但现在已成为独立于语言的通用格式，尤其在网络传输和API接口中广泛应用。

特点：

• 结构化：使用键值对（key: value）的方式组织数据，层次清晰。
• 可读性好：文本格式，人类和机器都容易阅读和理解。
• 与语言无关：Python、Java、JavaScript等主流语言都提供了原生或库支持。

JSON通过将数据“结构化”，赋予了数据更多的语义。例如，一个描述用户的信息不再是杂乱无章的文本，而是被清晰地组织为 {"name": "张三", "age": 25, "city": "北京"}，使得程序能够精确地访问每一个字段。

结构化表格数据：CSV

CSV（Comma-Separated Values）文件是存储表格数据的标准格式。它以纯文本形式存储表格数据（数字和文本），每一行代表一条记录，字段间通常用逗号分隔。

特点：

• 表格结构：天然对应数据库表或电子表格，行是记录，列是字段。
• 简洁：仅包含数据，没有样式、公式等额外信息。
• 兼容性极佳：可直接用Excel、Numbers等电子表格软件打开，也可被几乎所有数据分析工具读取。

CSV是数据分析中最常用的数据交换格式之一，因为它完美地平衡了结构清晰性和格式简洁性。

功能丰富的电子表格：Excel

Excel文件（.xlsx 或 .xls）是日常办公中最常见的电子表格格式。与CSV不同，Excel文件不仅能存储数据，还能包含丰富的样式、公式、图表、图片甚至宏。

特点：

• 功能全面：集数据存储、计算、可视化于一体。
• 包含元数据：有单元格格式、字体颜色、合并单元格、多工作表等复杂结构。

对于数据分析师而言，我们通常只关心Excel文件中存储的原始数据本身，而不关心其展示样式（如高亮、颜色）。我们的核心任务是学会如何穿透这些样式层，准确地将表格数据提取到Python的DataFrame中进行后续分析。

大规模复杂数据：数据库

当数据量非常大，或者数据结构非常复杂（涉及多张关联表）时，单个文件往往难以有效管理。这时，数据库就成为数据存储和管理的标准解决方案。

特点：

• 高效管理海量数据：支持索引、查询优化，能快速处理百万、千万级数据。
• 关系模型：数据被组织在多张相互关联的表中，通过主键、外键建立联系。
• 支持并发与事务：满足多用户同时访问和数据一致性的需求。

在本课程中，我们将以SQLite数据库为例进行介绍。SQLite是一个轻量级的、文件式的数据库引擎，整个数据库就是一个文件，无需安装复杂的数据库服务器，非常适合入门学习和中小型项目。

本课你将学到什么

本课程将按照以下路径，带你掌握本地数据操作的完整技能链：

1. 基础文件操作：学习使用Python读取和写入TXT、JSON、CSV文件。
2. Excel数据处理：使用Pandas库精准读取Excel文件中的表格数据。
3. 数据库入门：学习SQL（Structured Query Language）的基本语法，包括数据查询、过滤、排序和聚合。
4. 多表关联查询：掌握如何使用SQL的JOIN操作，将分散在多张表中的信息关联起来，这是关系数据库的核心能力。
5. 综合实战：运用以上所有技能，对一个“欧洲职业足球数据库”进行完整的分析。你将从多个数据表中提取信息，回答诸如“哪个联赛进球最多？”、“哪些球员的生涯平均综合评分最高？”等实际问题。

通过本课的学习，你将不再惧怕各种格式的原始数据，能够自信地将它们转化为可供分析的、结构清晰的Python数据结构（如列表、字典、DataFrame），迈出数据分析坚实的第一步。

📝 动手练一练

1. 概念辨析：CSV文件和Excel文件都常用于存储表格数据，它们最核心的区别是什么？在什么场景下你会优先选择CSV，什么场景下会选择Excel？

2. 场景思考：假设你收到一份来自销售部门的客户反馈数据，是一个包含颜色高亮和备注列的Excel文件。你的分析任务只需要其中的“客户ID”、“反馈日期”和“评分”三列纯数据。你应该如何处理这个Excel文件，以便在Python中进行后续的统计分析？

本章小结

本节作为《本地数据的采集与操作》的导论，为我们描绘了接下来要探索的知识地图。我们认识到，数据以多种形态（TXT, JSON, CSV, Excel, 数据库）存在，每种形态都有其适用的场景和独特的处理方式。

📋 行动清单

学完本节，你可以立即开始：

• 观察你的数据：打开你的项目文件夹或下载一个公开数据集，识别其中包含哪些本节提到的文件格式。
• 预习核心库：如果你还不熟悉，可以简单浏览一下Python标准库中的csv、json模块，以及Pandas库的官方文档，对即将使用的工具有个初步印象。
• 思考数据流：设想一个你感兴趣的分析主题（如分析个人月度开支），思考原始数据可能以何种格式（CSV记账？手写TXT？）存在，并最终需要被转换成何种结构进行分析。

—— 小象教研组