书：pan.baidu.com/s/1CoxNwhlbnomHIn6yi0KBJQ
提取码：tqlj
我的阅读笔记：
- 选择器（Selectors）：使用 XPath 或 CSS 表达式来从网页中提取数据。 可以根据页面的结构灵活地定位和提取需要的信息。
- Spider：Spider 是 Scrapy 中用于定义如何爬取网站的类。 开发者可以自定义 Spider 类来定义爬取规则和如何处理抓取到的数据。
- 管道（Pipelines）：用于处理爬取到的数据，例如存储到数据库、写入文件等。 可以编写自定义的管道来处理特定的数据处理需求。
- 中间件（Middleware）：允许开发者在 Scrapy 处理请求和响应的过程中进行自定义的处理。 可以在请求被发送和响应被处理之前进行干预，用于修改请求头、代理设置等。
- 调度器和引擎：Scrapy 使用调度器和引擎来控制整个爬取流程。 调度器负责处理待爬取的请求，引擎则负责驱动整个爬取过程。
- 下载器中间件（Downloader Middleware）：用于在下载器处理请求时进行额外的自定义处理。 可以用于设置代理、处理请求的重试等。
- 自动限速：Scrapy 自带一个自动限速功能，以防止爬取速度过快导致被封禁。 可以通过设置下载延迟、并发请求数等参数来调整爬取速度。
- 用户代理池和 IP 代理：支持设置用户代理，以模拟不同浏览器的请求。 可以集成 IP 代理池，用于爬取时动态更换 IP。
- Cookies 和 Session：可以在请求中设置 Cookies，以处理需要登录的网站。 支持保持会话状态，模拟用户在同一爬取过程中的连续操作。
- 分布式爬取：Scrapy-Redis 等扩展支持分布式爬取，多个爬虫节点可以共同工作。 适用于需要大规模爬取的情况。
- 异步支持：Scrapy 在近期版本中引入了异步支持，可以使用异步请求处理页面。 可以通过
Asyncio或者Twisted来实现异步操作。