Scrapy面试合集

本文主要是介绍Scrapy面试合集，对大家解决编程问题具有一定的参考价值，需要的程序猿们随着小编来一起学习吧！

（1）Scrapy爬虫工作流程

ScrapyEngine：引擎

Scheduler：调度器（队列）

Downloader：下载器

DownloaderMiddlewares：可选，主要有User_Agent, Proxy代理

Spiders：爬虫（提取数据、url）

ItemPipeline：管道

需要发送请求的url经过引擎交给调度器，经过调度器排序入队处理后通过引擎、DownloaderMiddlewares交给Downloader，

下载器返回respose给引擎和SpiderMiddlewares(可选)，再交给爬虫进行数据、url提取，并将数据经引擎交给保存。

其中爬虫提取的url，会重新经过引擎交给调度器进行下一个循环，直到无url请求程序停止结束。

这篇关于Scrapy面试合集的文章就介绍到这儿，希望我们推荐的文章对大家有所帮助，也希望大家多多支持为之网！

您可能喜欢

C/C++教程