课程名称:Scrapy打造搜索引擎(分布式爬虫)
课程章节: 爬虫基础知识回顾
主讲老师:bobby
今天学习的内容包括:URL去重、深度优先遍历与广度优先遍历、爬虫去重策略、字符串编码
1.网站其他网页会有链接指向首页,而首页又会有链接指向其他页面,这样则会造成循环爬取网页,陷入死循环
2.如何解决该问题?将已经爬取的URL地址将入至列表内,表示已经被查询
深度优先遍历与广度优先遍历
爬虫去重策略
字符串编码