Python教程

Python爬虫框架Scrapy学习笔记

本文主要是介绍Python爬虫框架Scrapy学习笔记,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!

Python爬虫框架Scrapy学习笔记

scrapy.png

本文主要内容针对Scrapy有初步了解的同学。结合作者的实际项目中遇到的一些问题,汇成本文。

之后会写一些具体的爬虫demo, 放到 https://github.com/hanguangchao/scrapy_awesome

鉴于作者接触爬虫不久,水平有限,文章难免出现纰漏,还请各位达人留言指导。

内容提要

Scrapy问题记录

Scrapy问题示例代码

Scrapy常用代码片段

Scrapy常用设置

Scrapy参考资料

安装

image

使用

  • 创建一个爬虫项目

image

  • scrapy shell 工具

可以利用scrapy shell 分析网页

通过sel.xpath() 返回一个Selector, 可以判断页面结构是否存在。

image

使用中遇到的一些问题

  • 一个爬虫项目中,是否支持多个Item?
  • 在一个页面抓取多个Item?不同的Item如何存储?
  • 爬虫进入下一级网页?
  • 在爬虫中携带自定义数据?
  • 重复抓取一个页面的方法?
  • 分别指定每个爬虫的设置?
  • 防止爬虫被ban?

针对以上问题,下面给出具体的代码示例

  • 定义可以定义多个Item

image

  • 具体的爬虫脚本

image

image

  • 接第一个问题,多个Item,如何存储?

image

  • Spider 自定义设置

使用custom_settings 该设置是一个dict.当启动spider时,该设置将会覆盖项目级的设置. 由于设置必须在初始化(instantiation)前被更新,所以该属性 必须定义为class属性

image

防止爬虫被ban

  • 使用user agent池
  • 使用IP池
  • 禁止Cookie
  • 增加下载延迟
  • 分布式爬虫
  • 一些常见设置

image

常用的Middleware

  • 使用代理IP

image

  • 随机Agent

image

  • 使用PhantomJS 抓取JS网页

image

常用的Pipeline

过滤重复的Item

image

把Item存储到MySQL的Pipeline

image

image

把Item保存到JSON文件

image

image

这篇关于Python爬虫框架Scrapy学习笔记的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!