云计算

【0基础学爬虫】爬虫基础之抓包工具的使用

本文主要是介绍【0基础学爬虫】爬虫基础之抓包工具的使用,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!

0

大数据时代,各行各业对数据采集的需求日益增多,网络爬虫的运用也更为广泛,越来越多的人开始学习网络爬虫这项技术,K哥爬虫此前已经推出不少爬虫进阶、逆向相关文章,为实现从易到难全方位覆盖,特设【0基础学爬虫】专栏,帮助小白快速入门爬虫,本期为抓包工具的使用。

抓包工具概述

抓包工具,顾名思义,就是抓取网络数据包信息的工具。抓包工具最初主要应用于测试工作中,通过抓包工具查看网络数据包,并进行分析,来定位数据传输中的问题。随着不断发展,抓包工具的功能不断拓展,在网络数据传输中能够将获取到的数据包进行重发、编辑、替换等操作。作为爬虫开发者,我们需要模拟用户的真实请求来获取数据,所以我们需要了解目标网站交互中的数据信息是如何传输的,以及详细的请求信息、传递信息、接收信息。因此掌握各抓包工具的使用是一项必备的技能。

常见抓包工具及工作原理

目前流行的抓包工具有很多,这里只介绍实际开发中最为常见的。
常见的抓包工具可以分为两种:

1、抓取应用层的HTTP/HTTPS协议包,通过中间人代理截取协议包,如:Fiddler,Charles。

1

以Fiddler为例,此类抓包工具通过代理某个端口,拦截经过该端口的通信协议,并对传输数据进行解析展示,使用也起来非常简单。对于HTTP请求,数据传输都是明文,抓包工具可以直接看到数据报文。但HTTPS请求在HTTP基础上多了一层SSL/TLS协议,在数据传输中采用了双向加密,对于传输中的数据包需要密钥来进行解密,因此抓包工具即使拦截到了数据包,也无法对数据进行解析。因此Fiddler、Charles在使用前需要安装证书。

2

2、抓取传输层的TCP/UDP协议,在网卡的链路层截取数据包,如:Wireshark。

3

F12开发者工具

F12开发者工具是在爬虫开发中最常使用到的工具,它可以被用来查看网页HTML元素、调试网页、抓包等。

以谷歌开发者工具为例,打开F12工具可以看到此界面。

4

工具顶部有一些功能选项,在实际开发中,我们会经常用到以下几种:

元素(Elements):用来查看、修改HTML元素,修改CSS属性,查看样式,监听事件等

控制台(console):记录异常信息,执行JS代码

源代码(Sources):查看网页源码、设置断点、本地替换、运行JS脚本

网络(Network):监听请求资源

本次主要介绍网络(Network)面板。

6

关于网络面板,我们需要知道一些基本的功能按钮。

5

从左到右有六个选项:

1. 录制按钮: 红色代表正在录制网络活动,会持续监听该网页的网络活动,灰色代表停止录制。

2. 清除按钮: 会将录制到的网络活动清除。

3. 过滤按钮: 可以筛选出URL中包含输入信息的请求,也可以选择根据请求类型进行筛选。

4. 搜索按钮: 可以搜索出包含输入信息的所有请求。

5. 保留日志: 勾选时,当页面重新加载时不会清空上一次加载时的请求信息,未勾选时页面重新加载时会自动清除上一次加载时的请求信息。建议勾选。

6. 停用缓存: 建议勾选。

使用F12抓包

使用开发者工具进行抓包十分简单,只需要进行简单的操作。

1、打开F12开发者工具。

2、打开目标网址。

即可完成抓包操作。

请求列表

请求列表里面包含了与网站交互中每个请求资源的信息。

点开任意资源,数据信息主要分为5种:

1. 常规信息: 常规信息中记录了请求网址、请求方法、请求状态码,通过常规信息可以了解请求是否成功。

7

2. 响应头信息: 响应头信息中记录了服务端响应的头信息。

8

3. 请求头信息: 请求头信息中记录了客户端发起请求时携带的头信息。

9

4. 载荷信息: 记录了请求时提交的数据。

10

5. 响应信息: 记录了服务端的响应信息。

11

F12开发者工具功能很强大,使用起来也非常便捷。但是也存在着很大的弊端:

  1. 容易被网站检测,网站可以检测用户是否打开了F12,干扰开发者接下来的调试。
  2. 数据自动清空,浏览器为了减少资源信息的缓存,当一个资源被二次请求时,第一次的响应信息将会被清空。

17

因此在爬虫开发中,会用到更为强大的抓包工具。

Fiddler的安装与使用

下载与安装

可以在 Fiddler官网 下载Fiddler经典版,下载时需要提交邮箱等资料。

12

安装过程很简单,这里就不做介绍。

证书安装

安装完成后在安装目录中找到fiddler.exe运行。 如上文所述,Fiddler在使用前需要安装证书,否则无法抓到HTTPS包。

安装方法:Tools->Options->HTTPS
13

勾选以上三个选项。点击Actions-Trust Root Certificate-Yes,信任证书。

14

导出证书到桌面,并打开谷歌浏览器-设置-安全-管理设备证书,将导出的证书导入到浏览器。

15

面板

16

18

Fiddler内置了许多强大的功能,这里只介绍基本用法与常用功能。

基本用法:

当我们需要对某个网站进行抓包时,只需要打开Fiddler工具,观察状态栏中的Capturing是否存在,存在则代表正在记录会话。选择All Processes捕获所有进程会话。打开网站后,Fiddler会自动的记录每条会话信息,会话列表中记录了Fiddler抓到的每条请求数据包,包含:

编号(按请求顺序编号)、HOST(请求主机名)、URL、Content-Type(响应数据类型)、Result(响应状态码)、Protocol(请求协议)、Body(字节数)、Caching(可缓存信息)、Process(发起请求的进程)、Comment(注释)、Custom(备注)。

请求信息栏和响应信息栏中记录了请求和响应时的详细信息。

功能:

AutoResponder(响应替换): 通常在逆向开发中,会遇到一些网站的加密算法代码是动态变化的或者经过了高度混淆,也可能在某段代码中对F12进行了检测,通过各种手段干扰我们对网站进行调试。遇到这种情况,我们就可以使用AutoResponder功能,AutoResponder可以拦截目标请求,将目标请求的响应内容进行修改。利用AutoResponder,我们可以将干扰我们调试的代码文件进行修改调整,方便之后的调试。

  1. 将想要修改的请求拖入AutoResponder中
  2. 勾选Enable rules -> Add Rule
  3. 点击Rule Editor框的第二栏,滑倒最下,选择Find a file,选择进行替换的文件
  4. Save 保存

保存完成后刷新就可以发现目标请求被替换了。

19

重发: 选中需要重发的请求,点击工具栏中的Replay即可。

模拟请求: 点击工具栏中的Composer,输入目标网址、请求头,选择请求方式,点击Execute即可发起一次模拟请求。

20

Charles的使用

Charles与Fiddler的功能大同小异,但是Fiddler经典版不支持mac,Charles支持全系统,所以Charles算是Fiddler在mac系统中的一个替代品。所以只做简单介绍。

下载与安装

在Charles官网 下载对应的版本进行安装。

配置

安装证书:进入Charles界面,点击Help -> SLL Proxying -> Install Charles Root Certificate -> 安装证书 -> 本地计算机 -> 放入受信任的根证书颁发机构存储 -> 完成

22

设置SSL代理:Proxy -> Proxy Settings -> 勾选如下选项

23

Proxy -> SSL Proxying Settings

24

使用

Charles抓包方式与Fiddler一致,打开目标网站Charles会自动抓取请求,点击Stop Recording可以停止抓包。

面板

21

Charles面板与Fiddler有些区别,可以看到抓到的数据也详细一些。Charles有两种界面模式,可以选择Sequence,与Fildder比较接近。

功能

Filter 根据关键字筛选请求

重发 选择请求,点击上方Repeat selected requests进行重发

响应替换 效果与Fildder的AutoResponder一致,右键需要进行响应替换的请求,选择Map Local,在Local path中选择替换的文件即可。

25

结语

上文中讲到了F12开发者工具、Fiddler、Charles这三款工具,正常爬虫工作中一些抓包需求这三款工具都能很好的解决,但随着爬虫的不断发展,反爬虫措施也不断增加。如近年来TLS指纹检测逐渐被应用到反爬虫中,在服务端与客户端建立连接时就可以检测到客户端是否是爬虫程序。通过Fiddler、Charlse这类抓包工具无法看到在建立TCP连接时传输了哪些信息,无法得知服务端是否可能检测了TLS指纹信息,因此需要用到如Wireshark等更为强大的抓包工具,所以爬虫开发者在提升自身水平的同时也需要掌握更为强大的工具,才能更好的解决问题。

这篇关于【0基础学爬虫】爬虫基础之抓包工具的使用的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!