Java教程

爬虫的难点不在爬虫,而在对抗

本文主要是介绍爬虫的难点不在爬虫,而在对抗,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!

####

Python很强大,熟练的程序员可以在5分钟内写出一个有价值的爬虫,比如: - 抓取股票信息 - 抓取笑话 - 抓取商品信息

但大部分被抓的网站不是任你抓取的木鸡,有抓就有反抗!

这是一场网站和程序员之间的一种博弈!都是程序员,何必呢?程序员何必为难程序员!

凡是博弈,就一定不易!因为道高一尺魔高一丈。

你抓他就防,你改进抓取方法,他就提高防抓手段!

随便你抓,岂不是侮辱网站程序员吗?

如果有人问你:某某网站能不能抓?

答案肯定是:能!

从技术角度讲,只要你能在通过网页上看到的内容,就一定能抓!无非就是抓取难度的大小。

本文总结了实现爬虫时常见的的8个难点,以及基本解决思路。

1. 不小心爬进监狱

从技术手段上讲:天下没有不能抓的网站!

从法律角度上讲,有一种说法叫:爬虫写的好,牢饭吃的早!我现在还有一个好哥们在里面,说到这里两眼都是泪。

 

正所谓行有行规,爬虫有虫规!虫规就是robots.txt。

robots.txt是网站写给爬虫的声明,里面写明了那些内容不能抓取。robots.txt一般放在网站的根目录下。

以B站为例,直接在浏览器中打入: https://bilibili.com/robots.txt

就可以看到下面的内容:

里面明确了以"/include/","/mylist/"等开头的网址不能被抓取。

说了不能抓就别抓,要不然警察把你抓起来!

但是国内很多网址不守行规,不讲武德,网站里根本没有robots.txt。那怎么办呢?

可以看几个方面: - 是否是敏感信息?如果是涉及到私人的敏感信息,不要抓。 - 你抓取的量大不大?一般量不大就没事,量大了就要谨慎。举个例子:偷10块钱不会坐牢,但偷10万块钱肯定可以免费住宿了。

如果只是抓取自己的商品,邮件,账单等,一般是没有问题的。

  • 你要抓取的网站是谁的网站?有些网站惹不起,不要去抓。他可以抓你的,你不能抓他的。

如果不确定能不能抓,也可以直接联系网站的主人,询问是否可以抓取,或者有没有数据接口。

2. 复杂多变的网页结构

网页的复杂多变体现在两个方面: 1. 同一个网页在显示不同的内容时会有不同的结构。

比如商品详情页,不同的商品,使用不同的网页模板,这是很正常的情况。

再比如商品列表页,没有商品,有一件商品,有多件商品,可能样式都会有差别。

如果你的爬虫只会处理一种情况,爬取过程中必然会出现问题。

  1. 网页功能或者设计风格的改变。

一般的爬虫都是根据网页结构,使用xpath去解析内容,一旦结构变了,就解析不出来了。 

怎么解决呢?

  • 分析网页结构要全面,了解同一个网页的不同情况。
  • 网页结构改了,也修改相应的爬虫。
  • 如果要抓的信息比较固定,比如抓取电话号码,可以使用正则表达式去解析。

不管网页结构怎么变化,一套代码都能搞定,正则写的好一点,准确度也很高。

  • 还有高端的办法就是使用人工智能的技术,让爬虫能够适应网页的变化,随便网页变化自己也变化。

3. IP封锁

IP封锁是常用的反抓取手段。

当网站发现某个IP地址发送请求过多的时候,会临时或者永久的封锁这个IP的请求。 

技术好,讲规矩的网站一般提前设置好了规则,比如一天只能访问500次,或者一分钟内不能访问超过10次。

当你超过了次数自动封锁你,过了时间限制会自动解锁。

技术不好的网站可能没有这样的规则,网站挂了,或者管理员发现异常后,看日志才发现你请求太多。

因为它们没有现成的规矩和技术手段,它们有可能简单粗暴,直接在Web Server上设置永久封锁你的IP地址。

应对IP封锁的一般手段: - 不要频繁抓取,在两次请求之间设置一定的随机间隔。 - 摸索网站的规则,然后根据规则抓取。 - 使用IP代理服务,不断的更换IP。不怕花钱就用收费的IP代理,不想花钱就找免费的。网上搜索一下,免费的也很多,只是可能不稳定。

4. 图片验证码

图片验证码是另一种最常用的反爬技术。

当你登录网站的时候,或者检测到你请求过多的时候,网站跳出一个图片,要求你输入图片上的内容。

图片上的内容一般是扭曲的文字,甚至是数学公式,让你输入计算结果。

 

这都算是好办的。一般使用OCR技术,比如Python的Tesserocr库,就可以自动识别图片上的内容,然后自动填入,继续爬取。

但道高一尺魔高一丈,图片验证码也不断的进化和升级,比如国外的谷歌验证码这种,经常把我这个大活人都难哭:

  

或者12306这种:

 

简单的OCR技术很难处理这种图片,但办法总是有的: - 人工智能技术之所以叫人工智能,就是说它可以跟人一样,甚至比人还聪明。北大,英国的兰卡,美国的西北大学的几个研究者就号称用AI研究了一个极快的破解验证码的方法。 - 使用专业的解码服务。有需求就有产品,专业的事交给专业的人办。有一些公司专门提供相关的服务,你调用他们的API或者使用他们的插件解决验证码的问题。

- 人肉解码:当爬虫运行到验证码的时候,暂停,等待人工输入验证码,然后再继续。

5. 蜜罐陷阱

蜜罐陷阱是网站开发者用来快速识别爬虫的一个阴招。

 

在网站上添加一些链接,通过CSS把这些链接设置成人类不可见:

display: none

爬虫解析HTML的时候是能够发现这些链接的,于是就点开链接爬进去了。

一旦爬进去了,马上封锁你的IP。

解决方法也很简单,在解析网页的时候添加一些判断是否可见的逻辑即可。

6. 网页加载速度慢

有些网站反映速度很慢。当请求量大的时候,还时不时的会失败。

这对人来说可能还好,耐心等待点,刷新一下页面可能就行了。

 

爬虫也要添加相应的逻辑: - 设置合理的timeout时间。太短网页还没加载完就失败了,太长了抓取就会很慢,效率太低。 - 添加自动重试的机制。但重试次数一般不要超过5次。如果三五次都不行,再重试一般也没用的。可以下次再来尝试。

7. Ajax动态内容

很多网站使用Ajax动态加载某些内容。也就是说主请求只返回网页的主体内容,其他内容通过Ajax请求后续动态获得。

以B站为例,视频详情页的HTML页面只有视频的基本信息,评论等是后续的Ajax请求获得的。

 

当我们用爬虫抓取的时候,拿到只有第一次的HTML,后面的内容无法获得。

尤其最近几年流行前后端分离,所有的数据都是通过Ajax获取的。拿到的HTML页面只是一个空架子,里面什么数据都没有。

解决的方法一般两个:

- 分析浏览器的网络请求,搞清楚后续的请求有哪些,然后用爬虫发起同样的后续请求。

- 使用selenium等浏览器驱动技术。因为它们本来就是用程序打开浏览器访问的,所以后续的Ajax请求也都有。

第一种方法是个技术活,但一旦分析出来抓取速度会更快。

8. 登录请求

有些内容需要登录后才能访问,这种情况下请先去看一下本文第1点,防止爬进监狱去。

 

但如果是自己的账号,那一般是没问题的。

解决方法:

- 如果只是临时抓取某些网站内容,可以先手工登录,分析浏览器的Cookie,然后在爬虫请求中加入同样的Cookie。

- 对于简单的登录网站,也可以在脚本中自动填入自己的用户名和密码,无须人工干预。

- 或者当需要输入密码的时候,让爬虫暂停,人工输入密码后再继续抓取。

9. 大量抓取

一个专业点的爬虫,不会满足于只是简单的抓取,它的名字里有爬字,它会爬取网页上的链接,自动再去爬取链接内的内容,如果循环下去,整个世界都是它了。

 

这就带来很多的问题,随便举几个例子: - 要抓取的网页数量巨大 - 爬虫顺着链接可能会再爬回自己家 - 很多网页设置了重定向 - 爬取了很多自己不需要的内容 - 爬取回来的数据量巨大

当你面临这些问题的时候,爬虫问题就变成了“爬虫+工程”的问题。

简单的解决方法是使用爬虫框架,比如Python里的Scrapy,它会帮你记录抓了那些,那些没抓,设置抓取深度和宽度等等。

 

复杂一点,你们需要一个专业的团队,使用大数据技术做并发处理和数据处理。这是另一个层面的问题了。

这是我的一点心得和分享,不一定全面。

各位看官大神,你还碰到那些难点?你有那些解决方法?请留言一下吧。

 

#####

这篇关于爬虫的难点不在爬虫,而在对抗的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!