Python教程

python爬虫反爬

本文主要是介绍python爬虫反爬，对大家解决编程问题具有一定的参考价值，需要的程序猿们随着小编来一起学习吧！

反爬原因

  • 爬虫占总PV高，浪费了服务器的流量资源
  • 资源获取太多导致公司造成损失
  • 法律的灰色地带

种类

  • 数据污染反爬，数据陷阱反爬，大文件url反爬，这些都需要累计熟练度来进行处理

解决方案：没有什么技巧，都是通过观察，如果提取不到想要数据就需要多尝试，这是一个熟练度的问题

  • 数据加密反爬，猫眼电影评分数据加密
    image

解决方案1：先右键检查元素
image
通过对比就可以发现他是有自己的一个字体库，只要把这个加密的数据进行一个一对一翻译，就可以拿到我们想要的数据

解决方案2：可以切换手机端查看数据
image
可以发现他的数据是没有加密的，可以直接获取

  • 对此又出现了一套新的反爬方案，每次进入浏览器都会更新这个字体方案
  • css数据偏移反爬

简单来说就是通过css来把数据分开标签来存储，增加数据解析的难度
解决方案：只是增加了我们的数据分析步骤

  • 通过js生成数据渲染到浏览器进行反爬

通过post请求获取js的数据即可

  • 通过图片进行反爬

把数据放入一张图片中不让直接获取数据

这篇关于python爬虫反爬的文章就介绍到这儿，希望我们推荐的文章对大家有所帮助，也希望大家多多支持为之网！
您可能喜欢
栏目导航