C/C++教程

爬虫---02.cookies

本文主要是介绍爬虫---02.cookies，对大家解决编程问题具有一定的参考价值，需要的程序猿们随着小编来一起学习吧！
  • cookie是存储在客户端的键值对
    • web中cookie的典型应用免密登陆
    • cookie和爬虫之间的联系是在一定时候，对一张页面发起请求，如果不携带cookie的话，无法请求到正确的页面数据 反爬机制
      可以将浏览器发请求携带的请求头全部粘贴在headers字典中，将headers作用到requests的请求操作中即可
    • cookie的处理方式有两种
      • 手动处理 将抓包工具中的cookie粘贴到headers中 弊端是 过了有效时长 则该方式失效
      • 自动处理 基于Session对象实现自动处理 requests.Session()返回一个session对象
    • session对象的作用：

      • 该对象可以像requests一样调用get和post发起指定的请求
        只不过如果在使用session发起请求的过程中 如产生cookie 则自动存储到session对象中 意味着下次使用session发请求 该请求是携带cookie的

            # 实例  访问雪球资讯
这篇关于爬虫---02.cookies的文章就介绍到这儿，希望我们推荐的文章对大家有所帮助，也希望大家多多支持为之网！
您可能喜欢
栏目导航