Java教程

requests实现动态爬取页面的局部数据

本文主要是介绍requests实现动态爬取页面的局部数据,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!

以百度翻译为例:

  用过百度翻译的小伙伴们都知道,在输入需要翻译的内容后,页面只会刷新翻译框下面的内容,并不会刷新整个页面,因此这种情况使用的是ajax,打开抓包工具,如下:

   我们选中XHR后,可见该请求是POST类型,于是爬虫程序需要编写为POST型,此外还需要注意返回的响应数据为JSON格式。

    post_url = 'https://fanyi.baidu.com/sug'

    # post请求处理
    word = input('enter a word:')
    data = {
        'kw':word
    }
    response = requests.post(url=post_url,data=data,headers=headers)

    # 获取响应数据,由于响应数据格式为json,而json()返回的是obj,当且仅当确认响应数据类型为json,才可以使用json()
    dic_obj = response.json()
    print(dic_obj)

  在进行持久化存储时,因为要存储json格式的数据,所以直接使用json.dump()方法即可:

    # 持久化存储
    fileName = word + '.json'
    fp = open(fileName,'w',encoding='utf-8')
    json.dump(dic_obj,fp=fp,ensure_ascii=False)

  运行成功!

 

 

 

 

 

 

  补充两个内容:

  • 关于json.dump()   

    json.dump(para1,para2)用来存储json数据

    para1:要存储的数据

    para2:可用于存储数据的文件对象

    如果json反应的文本内容均为中文则设置ensure_ascii=False

  • 关于GET请求与POST请求区别

    GET请求中参数携带在url后,并且有长度限制;而POST请求参数携带在request body中,其实他们本质没有区别,因为都是HTTP协议中的两种请求方式,底层都是TCP / IP

这篇关于requests实现动态爬取页面的局部数据的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!