Java教程

爬虫学习日志1

本文主要是介绍爬虫学习日志1，对大家解决编程问题具有一定的参考价值，需要的程序猿们随着小编来一起学习吧！

1 爬虫基础模块 requests

requests是Python中的一款基于网络请求的模块，有简单便捷，效率极高的特点。

1.1 作用

模拟浏览器发请求

1.2 编码流程

——指定url

——发起请求

——获取相应数据

——持久化储存

1.3 实战示例

import requests
url = 'https://www.sogou.com/'#指定url
response = requests.get(url=url)#发起请求
page_text = response.text#获取响应数据
with open('./sogou.html','w',encoding='utf-8') as sg:
    sg.write(page_text)#持久化储存
print('爬取已完成')

2 request模块的安装（仅介绍pycharm）

pycharm是提供比较方便的的python编译环境，个人觉得比较好用。

进入正题，pycharm中request模块的安装

首先找到File（左上角）选项中的Setting

接着找到Project下的Python interpret

点击"+"，搜索 requests

然后点击 Install Package 就行了

这篇关于爬虫学习日志1的文章就介绍到这儿，希望我们推荐的文章对大家有所帮助，也希望大家多多支持为之网！
您可能喜欢
栏目导航