Java教程

10/11 真 网络爬虫基本教学(解析,读取文字,案例)

本文主要是介绍10/11 真 网络爬虫基本教学(解析,读取文字,案例),对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!

0.安装调用bs(BeautifulSoup)模块

   输入pip install BeautifulSoup4

(Mac电脑需要输入pip3 install BeautifulSoup4)

bs模块相当与一种网络解析器,可以把网络文件翻译成可编辑的模式

1.首先确认网络的反馈,检查相应是否成功

# 调用requests库
import requests
# 获取网页源代码,得到的res是response对象
res = requests.get('https://localprod.pandateacher.com/python-manuscript/crawler-html/spider-men5.0.html') 
# 检查请求是否正确响应
print(res.status_code)

响应码 说明 举例 表示
1xx 请求收到 100 继续
2xx 请求成功 200 成功
2xx 重定向 305 代理访问(科学上网)
2xx 客户端错误 404 找不到网页
2xx 服务器错误 503 服务器崩了
这篇关于10/11 真 网络爬虫基本教学(解析,读取文字,案例)的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!