本文主要是介绍Python爬虫,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
import re
from urllib import request
# 定义url
page=50
url='http://club.sanguosha.com/thread-1111069-1-1.html'
try:
# 定义请求头
headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.51 Safari/537.36 Edg/99.0.1150.39'}
# 定义请求,传入请求头
req=request.Request(url,headers=headers)
# 打开网页
resp=request.urlopen(req);
# 打印响应,解码
#print(resp.read().decode('utf-8'))
content=resp.read().decode('utf-8')
# 正则表达式获取需要的网页信息
# pattern=re.compile(r'<a.*>title=(.*?)\s{1}.?>(.*?)</a>')
pattern=re.compile(r'<font size=(.*?)>(.*?)</font>')
# 匹配html
items=re.findall(pattern,content)
# 打印解析内容
for i in items:
# print('标题:'+i[0]+" "+'内容'+i[1])
print(i[1])
except request.URLError as e:
# 打印响应码
if hasattr(e,'code'):
print(e.code)
# 打印异常
if hasattr(e,'reason'):
print(e.reason)
这篇关于Python爬虫的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!