Python网络爬虫四大选择器(正则表达式、BS4、Xpath、CSS)总结
如果你的爬虫瓶颈是下载网页,而不是抽取数据的话,那么使用较慢的方法(如BeautifulSoup) 也不成问题。如果只需抓取少量数据,并且想要避免额外依赖的话,那么正则表达式可能更加适合。
通常情况下,lxml(该模块可以实现xpath和css)是抓取数据的最好选择,这是因为该方法既快速又健壮,而正则表达式和BeautifulSoup只在某些特定场景下有用。
1、获取网页 2、解析数据 --------------------------------------------------------------------------------- import requests from lxml import etree headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.97 Safari/537.36'} r = requests.get('https://www.zhihu.com/question/68584669/answer/265070848',headers=headers) s = etree.HTML(r.text) # 获取问题内容 q_content = s.xpath('//*[@class="QuestionHeader-title"]/text()')[0] # 获取关注数和浏览量,这两个属性一样 q_number = s.xpath('//*[@class="NumberBoard-itemValue"]/text()') concern_num = q_number[0] browing_num = q_number[1] # 打印 print('问题:',q_content,'\n','关注数:',concern_num,'\n','浏览量:',browing_num) ---------------------------------------------------------------------------- 问题: 行人重识别(re-ID)与跟踪(tracking)有什么区别? 关注数: 535 浏览量: 68,555