Java教程

爬虫基础-xpath模块

本文主要是介绍爬虫基础-xpath模块，对大家解决编程问题具有一定的参考价值，需要的程序猿们随着小编来一起学习吧！

xpath介绍：

  • xpath 是在XML文档中搜索内容的一门语言
    • html是XML的一个子集
  • 导入模块：from lxml import etree
  • 生成xpath解析对象：xxx = etree.HTML(需要解析的对象)
  • 获取层级关系节点：xxx.xpath("")
  • 获取节点内的内容：在结尾加上 /text()

xpath检索：

  • 选取此节点的所有子节点：nodename
  • 表示一个层级，从根节点开始定位：/
  • 表示多个层级，从任意位置开始定位：//
  • 通配符，选择所有元素节点与元素名：*
  • 选取当前节点：.
  • 选取当前节点的父节点：...
  • 选取属性：@
    • 例如：提取img标签中的src属性@src
  • 索引提取，下标从1开始[x]
  • 提取属性xxx为yyy的所有元素：[@xxx='yyy']
    • 例如：选取id=666的所有元素[@id=666]
  • 提取属性为xxx所有的元素：[@xxx]
    • 例如：选取id的所有元素[@id]

实例：

# xpath练习 -- 爬取猪八戒网
import requests
from lxml import etree
url = "https://shangqiu.zbj.com/search/f/?kw=saas"
res = requests.get(url)
# html解析
html = etree.HTML(res.text)
divs = html.xpath("/html/body/div[6]/div/div/div[2]/div[5]/div[1]/div")
for div in divs:
    title = div.xpath("./div/div/a[1]/div[1]/p/text()")[-1].strip("\n")
    price = div.xpath("./div/div/a[2]/div[2]/div[1]/span[1]/text()")[0].strip("¥")
    print("商家名称：", title, " -> 价格：", price)
这篇关于爬虫基础-xpath模块的文章就介绍到这儿，希望我们推荐的文章对大家有所帮助，也希望大家多多支持为之网！
您可能喜欢
栏目导航