这里我们用xpath爬取猪八戒网的信息
https://chongqing.zbj.com/search/f/?kw=python
首先我们打开猪八戒网,随便搜索一个服务,得到下面界面
然后我们对网页进行分析,我们先打开网页源代码,观察我们所要爬取的内容是否存在于网页源代码内
可以看出我们需要的内容就存在于网页源代码内,这时候我们需要分析网页的层级结构。
这是我们需要提取内容的所有供应商:
通过以下方法就可以获得所有供应商的层级关系,后面获取具体内容的层级关系也是依次类推
好了,我们上代码:
# @Time:2021/11/2412:42 # @Author:中意灬 # @File:八戒网.py # @ps:tutu qqnum:2117472285 #拿到网页源代码 #解析并获取数据 #保存数据 import csv import requests from lxml import etree url="https://chongqing.zbj.com/search/f/?kw=python" resp=requests.get(url) html=resp.text tree=etree.HTML(html)#将网页源代码生成一个etree的对象 divs=tree.xpath("/html/body/div[6]/div/div/div[2]/div[5]/div[1]/div")#拿到所有的供应商 with open("猪八戒网.csv",'w',encoding='utf-8',newline='') as f:#创建一个文件,转码为utf-8 writer=csv.writer(f) writer.writerow(["名称","价格","供应商","交易记录","地点"]) for div in divs:#每一天个供应商 #./表示当前节点,运用了相对查询 price=div.xpath("./div/div/a[2]/div[2]/div[1]/span[1]/text()")[0].strip("¥")#提取价格 transactionrecord=div.xpath("./div/div/a[2]/div[2]/div[1]/span[2]/text()")[0]#提取交易记录 title="python".join(div.xpath("./div/div/a[2]/div[2]/div[2]/p/text()"))#提取名称 contractor="".join(div.xpath("./div/div/a[1]/div[1]/p/text()")).strip("\n")#提取供应商 place=div.xpath("./div/div/a[1]/div[1]/div/span/text()")[0]#提取地点 writer.writerow([title,price,contractor,transactionrecord,place])#存入数据 print("over!")
运行结果: