马上到月饼节了,又到了吃月饼的日子了,python帮你挑选最爱的月饼口味
目标网址: 某宝
开发工具:pycharm
开发环境:python3.7, Windows10
使用工具包:requests,lxml
淘宝网站是需要登录获取,登录的方式可以尝试解析淘宝的接口,白又白这里直接用cookie请求头的方式实现状态保持,登录之后获取(但是最近淘宝好像是不需要登录了,小伙伴可以自己尝试下)
找到你需要搜索的关键字,马上要中秋节了(白又白这里搜索的是月饼)
淘宝的页数是由url进行渲染的,通过url来获取商品的页数
url可以做简化处理
简化之前 https://s.taobao.com/search?q=%E6%9C%88%E9%A5%BC&imgfile=&js=1&stats_click=search_radio_all%3A1&initiative_id=staobaoz_20210829&ie=utf8&bcoffset=3&ntoffset=3&p4ppushleft=2%2C48&s=44 简化之后 https://s.taobao.com/search?q={}&s={}
q为搜索的关键字,s为你要获取的页数
通过requests工具发送网络请求
获取网页数据
key = "月饼" for i in range(1, 4): url = 'https://s.taobao.com/search?q={}&s={}'.format(key, str(i*44)) get_data(url)
获取的数据为HTML数据可以通过xpath方式,正则,pyquery,bs4的方式进行数据提取挑选合适自己的,习惯使用的
通过正则方式提取数据
淘宝的数据是存在json数据里的提取下来之后可以通过字典取值的方式获取
提取的数据:
data = re.findall('"auctions":(.*?),"recommendAuctions', response.text)[0] for info in json.loads(data): item = {} item['网址'] = info['detail_url'] item['标题'] = info['raw_title'] item['图片地址'] = info['pic_url'] item['价格'] = info['view_price'] item['地点'] = info['item_loc'] item['购买人数'] = info.get('view_sales') item['评论数'] = info['comment_count'] item['店铺'] = info['nick']
最终保存数据,数据保存在csv表格
def save_data(data): f = open('月饼.csv', "a", newline="", encoding='utf-8') csv_writer = csv.DictWriter(f, fieldnames=['标题', '价格', '购买人数', '地点', '网址', '图片地址', '评论数', '店铺']) csv_writer.writerow(data)
headers = { 'referer': 'https://s.taobao.com/', 'cookie': '', 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.131 Safari/537.36', } def save_data(data): f = open('月饼.csv', "a", newline="", encoding='utf-8') csv_writer = csv.DictWriter(f, fieldnames=['标题', '价格', '购买人数', '地点', '网址', '图片地址', '评论数', '店铺']) csv_writer.writerow(data) def get_data(url): response = requests.get(url, headers=headers) print(response.text) data = re.findall('"auctions":(.*?),"recommendAuctions', response.text)[0] for info in json.loads(data): item = {} item['网址'] = info['detail_url'] item['标题'] = info['raw_title'] item['图片地址'] = info['pic_url'] item['价格'] = info['view_price'] item['地点'] = info['item_loc'] item['购买人数'] = info.get('view_sales') item['评论数'] = info['comment_count'] item['店铺'] = info['nick'] print(item) save_data(item) if __name__ == '__main__': file = open('月饼.csv', "w", encoding="utf-8-sig", newline='') csv_head = csv.writer(file) # 表头 header = ['标题', '价格', '购买人数', '地点', '网址', '图片地址', '评论数', '店铺'] csv_head.writerow(header) key = "月饼" for i in range(1, 4): url = 'https://s.taobao.com/search?q={}&s={}'.format(key, str(i*44)) get_data(url) time.sleep(5)
适合送啥就不用多说了吧!
需要完整代码,教程的
①兼职交流,行业咨询、大佬在线专业解答
②Python开发环境安装教程
③Python400集自学视频
④软件开发常用词汇
⑤Python学习路线图
⑥3000多本Python电子书
如果你用得到的话可以直接拿走,点击领取。不方便点链接的加群:948351247