鱿鱼游戏是什么,相信大家都不陌生了,虽然说博主没看过这部剧,但是还是对豆瓣的评论有点好奇,刚刚好近期学习了selenium,就当练练手了,来吧来吧,爬爬爬。
还是老样子,兄弟们先打开我们最喜欢的google浏览器,点击F12,开启爬虫快乐模式
来到页面,如下图步骤,逐个点击
然后我们就发现这个页面确实很简单,每一条评论就是包在了class为short的span标签内,那就可以开始写xpath了,如下图
这样一页的评论就拿到了,接下来就是换页了
有一个小技巧,不需要我们自己写xpath,直接用google浏览器可以生成xpath,如下图所示
点击这个Copy path这样就拿到了按钮的xpath的内容,然后实现点击页面就可以了,好了就这样分析完了,接下来开始写代码了。
# 待打开的页面 url = 'https://movie.douban.com/subject/34812928/comments?limit=20&status=P&sort=new_score' # 躲避智能检测 option = webdriver.ChromeOptions() # option.headless = True option.add_experimental_option('excludeSwitches', ['enable-automation']) option.add_experimental_option('useAutomationExtension', False) driver = webdriver.Chrome(options=option) driver.execute_cdp_cmd('Page.addScriptToEvaluateOnNewDocument', {'source': 'Object.defineProperty(navigator, "webdriver", {get: () => undefined})' }) #打开页面 driver.get(url)
这里获取评论的xpath语句
//span[@class="short"]
获取评论代码
options = driver.find_elements(By.XPATH, '//span[@class="short"]') for i in options: text=text+i.text
下一页的按钮xpath
//*[@id="paginator"]/a
跳转按钮点击代码
nextpage = driver.find_element(By.XPATH, '//*[@id="paginator"]/a') nextpage.click()
词云生成工具类
# -*- codeing = utf-8 -*- # @Time : 2021/10/9 20:54 # @Author : xiaow # @File : wordcloudutil.py # @Software : PyCharm from wordcloud import WordCloud import PIL.Image as image import numpy as np import jieba def trans_CN(text): # 接收分词的字符串 word_list = jieba.cut(text) # 分词后在单独个体之间加上空格 result = " ".join(word_list) return result def getWordCloud(text): # print(text) text = trans_CN(text) # 词云背景图 mask = np.array(image.open("E://file//pics//mask3.jpg")) wordcloud = WordCloud( mask=mask, # 字体样式文件 font_path="C:\Windows\Fonts\STXINGKA.TTF", background_color='white' ).generate(text) image_produce = wordcloud.to_image() image_produce.show()
评论获取代码
# -*- codeing = utf-8 -*- # @Time : 2021/6/27 22:29 # @Author : xiaow # @File : test.py # @Software : PyCharm import time from selenium import webdriver from selenium.webdriver.common.by import By from api import wordcloudutil if __name__ == '__main__': url = 'https://movie.douban.com/subject/34812928/comments?limit=20&status=P&sort=new_score' # 躲避智能检测 option = webdriver.ChromeOptions() # option.headless = True option.add_experimental_option('excludeSwitches', ['enable-automation']) option.add_experimental_option('useAutomationExtension', False) driver = webdriver.Chrome(options=option) driver.execute_cdp_cmd('Page.addScriptToEvaluateOnNewDocument', {'source': 'Object.defineProperty(navigator, "webdriver", {get: () => undefined})' }) driver.get(url) text='' # 获取所有的选项元素 j=0 while 1: # 定位到新跳转的页面 time.sleep(1) driver.switch_to.window(driver.window_handles[0]) options = driver.find_elements(By.XPATH, '//span[@class="short"]') for i in options: text=text+i.text time.sleep(2) nextpage = driver.find_element(By.XPATH, '//*[@id="paginator"]/a') nextpage.click() j=j+1 if j>10: break print(text) wordcloudutil.getWordCloud(text)
最后爬取的评论生成了词云图,如下图所示
就这样就结束了,还是很简单的
下面推荐下自己的专栏,关于爬虫的基础内容,适合新手练练手
❤️爬虫专栏,快来点我呀❤️
python爬取网易云评论 超简单教程
学会这个,全网视频任你爬取,一分钟学会you-get
敲代码累了怎么办,快用python爬小姐姐视频吧
聊天没有表情包被嘲讽,程序员直接用python爬取了十万张表情包
两行代码爬取微博热搜,并实现邮件提醒功能,妈妈再也不用担心我吃不到瓜了 爬虫基础
python爬取4k小姐姐图片 人生苦短 我用python
python爬b站视频 人生苦短 我用python
Python爬取美女图片 爬虫基础
有缘再写,侵权立删