初学python爬虫,本想试一下使用requests模拟登录学校的学生平台,结果验证码的问题解决不了,只能转而采用webdriver自动登录的方法。
第三方验证码识别平台:超级鹰
模拟登录的思路很简单:requests模块爬取网页信息,获得验证码图片,再使用第三方平台解析验证码,post请求发送信息实现登录。
import requests from chaojiying import Chaojiying_Client import re def getCodeText(imgPath,codeType): #使用第三方平台进行验证码解析 chaojiying = Chaojiying_Client('用户名', '密码', 'id') im = open(imgPath, 'rb').read() return (chaojiying.PostPic(im, codeType)) url = 'http://jwk.lzu.edu.cn/academic/common/security/login.jsp' headers = { 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.82 Safari/537.36 Edg/89.0.774.50' } page_text = requests.get(url=url,headers=headers).content print(page_text) picture_src = 'http://jwk.lzu.edu.cn' + re.findall('<img name="jcaptcha"[\s\S]*?src="([\s\S]*?.do).*?"[\s\S]*?>', page_text)[0] print(picture_src) picture = requests.get(url=picture_src, headers=headers).content with open('./code.jpg','wb') as fp: fp.write(picture) codeText = getCodeText('code.png', 1902)['pic_str'] login_url = 'http://jwk.lzu.edu.cn/academic/j_acegi_security_check' data = { 'j_username' : '账号', 'j_password' : '密码', 'j_captcha' : codeText } print(data) login_page_text = requests.post(url=login_url, headers=headers,data=data).text
但由于从此地址: http://jwk.lzu.edu.cn/academic/getCaptcha.do 得到的验证码是动态变化的,就导致解析出的验证码与实际不符,无法登录。
经一番研究后,我选择使用webDriver进行网页自动登录:
首先是selenium的下载,直接再cmd中 pip install selenium 就可以。
之后是webDriver的下载,对应不同浏览器下载的webDriver文件不同,对同一浏览器不同版本的webDriver文件也不相同,这里放一个链接http://npm.taobao.org/mirrors/chromedriver/,可在此下载不同版本的webDriver。笔者使用的时Chrome,直接输入chrome://version就可以查看浏览器版本
下载chromedriver后,将chromedriver分别放入py.exe和Chrome所在的同一目录下:
然后进入配置环境变量,在Path中输入chromedriver的环境变量 C:\Users\username\AppData\Local\Google\Chrome\Application\ (以我为例)
之后在cmd中输入chromeDriver如果正常运行说明安装成功:
这里的一个坑就是chromedriver.exe不仅要和chrome放在同一个文件夹下,同时也要和py.exe放在同一个文件夹下,不然PyCharm中无法调用webDriver。
之后便是使用webDriver进行自动登录的操作:
from selenium import webdriver from chaojiying import Chaojiying_Client import os url = 'http://jwk.lzu.edu.cn/academic/common/security/login.jsp' def getCodeText(imgPath,codeType): chaojiying = Chaojiying_Client('用户名', '密码', 'id') im = open(imgPath, 'rb').read() return (chaojiying.PostPic(im, codeType)) b = webdriver.Chrome() b.get(url) #打开网站 b.find_element_by_name('jcaptcha').screenshot("code.png") #调用第三方获取验证码 codeText = getCodeText('code.png', 1902)['pic_str'] #得到验证码 os.remove('./code.png') b.find_element_by_class_name('userText').send_keys('用户名') # 定位,填入用户名 b.find_element_by_class_name('passworldText').send_keys('密码') # 填入密码 b.find_element_by_class_name('codeText').send_keys(codeText) #输入验证码(弹性) b.find_element_by_name('button1').click() #至此完成登录,之后为登录后的操作 # switch_to.window(b.window_handles[0]) 由于只打开了一个窗口所以这句不需要 iframe = b.find_element_by_xpath('/html/body/iframe') b.switch_to.frame(iframe) frame = b.find_element_by_xpath('//*[@id="menuFrame"]') b.switch_to.frame(frame) b.find_element_by_xpath('//*[@id="li18"]/a').click() # print('当前浏览地址为:.{0}'.format(b.current_url))
值得一提的是,由于笔者所在学校的网页中使用了frame,导致在登录后不能直接定位到相应的标签,需要使用 .switch_to.frame()进行frame的定位,之后才可以正常定位到frame内部的标签中,需要针对业内的iframe 和 frame进行再定位,frameset可以不用管。
至此完成网站的自动登录,第一次写博客,如有错误和纰漏请指出。