Java比较常用的发起请求的工具,功能有:
public static void main(String[] args) throws Exception { CloseableHttpClient httpClient = HttpClients.createDefault(); URIBuilder uriBuilder = new URIBuilder("https://mp.weixin.qq.com/cgi-bin/bizlogin"); HttpPost httpPost = new HttpPost(uriBuilder.build()); httpPost.addHeader("User-Agent","Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.102 Safari/537.36"); List<NameValuePair> params = new ArrayList<>(); params.add(new BasicNameValuePair("action","startlogin")); UrlEncodedFormEntity formEntity = new UrlEncodedFormEntity(params,"utf8"); httpPost.setEntity(formEntity); CloseableHttpResponse response = null; try { response = httpClient.execute(httpPost); if(response.getStatusLine().getStatusCode() == 200){ String content = EntityUtils.toString(response.getEntity(),"utf8"); System.out.println(content); } }catch (IOException e){ e.printStackTrace(); }finally { try { response.close(); } catch (IOException e) { e.printStackTrace(); } try { httpClient.close(); } catch (IOException e) { e.printStackTrace(); } } }
以上是post请求的代码模板,get等其他请求也差不太多,将HttpPost换成HttpGet就行了
一个html解析工具,可以在后台很方便的像jquery一样以标签、类、属性选择器的方式,获取指定的html标签下的文本内容。
一般爬取的接口是搜狗微信、或者是微信公众平台,这里使用的是微信公众平台
动机:因为cookie过三天就会过期,每次都需要人工重新登录,想试试可不可以自动登录
想法:filder抓取账号密码登录接口,cookie过期就使用账号密码重新登录一下,填充新的cookie
抓取到登录接口是这个:https://mp.weixin.qq.com/cgi-bin/bizlogin?action=startlogin&username=sdf&pwd=1234&imgcode&token
编写代码尝试登录,发现还是会跳转到扫码登录,也就是说扫码登录是绕不开的。
因此看了一下扫码登录的流程,和OAuth2授权过程很像。其中必须要用到手机端进行扫码,因此无法实现完全自动化。