Java教程

Ubuntu上用vscode搭建定时爬取百度热搜的java爬虫(jsoup)

本文主要是介绍Ubuntu上用vscode搭建定时爬取百度热搜的java爬虫(jsoup),对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!

Ubuntu上用vscode搭建自动化定时爬取百度热搜的java爬虫(jsoup)

  • 环境
  • 知识点
  • Maven创建项目(vscode中)
    • 在VScode中进行maven项目的搭建
  • Maven导入jsoup
  • java爬虫(jsoup)
  • shell编程
  • chmod权限设置
  • crontab定时任务

环境

操作系统:ubuntu20
软件:vscode
vscode环境:jsoup+Maven
vscode插件:如下图
在这里插入图片描述

知识点

  1. Maven创建项目(vscode中)
  2. Maven导入jsoup
  3. java爬虫(jsoup)
  4. shell编程
  5. chmod权限设置
  6. crontab定时任务

Maven创建项目(vscode中)

maven的下载安装配置讲解请参照我的这篇文章
Ubuntu20上使用VScode配置maven

在VScode中进行maven项目的搭建

按ctrl+shift+p打开命令输入maven
在这里插入图片描述
普通项目选快速创建就可以
在这里插入图片描述
后面和命令行里是一样的
完成后应该是这样的
在这里插入图片描述

Maven导入jsoup

maven在vscode上创建好项目目录之后就要对jsoup进行相关的配置
找到pom.xml
在这里插入图片描述
然后打开jsoup官网
官网如下:
https://jsoup.org/
选择download
在这里插入图片描述复制下面这段配置的xml
在这里插入图片描述然后粘贴到这个位置进行配置
在这里插入图片描述jsoup配置完成!

java爬虫(jsoup)

jsoup要是没学建议学一下不然你也看不懂
然后就到java爬取百度热搜的地方了
百度热搜网址:https://top.baidu.com/board?tab=realtime
在com.example包下创建demo2.java编写代码

package com.example;

import java.io.File;
import java.io.FileWriter;
import java.io.IOException;
import java.net.MalformedURLException;
import java.net.URL;

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.select.Elements;

public class demo2 {
    public static void main(String[] args) throws MalformedURLException, IOException {
        String url = "https://top.baidu.com/board?tab=realtime";
        Document document = Jsoup.parse(new URL(url), 30000);
        Elements elements = document.getElementsByTag("div");
        Elements elements2 = elements.select(".c-single-text-ellipsis");
        String titles = elements2.text();
        //替换空格为换行
        String needs = titles.replace(" ", "\n");
        //保存
        File file = new File("/home/XXX/Java_learn/JsoupMessage/weibo.txt");
        FileWriter fw = new FileWriter(file);
        fw.write(needs);
        fw.close();
        System.out.println("success");
    }
    
}

放心你直接复制我的代码绝对是错的,自己把路径改改吧

运行一下看看
在这里插入图片描述
这里一定要选择run java
run code是没用的
在这里插入图片描述
在这里插入图片描述
成功

shell编程

完成上面的就可以开始shell脚本的编写了

cd shellproject/
vim weibojsoup.sh

在这里插入图片描述

chmod权限设置

编写好shell脚本之后还要进行添加执行权限

chmod a=rwx weibojsoup.sh

然后执行

sh weibojsoup.sh

执行之后有这两个,一个文件,一个文件夹存放之前的爬取文件
在这里插入图片描述

crontab定时任务

crontab -e

一开始如果你之前没有编写过定时任务的话会让你选择编辑器
选择2
1是真的不好用!
如果选错了可以用

select-editor

来重新选择
然后就可以编写了
编写规则:
在这里插入图片描述
在这里插入图片描述
我设置了每天0:0:0进行定时爬取,后面的路径是你的shell脚本的路径
在这里插入图片描述
结束!

这篇关于Ubuntu上用vscode搭建定时爬取百度热搜的java爬虫(jsoup)的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!