Java教程

Flink客户端操作

本文主要是介绍Flink客户端操作,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!

 Flink 命令行


   Flink环境搭建前面已经讲过,可回顾Flink环境搭建,令人惊愕的HA   环境搭建。

Flink 的命令行参数很多,输入 flink - h 能看到完整的说明:

flink-1.7.2 bin/flink -h

     如果想看某一个命令的参数,比如 Run 命令,输入:

flink-1.7.2 bin/flink run -h

1.启动命令

在bin目录下执行./start-cluster.sh

图片

访问http://192.168.244.129:8081/

图片

2.运行示例程序

1)运行示例程序,不传参数

./flink run  ../examples/streaming/WordCount.jar

2)运行示例程序, 带输出文件参数:

./flink run   ../examples/streaming/WordCount.jar --output file:///home/flink/flink_out_result.txt

查看输出结果

图片

3)行示例程序,带输入和输出文件参数:

./flink run   ../examples/streaming/WordCount.jar  --input file:///home/flink/flink/flink_word.txt   --output file:///home/flink/flink_out_result.txt

查看输出结果

图片

4)运行示例程序,带输入和输出文件参数,并设置2个并发度:

./flink run  -p 2  ../examples/streaming/WordCount.jar  --input file:///home/flink/flink/flink_word.txt   --output file:///home/flink/flink_out_result.txt

查看输出结果和上面一样,注意并行度和cpu核数要对应。

5)运行示例程序,指定程序入口类(Main方法所在类):

./flink run  -c org.apache.flink.streaming.examples.wordcount ../examples/streaming/WordCount.jar  --input file:///home/flink/flink/flink_word.txt   --output file:///home/flink/flink_out_result.txt

6)运行示例程序

-d  以独立(detached)模式运行示例程序 run -d

-m 在指定JobManager上运行示例程序 run -m Host:6123

二、调度查看命令

1)列出已经调度的和正在运行的Job(包含Job ID信息)

./flink list

2) 列出已经调度的Job(包含Job ID信息)

./flink list -s

3) 列出正在运行的Job(包含Job ID信息)

./flink list -r

4) 列出在Flink YARN中运行Job

./flink list -m yarn-cluster -yid <yarnApplicationID> -r

5) 取消一个Job

./flink cancel <jobID>

6) 取消一个带有保存点(savepoint)的Job

./flink cancel -s [targetDirectory] <jobID>

7) 停止一个Job(只适用于流计算Job)

./flink stop <jobID>

三、保存点

1)触发保存点:

./flink savepoint <jobID> [savepointDirectory]

返回创建的保存点的路径。你需要此路径来还原和处理保存点。

触发保存点时,可以选择是否指定savepointDirectory。如果在此处未指定,则需要为Flink安装配置默认的保存点目录(请参阅保存点)。

2)根据保存点取消Job

你可以自动触发保存点并取消一个Job:

./flink cancel -s  [savepointDirectory] <jobID>

如果没有指定保存点目录,则需要为Flink安装配置默认的保存点目录(请参阅保存点)。如果保存点触发成功,该作业将被取消

3)恢复保存点

./flink run -s <savepointPath> ...

这个run命令提交Job时带有一个保存点标记,这使得程序可以从保存点中恢复状态。保存点路径是通过保存点触发命令得到的。

默认情况下,我们尝试将所有保存点状态与正在提交的作业相匹配。如果要允许跳过那些无法使用它恢复新作业的保存点状态 ,则可以设置allowNonRestoredState标志。如果当保存点触发时,从你程序中删除了作为程序一部分的operator,但是仍然要使用保存点,则需要允许这一点 

./bin/flink run -s <savepointPath> -n ...

如果你的程序删除了作为保存点一部分的operator,这时会非常有用 。

2.4 销毁保存点

./bin/flink savepoint -d <savepointPath>

销毁一个保存点同样需要一个路径。这个保存点路径是通过保存点触发命令得到的。

3.停止命令

在bin目录下执行./stop-cluster.sh 

如果觉得文章能帮到您,欢迎关注微信公众号:“蓝天Java大数据” ,共同进步! 

 

这篇关于Flink客户端操作的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!