1 实现UDF函数
可以更细粒度的对流进行控制
flink暴露了所有udf函数的接口,实现方式是接口或者抽象类比如MapFunction,FilterFunction,ProcessFunction等等。我们很容易在flink的算子里发现所有的算子都有两份重载的函数,①一个可以直接传入一个lamda表达式,②一个可以传入一个函数类,这里的UDF函数说的就是②说说的函数类
package com.study.liucf.unbounded.udf import com.study.liucf.bean.LiucfSensorReding import org.apache.flink.api.common.functions.FilterFunction /** * @Author liucf * @Date 2021/9/12 * 过滤以agrKey开头的数据 */ class LiucfFilterUdfFun(agrKey:String) extends FilterFunction[LiucfSensorReding]{ override def filter(value: LiucfSensorReding): Boolean = { value.id.startsWith(agrKey) } }
package com.study.liucf.unbounded.udf import com.study.liucf.bean.LiucfSensorReding import org.apache.flink.api.common.functions.FilterFunction import org.apache.flink.streaming.api.scala._ /** * @Author liucf * @Date 2021/9/12 */ object FilterUDFTest { def main(args: Array[String]): Unit = { //创建flink执行环境 val env = StreamExecutionEnvironment.getExecutionEnvironment //读取数据 val inputStream: DataStream[String] = env.readTextFile("src\\main\\resources\\sensor.txt") //转换数据类型 string 类型转换成LiucfSensorReding,求最小值 val ds = inputStream.map(r=>{ val arr = r.split(",") LiucfSensorReding(arr(0),arr(1).toLong,arr(2).toDouble) }) //.filter(d=>d.id.startsWith("sensor_1"))//① lamda表达式方式,输出以sensor_1开始的传感器的温度 //.filter(_.id.startsWith("sensor_1")) //② 匿名函数的方式,输出以sensor_1开始的传感器的温度 //.filter(new LiucfFilterUdfFun("sensor_1"))//③ UDF 函数类的方式,输出以sensor_1开始的传感器的温度 .filter(new FilterFunction[LiucfSensorReding] {//④ 匿名函数类的方式,输出以sensor_1开始的传感器的温度 override def filter(value: LiucfSensorReding): Boolean = { value.id.startsWith("sensor_1") } }) ds.print() //启动flink执行 env.execute("liucf FilterUDF test") } }
2 Rich Function
“富函数”是DataStream API提供的一个函数类的接口,所有flink函数类都有Rich Function版本,它与常规函数类的不同在于,可以获取应行时的上下文,并拥有一些生命周期方法,所以可以实现一些更复杂的功能。比如RichMapFunction,RichFlatMapFunction,RichFilterFunction。
Rich Function 有一个生命周期的概念,典型的生命周期方法有
package com.study.liucf.unbounded.udf import com.study.liucf.bean.LiucfSensorReding import org.apache.flink.api.common.functions.{FilterFunction, RichFilterFunction} import org.apache.flink.configuration.Configuration /** * @Author liucf * @Date 2021/9/12 */ /** * 普通的函数类 * @param argKey */ class LiucfFilterFunction(argKey:String) extends FilterFunction[LiucfSensorReding]{ override def filter(value: LiucfSensorReding): Boolean = { value.id.startsWith("sensor_1") } } /** * 富有函数类 * @param argKey */ class LiucfRichFilterFunction(argKey:String) extends RichFilterFunction[LiucfSensorReding]{ override def filter(value: LiucfSensorReding): Boolean = { value.id.startsWith("sensor_1") } //生命周期函数 override def open(parameters: Configuration): Unit = { setRuntimeContext(getRuntimeContext) } // 生命周期函数 override def close(): Unit = { } }