C/C++教程

Flink-富函数(Rich Functions)

本文主要是介绍Flink-富函数(Rich Functions),对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!

4.富函数(Rich Functions)

4.1 函数类(Function Classes)

Flink 暴露了所有 udf 函数的接口(实现方式为接口或者抽象类)。例如MapFunction, FilterFunction, ProcessFunction 等等。 下面例子实现了 FilterFunction 接口:
class FilterFilter extends FilterFunction[String] {
    override def filter(value: String): Boolean = {
        value.contains("flink")
    }
}
val flinkTweets = tweets.filter(new FlinkFilter)
  还可以将函数实现成匿名类
val flinkTweets = tweets.filter(
    new RichFilterFunction[String] {
        override def filter(value: String): Boolean = {
            value.contains("flink")
        }
    }
)
  我们 filter 的字符串"flink"还可以当作参数传进去。
class MyFilter(keyWord: String) extends FilterFunction[SensorReading]{
    override def filter(value: SensorReading): Boolean = {
      value.id.contains(keyWord)
    }
  }
 
val dataStream: DataStream[SensorReading] = inputStream
.map(
   data => {
     val arr = data.split(",")
     SensorReading(arr(0), arr(1).toLong, arr(2).toDouble)
   }
)
   

4.2 匿名函数(Lambda Functions)

val tweets: DataStream[String] = ...
val flinkTweets = tweets.filter(_.contains("flink"))
 

4.3 富函数(Rich Functions)

“富函数”是 DataStream API 提供的一个函数类的接口,所有 Flink 函数类都有其 Rich 版本。它与常规函数的不同在于,可以获取运行环境的上下文,并拥有一些生命周期方法,所以可以实现更复杂的功能。
  •  RichMapFunction
  •  RichFlatMapFunction
  •  RichFilterFunction
  •  ...
Rich Function 有一个生命周期的概念。典型的生命周期方法有:
  • open()方法是 rich function 的初始化方法,当一个算子例如 map 或者 filter被调用之前 open()会被调用。
  • close()方法是生命周期中的最后一个调用的方法,做一些清理工作。
  • getRuntimeContext()方法提供了函数的 RuntimeContext 的一些信息,例如函数执行的并行度,任务的名字,以及 state 状态
// 富函数,可以获取到运行时上下文,还有一些生命周期
  class MyRichMap extends RichMapFunction[SensorReading, String]{

    override def open(parameters: Configuration): Unit = {
      //做一些初始化操作。比如map方法需要交互数据库,数据库连接可以在open里边做
      //getRuntimeContext()
    }

    override def map(value: SensorReading): String = {
      value.id + " temperature"
    }

    override def close(): Unit = {
      //map调用完之后。一般做收尾工作,比如关闭连接,或者清空状态
    }
  }

 

这篇关于Flink-富函数(Rich Functions)的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!