Flink是Apache基金会下的一个顶级项目,其是一个有状态计算的框架;既能处理无边界的数据流,也能处理有边界的数据流;同时Flink提供不同层次的API,从而满足不同的大数据业务处理场景。
那什么是流,任何类型的数据都可以形成一种事件流,比如,信用卡交易、传感器测量、机器日志、网站或移动应用程序上的用户交互记录,所有这些数据都形成一种流。
那么什么是有边界,什么是无边界;官方网站给了一张图和解释:
无界流
有定义流的开始,但没有定义流的结束。它们会无休止地产生数据。无界流的数据必须持续处理,即数据被摄取后需要立刻处理。我们不能等到所有数据都到达再处理,因为输入是无限的,在任何时候输入都不会完成。处理无界数据通常要求以特定顺序摄取事件,例如事件发生的顺序,以便能够推断结果的完整性。
有界流
有定义流的开始,也有定义流的结束。有界流可以在摄取所有数据后再进行计算。有界流所有数据可以被排序,所以并不需要有序摄取。有界流处理通常被称为批处理
Flink的官方代码地址: https://github.com/apache/flink/releases, 目前其在github上有17800 颗点赞!
其版本演化历史如下:
下面是其一个基本的应用架构例子。
Flink整个组件的层级如下:
下图是其与当前业界大数据主流流式计算框架的比较
https://www.ververica.com/blog/blink-flink-alibaba-search
https://engineering.zalando.com/posts/2016/03/apache-showdown-flink-vs.-spark.html
https://github.com/apache/flink
https://flink.apache.org/usecases.html
https://flink.apache.org/flink-architecture.html