本文为您介绍Flink SQL支持的窗口函数以及窗口函数支持的时间属性和窗口类型。
窗口函数Flink SQL支持基于无限大窗口的聚合(无需在SQL Query中,显式定义任何窗口)以及对一个特定的窗口的聚合。例如,需要统计在过去的1分钟内有多少用户点击了某个的网页,可以通过定义一个窗口来收集最近1分钟内的数据,并对这个窗口内的数据进行计算。
Flink SQL支持的窗口聚合主要是两种:Window聚合和Over聚合。本文档主要为您介绍Window聚合。Window聚合支持Event Time和Processing Time两种时间属性定义窗口。每种时间属性类型支持三种窗口类型:滚动窗口(TUMBLE)、滑动窗口(HOP)和会话窗口(SESSION)。
Rowtime列在经过窗口操作后,其Event Time属性将丢失。您可以使用辅助函数TUMBLE_ROWTIME
、HOP_ROWTIME
或SESSION_ROWTIME
,获取窗口中的Rowtime列的最大值max(rowtime)
作为时间窗口的Rowtime,其类型是具有Rowtime属性的TIMESTAMP,取值为 window_end - 1
。 例如[00:00, 00:15)
的窗口,返回值为00:14:59.999
。
CREATE TABLE user_clicks( username varchar, click_url varchar, ts timeStamp, WATERMARK wk FOR ts as withOffset(ts, 2000) --为Rowtime定义Watermark。 ) with ( type='datahub', ... ); CREATE TABLE tumble_output( window_start TIMESTAMP, window_end TIMESTAMP, username VARCHAR, clicks BIGINT ) with ( type='print' ); CREATE VIEW one_minute_window_output as SELECT // 使用TUMBLE_ROWTIME作为二级Window的聚合时间。 TUMBLE_ROWTIME(ts, INTERVAL '1' MINUTE) as rowtime, username, COUNT(click_url) as cnt FROM user_clicks GROUP BY TUMBLE(ts, INTERVAL '1' MINUTE), username; INSERT INTO tumble_output SELECT TUMBLE_START(rowtime, INTERVAL '1' HOUR), TUMBLE_END(rowtime, INTERVAL '1' HOUR), username, SUM(cnt) FROM one_minute_window_output GROUP BY TUMBLE(rowtime, INTERVAL '1' HOUR), username;