Java教程

Flink基础（63）：FLINK SQL(40) 窗口函数（4）会话窗口

本文主要是介绍Flink基础（63）：FLINK SQL(40) 窗口函数（4）会话窗口，对大家解决编程问题具有一定的参考价值，需要的程序猿们随着小编来一起学习吧！

本文为您介绍如何使用实时计算Flink版会话窗口函数。

什么是会话窗口

会话窗口（SESSION）通过SESSION活动来对元素进行分组。会话窗口与滚动窗口和滑动窗口相比，没有窗口重叠，没有固定窗口大小。相反，当它在一个固定的时间周期内不再收到元素，即会话断开时，该窗口就会关闭。

会话窗口通过一个间隔时间（Gap）来配置，这个间隔定义了非活跃周期的长度。例如，一个表示鼠标单击活动的数据流可能具有长时间的空闲时间，并在两段空闲之间散布着高浓度的单击。如果数据在指定的间隔（Gap）之后到达，则会开始一个新的窗口。

会话窗口示例如下图，每个Key由于不同的数据分布，形成了不同的Window。

会话窗口函数语法

SESSION函数用于在GROUP BY子句中定义会话窗口。   
SESSION(<time-attr>, <gap-interval>)
<gap-interval>: INTERVAL 'string' timeUnit
  说明 <time-attr> 参数必须是数据流中的一个合法的时间属性字段，指定为Processing Time或Event Time，详情请参见 概述，了解如何定义 时间属性和 Watermark。

会话窗口标识函数

使用标识函数选出窗口的起始时间或者结束时间，窗口的时间属性用于下级Window的聚合。

 
窗口标识函数返回类型描述
SESSION_START（<time-attr>, <gap-interval>） Timestamp 返回窗口的起始时间（包含边界）。例如[00:10,00:15)的窗口，返回00:10，即为此会话窗口内第一条记录的时间。
SESSION_END（<time-attr>, <gap-interval>） Timestamp 返回窗口的结束时间（包含边界）。例如[00:00,00:15)的窗口，返回 00:15，即为此会话窗口内最后一条记录的时间+<gap-interval>。
SESSION_ROWTIME（<time-attr>, <gap-interval>） Timestamp（rowtime-attr） 返回窗口的结束时间（不包含边界）。例如[00:00,00:15)的窗口，返回00:14:59.999 。返回值是一个rowtime attribute，也就是可以基于该字段进行时间类型的操作，如级联窗口。该参数只能用于基于Event Time的Window。
SESSION_PROCTIME（<time-attr>, <gap-interval>） Timestamp（rowtime-attr） 返回窗口的结束时间（不包含边界）。例如[00:00,00:15)的窗口，返回 00:14:59.999 。返回值是一个Proctime Attribute，也就是可以基于该字段进行时间类型的操作，如级联窗口。该参数只能用于基于Processing Time的Window。

示例

统计每个用户在每个活跃会话期间的单击次数，会话超时时长为30秒。

  • 测试数据
     
    username （VARCHAR）click_url （VARCHAR）ts （TIMESTAMP）
    Jark http://taobao.com/xxx 2017-10-10 10:00:00.0
    Jark http://taobao.com/xxx 2017-10-10 10:00:10.0
    Jark http://taobao.com/xxx 2017-10-10 10:00:49.0
    Jark http://taobao.com/xxx 2017-10-10 10:01:05.0
    Jark http://taobao.com/xxx 2017-10-10 10:01:58.0
    Timo http://taobao.com/xxx 2017-10-10 10:02:10.0
  • 测试语句
CREATE TABLE user_clicks(
username varchar,
click_url varchar,
ts timeStamp,
WATERMARK wk FOR ts as withOffset(ts, 2000) -- 为rowtime定义watermark
) with (
type='datahub',
...
);

CREATE TABLE session_output(
window_start TIMESTAMP,
window_end TIMESTAMP,
username VARCHAR,
clicks BIGINT
) with (
type='rds'，
...
);

INSERT INTO session_output
SELECT
SESSION_START(ts, INTERVAL '30' SECOND),
SESSION_END(ts, INTERVAL '30' SECOND),
username,
COUNT(click_url)
FROM user_clicks
GROUP BY SESSION(ts, INTERVAL '30' SECOND), username;
  • 测试结果
     
    window_start （TIMESTAMP）window_end （TIMESTAMP）username （VARCHAR）clicks （BIGINT）
    2017-10-10 10:00:00.0 2017-10-10 10:00:40.0 Jark 2
    2017-10-10 10:00:49.0 2017-10-10 10:01:35.0 Jark 2
    2017-10-10 10:01:58.0 2017-10-10 10:02:28.0 Jark 1
    2017-10-10 10:02:10.0 2017-10-10 10:02:40.0 Timo 1

 

这篇关于Flink基础（63）：FLINK SQL(40) 窗口函数（4）会话窗口的文章就介绍到这儿，希望我们推荐的文章对大家有所帮助，也希望大家多多支持为之网！
您可能喜欢
栏目导航