Flink Hive Dialect 窗口函数(Window Functions)完全指南:语法、Window Frame 与实战示例

原创2026-09-23 13:51:271,357 阅读
文章标签:后端大数据流处理批处理

Flink Hive Dialect 窗口函数(Window Functions)完全指南:语法、Window Frame 与实战示例

导读

本文聚焦 Flink 在 Hive Dialect 模式下对 Hive 窗口函数语法的支持实现,系统讲解 OVER 子句的完整语法、三类窗口函数(Windowing、Analytic、Aggregate)的可用范围、ROWS/RANGE 窗口帧(Window Frame)的三种格式与默认行为,并给出可直接在 SQL Client 中运行的示例。读完本文,你将能够在 Flink 中以 Hive 语法编写带 PARTITION BY、ORDER BY 与窗口帧的聚合/排序分析查询,同时清楚当前实现的边界(如 DISTINCT 与 FIRST_VALUE/LAST_VALUE 的 null 处理限制)。

背景:Hive Dialect 与窗口函数的关系

Flink 支持 default 与 hive 两种 SQL 方言,使用 Hive Dialect 时可用 Hive 语法编写 SQL,从而提升与 Hive 的互操作性(详见 Hive Dialect 概览)。窗口函数是 Hive Dialect 查询能力(DQL)的一个子集,与 Sort/Cluster/Distribute BY、GROUP BY、Join、Set Operation、Lateral View、子查询、CTE、Transform、Table Sample 等共同构成其查询语法(见 Queries 概览)。

使用 Hive Dialect 前置条件(来自 overview 文档):

  • 需添加 Hive 相关依赖(参照 Hive 依赖说明);
  • 当前 Catalog 必须是 HiveCatalog,否则回退到 default 方言;通过 SQL Gateway 的 HiveServer2 Endpoint 连接时默认即为 HiveCatalog;
  • 建议加载 HiveModule 并置于模块列表首位,以便函数解析时优先命中 Hive 内置函数;
  • Hive Dialect 只支持 2 部分标识符(不可为标识符指定 catalog);
  • Hive Dialect 主要用于批处理模式,流模式下部分 Hive 语法尚未支持。

可通过 SQL Client 的 SET table.sql-dialect = hive;、SQL Gateway(beeline 中同款 SET 命令)或 Table API 的 tableEnv.getConfig().setSqlDialect(SqlDialect.HIVE) 动态切换方言,无需重启会话。

什么是窗口函数

窗口函数是针对一组行(称为一个窗口 / window)进行的聚合计算:它会基于该组行,为每一行返回对应的聚合值。与普通 GROUP BY 聚合不同,窗口函数不会把多行折叠成一行,而是在保留每行原始行的同时附加窗口计算结果,因此在“每个分组内做排名、累计求和、移动平均”等场景下极为常用。

语法

Hive Dialect 中窗口函数完整的语法如下:

window_function OVER ( [ { PARTITION | DISTRIBUTE }  BY colName ( [, ... ] ) ]
{ ORDER | SORT } BY expression [ ASC | DESC ] [ NULLS { FIRST | LAST } ] [ , ... ]
[ window_frame ] )

语法要点:

  • PARTITION BY 与 DISTRIBUTE BY 等价,均用于将数据划分到窗口分区;可以指定一个或多个分区列;
  • ORDER BY 与 SORT BY 等价,用于在窗口内排序;每个排序表达式可独立指定 ASC | DESC 以及 NULLS FIRST | LAST,多个排序表达式用逗号分隔;
  • 排序表达式为可选项,排序表达式列表后面可以跟随可选的 window_frame。

从源码结构看,该语法由 Flink SQL 解析器基于 JavaCC 模板实现,相关解析规则定义于 Parser.jj(其中包含对 OVER、PARTITION BY、窗口帧等关键字的词法与语法规则,解析时通过 HiveParser 语义适配将 Hive 语法翻译为 Flink 内部的 SQL 节点),再交由 Flink Table Planner 生成执行计划。

参数详解

window_function:可用的窗口函数

Hive Dialect 支持以下三类窗口函数:

1. Windowing 函数(取值/偏移函数)

函数 说明
LEAD 返回窗口内当前行之后第 N 行的值(偏移量可配置)
LAG 返回窗口内当前行之前第 N 行的值(偏移量可配置)
FIRST_VALUE 返回窗口内第一行的值
LAST_VALUE 返回窗口内最后一行的值

注意(来自官方文档的 warning): 对于 FIRST_VALUE / LAST_VALUE,目前尚不支持通过参数控制“跳过 null 值”还是“尊重 null 值”,它们的行为固定为始终跳过 null 值(always skip null values)。也就是说即使显式传入 IGNORE NULLS / RESPECT NULLS 之类的控制参数,当前版本也不会生效。

2. Analytic 函数(分析/排名函数)

函数 说明
RANK 排名,相同值排名相同,后续排名会跳跃(如 1,1,3)
ROW_NUMBER 行号,从 1 开始连续编号,不并列
DENSE_RANK 密集排名,相同值排名相同,后续排名不跳跃(如 1,1,2)
CUME_DIST 累计分布,小于等于当前值的行数占总行数的比例
PERCENT_RANK 百分比排名,(rank - 1) / (总行数 - 1)
NTILE 将窗口内行尽量均匀地划分为 N 个桶,返回所在桶号

3. Aggregate 函数(聚合函数)

函数 说明
COUNT 计数
SUM 求和
MIN 最小值
MAX 最大值
AVG 平均值

window_frame:窗口帧

窗口帧(window frame)用于指定窗口计算从哪一行开始、到哪一行结束。Hive Dialect 支持以下三种格式:

(ROWS | RANGE) BETWEEN (UNBOUNDED | [num]) PRECEDING AND ([num] PRECEDING | CURRENT ROW | (UNBOUNDED | [num]) FOLLOWING)
(ROWS | RANGE) BETWEEN CURRENT ROW AND (CURRENT ROW | (UNBOUNDED | [num]) FOLLOWING)
(ROWS | RANGE) BETWEEN [num] FOLLOWING AND (UNBOUNDED | [num]) FOLLOWING

其中:

  • ROWS 表示按物理行数界定窗口边界,RANGE 表示按排序键的值范围界定窗口边界;
  • UNBOUNDED PRECEDING 表示窗口起点为分区第一行,UNBOUNDED FOLLOWING 表示窗口终点为分区最后一行;
  • [num] PRECEDING / [num] FOLLOWING 表示相对当前行的偏移行数(或值范围);
  • CURRENT ROW 表示当前行。

默认窗口帧规则(重要):

  1. 当指定了 ORDER BY、但省略 window_frame 时,窗口帧默认为 RANGE BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW(即“从分区起点到当前行”,等价于 Hive 的累计窗口语义);
  2. 当 ORDER BY 和 window_frame 都省略时,窗口帧默认为 ROWS BETWEEN UNBOUNDED PRECEDING AND UNBOUNDED FOLLOWING(即整个分区都参与计算)。

这两条默认规则意味着:是否写 ORDER BY 会显著改变窗口计算范围,实际使用时务必注意,避免得到意料之外的聚合结果。

当前限制

  • DISTINCT 暂不支持用于窗口函数内部(如 COUNT(DISTINCT b) OVER (...) 目前不可用),这是官方文档明确标注的限制;
  • FIRST_VALUE / LAST_VALUE 无法通过参数控制 null 值的跳过行为,固定跳过 null 值;
  • 窗口函数功能可用性仍受所用 Hive 版本影响,具体可参考 支持的 Hive 版本;
  • Hive Dialect 不再支持 Flink SQL 原生查询语法,如需使用 Flink 语法请切换回 default 方言(见 Queries 概览 的提示)。

实战示例

以下示例可直接在 SQL Client 中以 Hive Dialect 运行(先执行 SET table.sql-dialect = hive;,并确保当前 catalog 为 HiveCatalog)。假设存在表 t(a, b, c, d, e, f)。

1. 仅 PARTITION BY,无 ORDER BY 与窗口帧

-- 单分区列,无 ORDER BY 或窗口规格
SELECT a, COUNT(b) OVER (PARTITION BY c) FROM t;

-- 两个分区列,无 ORDER BY 或窗口规格
SELECT a, COUNT(b) OVER (PARTITION BY c, d) FROM t;

由于省略了 ORDER BY 和 window_frame,此时窗口帧默认为 ROWS BETWEEN UNBOUNDED PRECEDING AND UNBOUNDED FOLLOWING,即 COUNT(b) 计算的是整个分区内的行数,每一行得到相同的分区计数。

2. PARTITION BY + ORDER BY,无显式窗口帧

-- 两个分区列,带 ORDER BY,无窗口规格
SELECT a, SUM(b) OVER (PARTITION BY c, d ORDER BY e, f) FROM t;

这里省略了 window_frame,窗口帧默认为 RANGE BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW,SUM(b) 即为分区内从起点到当前行的累计求和(running total)。

3. PARTITION BY + ORDER BY + 显式窗口帧

-- 从分区起点到当前行(物理行)
SELECT a, SUM(b) OVER (PARTITION BY c ORDER BY d ROWS BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW)
FROM t;

-- 当前行及之前 3 行(移动平均,窗口 4 行)
SELECT a, AVG(b) OVER (PARTITION BY c ORDER BY d ROWS BETWEEN 3 PRECEDING AND CURRENT ROW)
FROM t;

-- 当前行前后各 3 行(移动平均,窗口 7 行)
SELECT a, AVG(b) OVER (PARTITION BY c ORDER BY d ROWS BETWEEN 3 PRECEDING AND 3 FOLLOWING)
FROM t;

-- 从当前行到分区末尾
SELECT a, AVG(b) OVER (PARTITION BY c ORDER BY d ROWS BETWEEN CURRENT ROW AND UNBOUNDED FOLLOWING)
FROM t;

这四个示例覆盖了窗口帧的典型组合:起点取 UNBOUNDED PRECEDING 或 [num] PRECEDING 或 CURRENT ROW,终点取 CURRENT ROW 或 [num] FOLLOWING 或 UNBOUNDED FOLLOWING,全部符合上文给出的三种窗口帧格式。

综合示例:结合排名与偏移函数

以下示例在同一查询中组合使用 RANK、ROW_NUMBER 与 LAG,展示窗口函数的实际分析能力(表结构假设为 t(name, dept, salary)):

SELECT
  name,
  dept,
  salary,
  ROW_NUMBER() OVER (PARTITION BY dept ORDER BY salary DESC) AS rn,
  RANK()       OVER (PARTITION BY dept ORDER BY salary DESC) AS rk,
  LAG(salary, 1) OVER (PARTITION BY dept ORDER BY salary DESC) AS prev_salary
FROM t;

注意:上述综合示例中涉及的函数(ROW_NUMBER、RANK、LAG)均属于 Hive Dialect 已支持的窗口函数集合,可直接运行验证。

小结

Hive Dialect 的窗口函数在语法层面与 Hive 保持一致,覆盖了取值、分析与聚合三大类共 14 个函数,并支持 ROWS/RANGE 窗口帧的三种完整格式。使用时需要特别注意两条默认窗口帧规则(有 ORDER BY 时默认 RANGE ... CURRENT ROW,无 ORDER BY 时默认全分区),以及 DISTINCT 不支持、FIRST_VALUE/LAST_VALUE 固定跳过 null 值这两个限制。结合 Hive Dialect 概览 中的方言切换方式与 Queries 概览 的完整查询语法,即可在 Flink 中无缝迁移 Hive 的窗口分析查询。

登录后查看全文
flink