Apache Flink 编程模型概念透析:从有状态流处理到 SQL 的四层 API 抽象
Apache Flink 编程模型概念透析:从有状态流处理到 SQL 的四层 API 抽象
Flink 为流式/批式处理应用程序的开发提供了从底层有状态流处理到顶层 SQL 查询的四级编程抽象。本文以 Flink 官方文档"概念透析"(Concepts in Depth)概览章节为主线,深入剖析每一层抽象的定位、能力边界与适用场景,并结合 Flink 仓库源码(ProcessFunction.java、Table.java 等)验证其底层实现机制。读完本文,你将能够根据业务场景在四层抽象之间做出正确选型,并理解各层 API 之间如何无缝切换与协同。
说明:本文对应仓库文档 overview.md,属于"概念透析"(Concepts in Depth)章节的导览。该章节深入分析 Flink 分布式运行时架构如何实现有状态与及时流处理等核心概念。
阅读路线:本章在 Flink 概念体系中的位置
Flink 官方文档将概念学习拆分为两个层次:
- 实践练习(Hands-on Training):介绍作为 Flink API 根基的有状态实时流处理基本概念,并举例说明如何在应用中使用这些机制。对应仓库文档 learn-flink/overview.md 下的三个子章节:
- Data Pipelines & ETL 中的 Stateful Transformations 小节引入了有状态流处理的概念;
- Fault Tolerance 对有状态流处理进行了深入展开(检查点、状态恢复等);
- Streaming Analytics 介绍了及时流处理(事件时间、水印、窗口)的概念。
- 概念透析(Concepts in Depth):即本章(concepts/overview.md),深入分析 Flink 分布式运行时架构如何实现上述概念。
本文聚焦本概览章节的核心主题——Flink 的四层 API 抽象,从最底层到最顶层逐一展开。
总览:Flink 的四层 API 抽象
Flink 为流式/批式处理应用程序的开发提供了不同级别的抽象,自底向上依次为:
- 有状态实时流处理(Stateful & Timely Stream Processing)——最底层抽象;
- Core APIs(DataStream API / DataSet API)——通用编程接口层;
- Table API——以表为中心的声明式 DSL;
- SQL——最顶层、与 Table API 语义紧密关联的查询语言。
下图为官方文档中展示的编程抽象层级示意(图片来源:docs/static/fig/levels_of_abstraction.svg,另见 docs/static/fig/concepts/levels_of_abstraction.svg):
抽象层级越高,表达越简洁、声明性越强;层级越低,表达力越强、控制粒度越细。下面逐一深入。
第一层:有状态实时流处理(底层抽象)
Flink API 最底层的抽象为有状态实时流处理,其抽象实现是 Process Function,并且被 Flink 框架集成到了 DataStream API 中使用。
Process Function 的能力
从源码看,ProcessFunction.java 定义了一个处理流的函数抽象,核心回调方法包括:
processElement(I value, Context ctx, Collector<O> out):对输入流中的每一个元素被调用,可产出零个或多个输出元素;onTimer(long timestamp, OnTimerContext ctx, Collector<O> out):当通过TimerService注册的定时器触发时被调用,同样可产出输出并继续注册新定时器;Context提供timestamp()(当前元素/触发定时器的时间戳)、timerService()(查询时间与注册定时器)以及output(OutputTag, value)(向侧输出流发射记录)等能力;OnTimerContext额外提供timeDomain(),用于区分定时器所属的时间域(事件时间或处理时间)。
它允许用户自由地处理来自单流或多流的事件(数据),并提供具有全局一致性和容错保障的状态。此外,用户可以在此层抽象中注册**事件时间(event time)和处理时间(processing time)**回调方法,从而允许程序实现复杂计算。
关键实现细节
- Keyed 状态访问:根据 ProcessFunction.java 中的注释,只有将
ProcessFunction应用在KeyedStream上时,才能访问 Keyed State 和定时器(两者都作用域于某个 key)。 - Rich 函数特性:
ProcessFunction继承自AbstractRichFunction,因此永远是一个RichFunction,可以通过open(OpenContext)/close()生命周期方法获取RuntimeContext(见 ProcessFunction.java)。 - Keyed 变体:对于需要按 key 处理的场景,Flink 提供了
KeyedProcessFunction(KeyedProcessFunction.java),其processElement中的Context额外暴露getCurrentKey()等方法。
使用示意(伪代码形态,具体 API 详见 DataStream API 文档):
DataStream<Event> stream = env.addSource(...);
stream
.keyBy(Event::getKey)
.process(new KeyedProcessFunction<String, Event, Output>() {
@Override
public void processElement(Event value, Context ctx, Collector<Output> out) {
// 访问 keyed state、查询时间、注册定时器
ctx.timerService().registerEventTimeTimer(value.getTimestamp() + 60000);
}
@Override
public void onTimer(long timestamp, OnTimerContext ctx, Collector<Output> out) {
// 定时器触发逻辑
}
});
第二层:Core APIs(DataStream API 与 DataSet API)
实际上,许多应用程序并不需要用到最底层抽象,而是可以直接使用 Core APIs 进行编程。
DataStream API
DataStream API(应用于有界/无界数据流场景)是这一层的主力。Core APIs 提供的流式 API(Fluent API,即链式调用风格)为数据处理提供了通用的模块组件,包括但不限于:
- 各种形式的用户自定义转换(transformations);
- 联接(joins);
- 聚合(aggregations);
- 窗口(windows);
- **状态(state)**操作。
此层 API 中处理的数据类型在每种编程语言中都有其对应的类(例如 Java 中的 POJO、Scala 中的 case class 等)。相关的 DataStream API 文档位于 docs/content.zh/docs/dev/datastream/overview.md。
底层抽象与 Core API 的集成
Process Function 这类底层抽象和 DataStream API 相互集成,使得用户可以选择按需使用更底层的抽象 API 来实现自己的需求。典型用法是:在 DataStream 上调用 .process(...) / .keyBy(...).process(...),从而在普通转换中插入有状态、定时器、侧输出等底层能力。
DataSet API(有界批处理)
DataSet API 额外提供了一些面向有界数据集的原语,比如循环/迭代(loop/iteration)操作,适用于批式迭代计算场景(如图算法、机器学习迭代训练等)。
注:在当前的 Flink 版本中,批处理能力正在统一收敛到 DataStream API 之上(流批一体),DataSet API 属于较早期的有界批处理编程接口。
第三层:Table API(声明式 DSL)
Flink API 第三层抽象是 Table API,它是以**表(Table)**为中心的声明式编程(DSL)API。
核心特性
- 动态表:在流式数据场景下,Table 可以表示一张正在动态改变的表(dynamic table);
- 遵循(扩展)关系模型:表拥有 schema(类似于关系型数据库中的 schema);
- 关系型操作:提供类似于关系模型中的操作,如
select、project、join、group-by和aggregate等。
从源码可以验证这些操作的真实存在:Table.java 中定义了:
Table select(Expression... fields)(第 129 行);Table filter(Expression predicate)(第 199 行);GroupedTable groupBy(Expression... fields)(第 234 行);Table join(Table right)、Table join(Table right, Expression joinPredicate)(第 262/284 行);Table joinLateral(...)(表函数 lateral join,第 403/437 行)等。
声明式与表达力权衡
Table API 程序以声明的方式定义"应执行的逻辑操作",而不是确切地指定程序"应该执行的代码"——即表达"做什么(what)"而非"怎么做(how)"。尽管 Table API 使用起来很简洁并且可以由各种类型的用户自定义函数(UDF)扩展功能,但它的表达能力还是比 Core API 差。此外,Table API 程序在执行之前会经过优化器,应用优化规则对用户编写的表达式进行优化(例如谓词下推、列裁剪、算子重排等),这显著减少了用户手写优化的工作量。
与 DataStream/DataSet 的无缝切换
表和 DataStream/DataSet 可以进行无缝切换,Flink 允许用户在编写应用程序时将 Table API 与 DataStream/DataSet API 混合使用。典型场景:先使用 DataStream 做复杂的底层处理,再转成 Table 做关系型分析;或者先用 Table 做声明式清洗,再转回 DataStream 做精细控制。相关 API 文档位于 docs/content.zh/docs/dev/table/overview.md。
第四层:SQL(最顶层抽象)
Flink API 最顶层抽象是 SQL。
- 这层抽象在语义和程序表达力上都类似于 Table API,但程序实现全部是 SQL 查询表达式;
- SQL 抽象与 Table API 抽象之间的关联非常紧密,SQL 查询语句可以直接在 Table API 中定义的表上执行;
- 换句话说,Table API 构建的 Table 对象就是 SQL 查询的数据源,二者共享同一套关系模型与优化器。
SQL 抽象相关的说明位于 docs/content.zh/docs/dev/table/overview.md 的 SQL 小节。使用形态示例(在 TableEnvironment 中执行 SQL):
// 在 Table API 中注册或创建表
tableEnv.createTemporaryView("orders", ordersTable);
// 在 Table API 定义的表上执行 SQL 查询
Table result = tableEnv.sqlQuery(
"SELECT user_id, COUNT(*) AS cnt FROM orders GROUP BY user_id");
四层抽象的选型建议
| 抽象层级 | 核心形态 | 表达风格 | 表达能力 | 典型适用场景 |
|---|---|---|---|---|
| 有状态实时流处理 | Process Function | 命令式回调 | 最强(状态、定时器、侧输出) | 复杂事件处理、精确时间语义控制、底层算子定制 |
| Core APIs | DataStream / DataSet API | Fluent 命令式 | 强 | 通用流/批处理、窗口聚合、连接、状态编程 |
| Table API | 表 + 声明式 DSL | 声明式(what) | 中等,可用 UDF 扩展 | 关系型分析、需要优化器的场景 |
| SQL | SQL 查询表达式 | 声明式 | 与 Table API 相当 | 数据分析师、标准 SQL 场景、与 BI 工具对接 |
选型思路:
- 需要细粒度控制时间、状态与输出 → 下沉到 Process Function 层;
- 常规流/批数据处理 → 使用 DataStream API(有界/无界统一);
- 希望编写更少代码、享受优化器红利 → 使用 Table API;
- 面向标准 SQL 或非程序员协作 → 使用 SQL,并可与 Table API 自由混用。
与运行时架构的关系
本概览章节属于"概念透析"(Concepts in Depth)系列的开篇,其姊妹章节深入剖析了支撑上述 API 的运行时机制,均可在 docs/content.zh/docs/concepts 目录下找到:
- flink-architecture.md:Flink 分布式运行时架构;
- stateful-stream-processing.md:有状态流处理的底层实现;
- time.md:时间概念(事件时间/处理时间/水印);
- glossary.md:概念术语表。
无论使用哪一层 API 编程,最终都会被编译为分布在 TaskManager 上执行的有状态算子图(operator graph),由 JobManager 负责调度与容错协调——这正是"概念透析"后续章节要回答的"架构如何实现概念"这一问题的核心。