Flink 核心概念词汇表深度解析:从集群部署到状态容错的 28 个关键术语
Flink 核心概念词汇表深度解析:从集群部署到状态容错的 28 个关键术语
本文基于 Apache Flink 仓库中的 官方词汇表 展开,系统梳理 Flink 从集群形态、作业生命周期、分布式执行模型、数据流抽象到状态与容错机制的完整概念体系。无论你是刚接触 Flink 的入门者,还是需要向团队解释架构原理的开发者,读完本文都能准确区分 Flink Cluster / Job / Task / Operator 等易混概念,并理解它们在 runtime 源码中的真实落点。
集群形态:四种容易混淆的 "Cluster"
Flink 的部署概念中,"集群"一词被反复使用,但指向截然不同的运行形态。理解这几类集群的生命周期差异,是合理选择部署模式的前提。
Flink Cluster
Flink Cluster(Flink 集群) 是一般意义上由一个 Flink JobManager 进程和一个或多个 Flink TaskManager 进程组成的分布式系统。
这是最通用的描述性术语,并不特指某一种部署模式。在 flink-runtime 模块中,JobManager 与 TaskManager 分别对应 JobMaster、TaskManagerRunner 等核心运行类,二者的分工(调度与执行)正是集群这一基本形态的源码实现。
Flink Application Cluster
Flink Application Cluster 是专用的 Flink Cluster,它只从一个 Flink Application 执行 Flink Jobs。该集群的生命周期与 Flink Application 的生命周期绑定——应用退出,集群随之结束。这种模式通常被称为 Application Mode,每个应用拥有独立集群,天然实现了应用间的资源隔离,适合生产环境的独立作业部署。
Flink Job Cluster
Flink Job Cluster 是专用的 Flink Cluster,只执行一个 Flink Job。集群寿命与 Job 寿命相关:Job 完成、取消或失败,集群即解散。从源码结构看,JobMaster 正是为单个作业提供监督服务的运行时组件,一个 Job Cluster 本质上就是"一个 Job 对应一个以 JobMaster 为核心的主节点进程"。
Flink Session Cluster
Flink Session Cluster 是长时间运行的 Flink Cluster,可同时接受多个 Flink Job 提交执行,其生命周期不受任何单个 Job 的约束。过去它也被称为 Session Mode 的集群,与 Application Cluster 相对。Session Cluster 适合短小、低频的交互式作业(如 SQL CLI 即席查询),缺点是多个作业共享集群资源,互相影响的可能性更高。
小结:Application / Job / Session 三种集群分别对应 Application Mode、Per-Job Mode(Job Cluster)与 Session Mode。核心区别在于集群与作业的生命周期耦合程度:Application 与 Job 形态是"专用集群",Session 是"共享集群"。
作业提交:Flink Application 与 Flink Job
Flink Application
Flink Application 是一个 Java 应用程序,它从 main() 方法(或通过其他方式)提交一个或多个 Flink Jobs。提交作业通常通过调用 ExecutionEnvironment 的 execute() 方法完成(DataStream API 的 StreamExecutionEnvironment、Table API 的 TableEnvironment 同样遵循这一模式)。
一个 Application 的作业可以提交给:
- 长期运行的 Flink Session Cluster;
- 专用的 Flink Application Cluster;
- 或 Flink Job Cluster。
也就是说,Application 描述的是"用户编写的、包含提交逻辑的程序",而 Cluster 描述的是"作业实际运行的环境"。
Flink Job
Flink Job 表示为 runtime 的 logical graph(逻辑图)(通常也称为数据流图),通过在 Flink Application 中调用 execute() 方法创建并提交。它是 Flink 分布式执行的最小编排单元:Flink 会为每个 Job 分配 JobID,JobMaster 针对该 Job 进行调度、执行与恢复。
集群主节点组件:JobManager、JobMaster 与 JobResultStore
Flink JobManager
Flink JobManager 是 Flink Cluster 的主节点(master),负责集群层面的资源管理与作业协调。根据官方词汇表,它包含三个不同的组件:
- Flink Resource Manager——负责集群资源的分配与回收;
- Flink Dispatcher——负责接收作业提交、启动 JobMaster;
- Flink JobMaster——为每个 Flink Job 提供独立的执行监督。
在实现层面,这些职责分散在 flink-runtime 的多个包中(如 resourcemanager、dispatcher、jobmaster),共同构成主节点的运行时骨架。
Flink JobMaster
JobMaster 是运行在 Flink JobManager 中的组件之一,负责监督单个作业 Task 的执行。以前整个 Flink JobManager 都被称为 JobManager,而 JobMaster 是后来拆分出的、粒度更细的概念。
源码证据非常直观:JobMaster.java 是 flink-runtime 中约 1700 行的核心类,其包内直接依赖 JobID、JobStatus、OperatorID、HighAvailabilityServices 等类型,并通过心跳(heartbeat)机制与 TaskManager 保持连接,体现了"单作业监督者"的定位。在 per-job 模式下,一个 JobMaster 实例的生命周期基本与对应 Job 绑定。
JobResultStore
JobResultStore 是 Flink 的一个组件,它把全局终止(已完成、已取消或已失败)作业的结果保存到文件系统中,使结果比作业本身存活得更久。随后 Flink 利用这些结果判断:在高可用集群中,某个作业是否应该被恢复。
从源码看,JobResultStore.java 是位于 highavailability 包中的接口,其 Javadoc 明确说明它存储"全局终止作业的结果",且每条结果带状态标记:
dirty——对应作业尚未完成清理;clean——对应作业已完成清理,无需后续动作。
它通过 createDirtyResultAsync(...) 注册新结果、markResultAsCleanAsync(...) 将结果标记为 clean。这一机制保证了作业终止后即使进程重启,Flink 仍能依据持久化结果决定恢复策略,是高可用(HA)场景的重要一环。
执行模型:从 Logical Graph 到 Physical Graph
Flink 作业在提交与执行的不同阶段会呈现为不同的图结构,这是理解"Job / JobGraph / ExecutionGraph / Task"层层转换的关键。
Logical Graph
Logical Graph(逻辑图) 是一种有向图:顶点是 Operator(算子),边定义算子的输入/输出关系,对应数据流(dataflow)或数据集(dataset)。它通过从 Flink Application 提交作业来创建,通常也称为数据流图。
在源码中,流式作业的逻辑图对应 StreamGraph.java(由 StreamGraphGenerator 从用户 API 生成)。逻辑图提交到 runtime 后转换为 JobGraph(见下文),因此词汇表中将 JobGraph 与 Logical Graph 视为同一概念的两个侧面。
JobGraph
JobGraph 见 Logical Graph。它是由逻辑图转换得到的、可提交给集群的作业表示。JobGraph 中的节点(JobVertex)与边(JobEdge)已具备调度所需的并行度、资源需求等信息,是 JobManager 受理作业的入口数据形态。
Physical Graph
Physical Graph(物理图) 是把 Logical Graph 转换为分布式运行时可执行结果后的图:节点是 Task,边表示数据流/数据集的输入输出关系或 Partition 关系。
词汇表中指出 ExecutionGraph 即 Physical Graph 的另一个名称。在 flink-runtime 包中可以找到 ExecutionGraph 及其配套的 ExecutionGraphResultPartitionAvailabilityChecker 等辅助类,它们负责在运行时跟踪每个执行顶点(ExecutionVertex)与中间结果分区(Intermediate Result Partition)的状态。
概念链条:
Flink Application(execute())→ Logical Graph / JobGraph → Physical Graph / ExecutionGraph → 各 TaskManager 上的 Task。每一步都是"逻辑抽象 → 可执行表示"的细化。
Operator
Operator(算子) 是 Logical Graph 的节点。算子执行某种操作,该操作通常由 Function 完成。Source(数据源)和 Sink(数据汇)是数据输入和数据输出的特殊算子。DataStream API 中的 map、filter、keyBy、window 等都会翻译为对应的算子类型。
Function
Function 由用户实现,封装了 Flink 程序的应用程序逻辑。大多数 Function 由相应的 Operator 封装。例如用户写的 MapFunction、FlatMapFunction、ProcessFunction 会被分别包裹进 StreamMap、StreamFlatMap、KeyedProcessOperator 等算子中——这是理解"用户逻辑在哪里执行"的关键:用户写 Function,Flink 用 Operator 包装并驱动它。
Transformation
Transformation 应用于一个或多个数据流或数据集,产生一个或多个输出数据流/数据集。它可能在每条记录的基础上改变数据(如 map),也可能只改变分区(如 keyBy、rebalance)或执行聚合(如 window reduce)。
词汇表特别强调:Operator 与 Function 是 Flink API 的"物理"部分,而 Transformation 只是 API 概念——大多数(但并非全部)Transformation 由某个 Operator 实现。例如 DataStream.map(...) 在 API 层表现为一个 OneInputTransformation,最终落地为 StreamMap 算子;而分区类 Transformation 则更多体现在边(Edge)的分区策略上,未必对应独立算子。
数据流元素:Record、Event 与 Partition
Record
Record 是数据集或数据流的组成元素。Operator 和 Function 接收 record 作为输入,并将 record 作为输出发出。它是贯穿执行过程的"数据单元"概念。
Event
Event(事件) 是对应用程序建模的域的状态更改的声明。它可以同时作为流式或批处理应用的 input 和 output,也可以只是其中一种。Event 是特殊类型的 Record——即所有 Event 都是 Record,但 Record 不一定是 Event(例如批处理数据集中的元素通常只称 Record 不称 Event)。
Partition
Partition(分区) 是整个数据流或数据集的独立子集。通过把每个 Record 分配给一个或多个分区,可将数据流/数据集划分为多个分区。运行期间,Task 会消费数据流或数据集的分区。改变分区方式的转换通常称为重分区(repartition),典型操作如 keyBy、rebalance、broadcast、rescale。
在 runtime 中,分区对应网络层的结果分区(Result Partition)与输入门(InputGate)概念——Task 之间通过分区交换数据,这也是物理图中边的本质。
执行单元:Instance、Task、Sub-Task 与 Operator Chain
Instance
Instance 常用于描述运行期特定类型(通常是 Operator 或 Function)的一个具体实例。由于 Flink 主要用 Java 编写,这与 Java 中的 Instance 或 Object 定义对应。Flink 上下文中常出现 parallel instance,用于强调同一 Operator / Function 的多个实例以并行方式运行。
Task
Task 是 Physical Graph 的节点,是 Flink runtime 执行的基本工作单元。一个 Task 恰好封装了一个 Operator 或一个 Operator Chain 的 parallel instance。Task 被调度到 TaskManager 上执行,对应源码中的 Task.java。
Sub-Task
Sub-Task 是负责处理数据流某个 Partition 的 Task。"Sub-Task"这个叫法强调的是:同一个 Operator 或 Operator Chain 拥有多个并行的 Task。例如并行度为 4 的 map 算子,就会产生 4 个并行的 Sub-Task,每个处理整个数据流 1/4 的分区。
区分要点:Task 是"物理图中一个执行节点"的统称;当讨论并行时,同一算子的每个并行执行体就是 Sub-Task。二者在源码中常以 ExecutionVertex / Execution 的形式出现,每个 Execution 绑定一个 Sub-Task 索引。
Operator Chain
Operator Chain(算子链) 由两个或多个连续的 Operator 组成,且它们之间没有任何重新分区。链内算子可以直接相互传递 record,而无需经过序列化或 Flink 的网络栈——这就是链式执行(chaining)带来性能优势的根本原因。
源码佐证:OperatorChain.java(flink-streaming-java 模块)是 Task 内部的运行时组织单元,一个 Task 往往对应一个 OperatorChain;其 Javadoc 与依赖的 RecordWriter、IndexedInputGate、StreamConfig 等类型表明,链内算子通过直接方法调用传递数据,而链的边界(NonChainedOutput)才经过网络栈。这也是为什么 disableChaining() 或 startNewChain() 会显著影响吞吐与调度粒度。
Flink TaskManager
TaskManager 是 Flink Cluster 的工作进程(worker)。Task 被调度到 TaskManager 上执行;TaskManager 之间相互通信,仅用于在后续 Task 之间交换数据。源码中对应 flink-runtime 包下的 TaskManagerRunner、TaskManagerServices、TaskManagerConfiguration 等类,它们负责启动工作进程、维护 slot 与网络连接、执行 Task。
状态与容错:Managed State 与 State Backend
Managed State
Managed State(托管状态) 描述了已在框架中注册的应用程序状态。对于托管状态,Apache Flink 负责持久化和**重伸缩(rescaling)**等事宜。换句话说,只要状态是通过 Flink 的 Keyed State(如 ValueState、ListState)或 Operator State API 注册的,checkpoint、savepoint、并行度调整时的状态重分配都由框架接管,用户无需手工管理。
State Backend
对于流处理程序,State Backend 决定了:
- Flink Job 的 state 如何存储在每个 TaskManager 上——存于 TaskManager 的 Java 堆(heap),还是嵌入式 RocksDB(
flink-statebackend-rocksdb); - 它在 checkpoint 时写入哪里——Flink JobManager 的 Java 堆,还是文件系统(Filesystem,如 HDFS / S3)。
因此 State Backend 的选择直接影响状态容量上限与 checkpoint 性能。仓库中的 flink-state-backends 目录集中了 flink-statebackend-changelog、flink-statebackend-heap-spillable、flink-statebackend-rocksdb 等实现,读者可深入其中查看每种 Backend 的存储与快照逻辑。
算子标识:UID 与 UID Hash
UID
UID 是 Operator 的唯一标识,可由用户提供,或根据作业结构自动确定。Application 提交时,UID 会被转换为 UID hash。
用户可以通过 DataStream.uid("my-operator-id")(DataStream API)或 SQL 中的算子 hint 为算子指定稳定的 UID。这是保证状态与算子稳定绑定的基础——只有 UID 稳定,升级作业时 state 才能被正确映射到新算子。
UID hash
UID hash 是 Operator 在运行时的唯一标识,也叫 "Operator ID" 或 "Vertex ID",由 UID 生成。它常见于日志、REST API 或 metrics 中,更重要的是:它是在 savepoints 中识别算子的方式。
从源码看,StreamGraphHasherV2.java 正是完成这一哈希生成的实现之一——它借助 Guava 的 HashFunction / Hasher / Hashing,结合 JobVertexID、算子工厂等信息为图中每个算子生成稳定的哈希标识。若用户在作业中为算子显式设置了 uid(),该用户 UID 将被纳入哈希计算,从而保证同一逻辑算子在不同版本作业间拥有稳定的 UID hash。
由于 savepoint 正是依据 UID hash 将状态映射回算子的,所以修改作业结构、重排算子或删除 uid() 声明,都可能导致 UID hash 变化、状态无法恢复。详细的 savepoint 使用与状态恢复实践,可参考 savepoints 官方指南(英文版见 docs/content/docs/ops/state/savepoints.md)。
快速检索表
| 术语 | 一句话定义 | 关键源码/文档线索 |
|---|---|---|
| Flink Cluster | 1 个 JobManager + 若干 TaskManager 的分布式系统 | flink-runtime |
| Flink Application Cluster | 专用集群,只运行一个 Application,寿命随应用 | 部署文档 |
| Flink Job Cluster | 专用集群,只运行一个 Job,寿命随 Job | JobMaster.java |
| Flink Session Cluster | 长期运行、可接受多个 Job 的共享集群 | 部署文档 |
| Flink Application | 提交一个或多个 Job 的 Java 程序(execute()) |
DataStream / Table API |
| Flink Job | runtime 中的 logical graph(数据流图) | StreamGraph.java |
| Flink JobManager | 主节点:Resource Manager + Dispatcher + JobMaster | flink-runtime |
| Flink JobMaster | 单作业执行监督组件 | JobMaster.java |
| JobResultStore | 持久化全局终止作业结果,供 HA 恢复判定 | JobResultStore.java |
| Logical Graph / JobGraph | 顶点为算子、边为输入输出关系的有向图 | StreamGraph.java |
| Physical Graph / ExecutionGraph | 节点为 Task 的可执行图 | executiongraph 包 |
| Operator | 逻辑图节点,执行操作(含 Source/Sink) | streaming operators 包 |
| Function | 用户实现的应用逻辑,被 Operator 封装 | DataStream API |
| Transformation | API 概念:作用于数据流/数据集的转换 | org.apache.flink.api.dag.Transformation |
| Record | 数据流/数据集的组成元素 | runtime 网络层 |
| Event | 域状态更改的声明,特殊类型的 Record | 事件驱动应用 |
| Partition | 数据流/数据集的独立子集 | Result Partition / InputGate |
| Instance | Operator/Function 的运行实例,parallel instance 表示并行 | Task 内部 |
| Task | 物理图节点,封装一个 parallel instance | Task.java |
| Sub-Task | 处理某个分区的并行 Task | ExecutionVertex / Execution |
| Operator Chain | 无重分区、链内直传 record 的算子序列 | OperatorChain.java |
| Flink TaskManager | 工作进程,执行 Task、交换数据 | taskexecutor 包 |
| Managed State | 已注册框架的托管状态(持久化+重伸缩) | state API |
| State Backend | 决定状态存储位置与 checkpoint 写入位置 | flink-state-backends |
| UID | 用户提供或结构推导的算子唯一标识 | DataStream.uid() |
| UID hash | 运行时 Operator ID / Vertex ID,savepoint 识别依据 | StreamGraphHasherV2.java |
结语
这 28 个术语构成了 Flink 概念体系的主干:部署形态(Cluster 四兄弟)决定作业跑在哪里;Application / Job 决定提交什么;JobManager / JobMaster / TaskManager / Task 决定由谁执行;Logical / Physical Graph、Operator、Function、Transformation、Partition、Record、Event 描述数据如何被组织和变换;Managed State、State Backend、UID / UID hash 决定状态如何保存与恢复。理解这些概念之间的层级与依赖关系,是阅读 concepts 目录 下其他文档、乃至深入 flink-runtime 源码的前提。