Flink Paimon(Flink Table Store)数据湖实战:从建表写入到 CDC 实时同步
Flink Paimon(Flink Table Store)数据湖实战:从建表写入到 CDC 实时同步
导读
本文基于 flink-learning 仓库中的 flink-learning-paimon 模块 展开,系统讲解 Apache Paimon(前身 Flink Table Store)这一流式数据湖存储的实战用法:如何通过 Flink SQL 创建 Paimon Catalog、建主键表与分区表、完成流式写入,并实现 Kafka 实时入库与 MySQL CDC 实时同步到数据湖的湖仓一体场景。读完本文,你将掌握在本地文件系统上搭建 Paimon 数据湖、运行三类典型示例程序的完整方法,并能将 Paimon 的流批统一能力用于自己的实时数仓与数据湖项目。
一、Paimon 是什么:从计算到存储的流批统一
flink-learning-paimon 模块的定位文档明确指出了两个核心背景:Flink Table Store 是什么,以及 Flink Table Store 如何"从计算到存储"提升流批统一的端到端用户体验。Apache Paimon 正是 Flink Table Store 在 2023 年进入 Apache 孵化器后的正式名称,它在仓库代码中也被直接标注为"原 Flink Table Store"(见 PaimonDataLakeExample.java 的类注释)。
Paimon 是一类流式数据湖存储(Streaming Lakehouse Storage):它以列存 ORC/Parquet 文件为底层存储,把 Flink 的流式写入变成可持续提交的增量数据文件,同时借助主键表提供完整的更新(UPDATE)与删除(DELETE)语义。传统数据湖只解决"批"的问题,而 Paimon 让"流"与"批"在同一份存储上统一——流式作业持续写入、批式查询立刻可见,这正是模块文档强调的"端到端用户体验"提升。
在仓库的 datalake 聚合模块 中,paimon 与 hudi、iceberg、deltalake 并列,构成"数据湖四大组件"的学习闭环,其声明版本为 paimon.version=1.3.1,与之配套的 Flink 版本为 flink.version=1.20.3、Java 版本为 11(见 根 pom.xml)。
二、模块结构:三个示例覆盖三类核心场景
flink-learning-paimon 模块虽小,却用三个 Java 示例完整覆盖了 Paimon 最主流的三种接入方式:
| 示例类 | 源码位置 | 核心场景 |
|---|---|---|
PaimonDataLakeExample |
PaimonDataLakeExample.java | 基于文件系统 Catalog 的建库、建表、写入、查询全流程 |
PaimonStreamingWriteExample |
PaimonStreamingWriteExample.java | Kafka 实时流写入 Paimon(流式数据湖典型链路) |
PaimonCDCSyncExample |
PaimonCDCSyncExample.java | MySQL CDC 实时同步到 Paimon(湖仓一体核心场景) |
三个示例都基于 Flink Table API / SQL 编写:程序先创建 StreamExecutionEnvironment 与 StreamTableEnvironment,再通过 executeSql 提交 DDL/DML。共同的前置动作包括:
StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
env.setParallelism(1); // 单并行度,便于本地演示
env.enableCheckpointing(5000); // 每 5 秒触发一次 Checkpoint
EnvironmentSettings settings = EnvironmentSettings.newInstance()
.inStreamingMode() // 流模式
.build();
StreamTableEnvironment tEnv = StreamTableEnvironment.create(env, settings);
其中 enableCheckpointing(5000) 是 Paimon 写入的关键前提:Paimon 的每次提交都依赖 Flink Checkpoint 机制,将两次 Checkpoint 之间的增量数据固化为数据文件并推进快照(Snapshot),因此不开启 Checkpoint 就无法获得正确的写入与可见性语义。
三、场景一:Paimon Data Lake 入门——建表、写入与查询
PaimonDataLakeExample.java 是最完整的入门示例,演示了从零创建数据湖并使用的五个步骤。
3.1 创建 Paimon Catalog(文件系统实现)
tEnv.executeSql("CREATE CATALOG paimon_catalog WITH (\n" +
" 'type' = 'paimon',\n" +
" 'warehouse' = '/tmp/paimon_warehouse'\n" +
")");
tEnv.executeSql("USE CATALOG paimon_catalog");
tEnv.executeSql("CREATE DATABASE IF NOT EXISTS paimon_db");
tEnv.executeSql("USE paimon_db");
type = 'paimon'指定 Catalog 类型为 Paimon;warehouse指向数据湖的根目录,这里使用本地路径/tmp/paimon_warehouse,运行前需确保该路径可写。生产环境可替换为 HDFS、OSS、S3 等文件系统路径;- 之后通过
USE CATALOG/CREATE DATABASE/USE切换到 Paimon 命名空间下的库。
3.2 创建主键表并分区
tEnv.executeSql("CREATE TABLE IF NOT EXISTS paimon_users (\n" +
" id INT,\n" +
" name STRING,\n" +
" age INT,\n" +
" dt STRING,\n" +
" PRIMARY KEY (id, dt) NOT ENFORCED\n" +
") PARTITIONED BY (dt)");
这里体现了 Paimon 的两种核心表类型(源码注释中明确说明):
- 主键表(Primary Key Table):声明
PRIMARY KEY,支持数据的更新与删除,适合维表、明细实时更新等场景; - 仅追加表(Append Only Table):不声明主键,只做追加写入,适合日志、事件流等场景。
示例同时使用 PARTITIONED BY (dt) 按天分区,主键由业务键 id 与分区字段 dt 共同构成,这是 Paimon 推荐的"主键含分区字段"写法,便于后续做分区裁剪查询。
3.3 插入与查询
tEnv.executeSql("INSERT INTO paimon_users VALUES\n" +
" (1, 'Alice', 30, '2024-01-01'),\n" +
" (2, 'Bob', 25, '2024-01-01'),\n" +
" (3, 'Charlie', 35, '2024-01-02')");
tEnv.executeSql("SELECT * FROM paimon_users").print();
插入完成后直接 SELECT * ... .print() 即可在客户端打印数据湖中的最新结果——批式查询立刻能看到流式作业提交的数据,这正是 Paimon 流批统一的直观体验。
四、场景二:Kafka 实时写入 Paimon 流式数据湖
PaimonStreamingWriteExample.java 演示了生产中最常见的链路:Kafka → Paimon。
4.1 创建 Kafka 源表
Kafka 源表创建在默认 Catalog 中,使用 Flink Kafka Connector:
String kafkaSourceDDL = "CREATE TABLE kafka_source (\n" +
" user_id INT,\n" +
" item_id INT,\n" +
" behavior STRING,\n" +
" ts TIMESTAMP(3),\n" +
" WATERMARK FOR ts AS ts - INTERVAL '5' SECOND\n" +
") WITH (\n" +
" 'connector' = 'kafka',\n" +
" 'topic' = 'user_behavior',\n" +
" 'properties.bootstrap.servers' = 'localhost:9092',\n" +
" 'properties.group.id' = 'paimon-group',\n" +
" 'scan.startup.mode' = 'earliest-offset',\n" +
" 'format' = 'json'\n" +
")";
关键参数说明:
| 参数 | 值 | 作用 |
|---|---|---|
connector |
kafka |
指定 Flink Kafka 连接器 |
topic |
user_behavior |
消费的 Kafka 主题,运行前需预先创建 |
properties.bootstrap.servers |
localhost:9092 |
Kafka 集群地址 |
properties.group.id |
paimon-group |
消费组,用于记录消费位点 |
scan.startup.mode |
earliest-offset |
从最早位点开始消费,保证数据不丢 |
format |
json |
消息体为 JSON 格式 |
4.2 创建 Paimon 目标主键表并流式写入
tEnv.executeSql("CREATE TABLE IF NOT EXISTS paimon_user_behavior (\n" +
" user_id INT,\n" +
" item_id INT,\n" +
" behavior STRING,\n" +
" ts TIMESTAMP(3),\n" +
" dt STRING,\n" +
" PRIMARY KEY (user_id, dt) NOT ENFORCED\n" +
") PARTITIONED BY (dt)");
tEnv.executeSql("INSERT INTO paimon_user_behavior " +
"SELECT user_id, item_id, behavior, ts, DATE_FORMAT(ts, 'yyyy-MM-dd') " +
"FROM default_catalog.default_database.kafka_source");
写入时通过 DATE_FORMAT(ts, 'yyyy-MM-dd') 将事件时间转换为日期字符串,作为 Paimon 表的分区字段 dt,实现按天自动分区。跨 Catalog 读取表需写全限定名 default_catalog.default_database.kafka_source。
如源码注释所述,Paimon 的流式写入会自动合并数据,支持 partial-update(部分字段更新)等高级合并模式——同一主键的多条流式记录会根据合并引擎聚合成最终状态,这使其非常适合实时维表与增量更新场景。
五、场景三:MySQL CDC 实时同步 Paimon(湖仓一体)
PaimonCDCSyncExample.java 演示了湖仓一体的标志性场景:MySQL binlog → Paimon 数据湖,让关系型数据库的变更以实时增量方式沉淀为数据湖表。
5.1 创建 MySQL CDC 源表
String mysqlSourceDDL = "CREATE TABLE mysql_orders (\n" +
" order_id INT NOT NULL,\n" +
" order_date TIMESTAMP(3),\n" +
" customer_name STRING,\n" +
" product_name STRING,\n" +
" price DECIMAL(10, 2),\n" +
" order_status STRING,\n" +
" PRIMARY KEY (order_id) NOT ENFORCED\n" +
") WITH (\n" +
" 'connector' = 'mysql-cdc',\n" +
" 'hostname' = 'localhost',\n" +
" 'port' = '3306',\n" +
" 'username' = 'root',\n" +
" 'password' = '123456',\n" +
" 'database-name' = 'mydb',\n" +
" 'table-name' = 'orders'\n" +
")";
运行前需要满足两个前置条件(源码注释明确列出):① 启动 MySQL 并开启 binlog;② 在 mydb 库中创建 orders 表并插入测试数据。同时需要在项目中引入 flink-sql-connector-mysql-cdc 依赖——仓库中的 flink-mysql-cdc 模块 pom.xml 展示了该依赖的标准引入方式:
<dependency>
<groupId>com.ververica</groupId>
<artifactId>flink-sql-connector-mysql-cdc</artifactId>
<version>${flink-cdc.version}</version>
</dependency>
根 pom 中对应声明 flink-cdc.version=3.0.1(见 根 pom.xml)。
5.2 创建 Paimon 目标表并同步
tEnv.executeSql("CREATE TABLE IF NOT EXISTS paimon_orders (\n" +
" order_id INT,\n" +
" order_date TIMESTAMP(3),\n" +
" customer_name STRING,\n" +
" product_name STRING,\n" +
" price DECIMAL(10, 2),\n" +
" order_status STRING,\n" +
" dt STRING,\n" +
" PRIMARY KEY (order_id, dt) NOT ENFORCED\n" +
") PARTITIONED BY (dt)");
tEnv.executeSql("INSERT INTO paimon_orders " +
"SELECT order_id, order_date, customer_name, product_name, price, order_status, " +
"DATE_FORMAT(order_date, 'yyyy-MM-dd') " +
"FROM default_catalog.default_database.mysql_orders");
这里需要注意一个关键事实(源码注释中明确指出):Paimon 作为流式数据湖存储,天然支持 CDC 数据的写入,主键表会自动处理 INSERT / UPDATE / DELETE 三种操作。也就是说,MySQL 中的新增、修改、删除会以相同的变更语义同步到 Paimon 表中——这正是"主键表"相对"仅追加表"的核心价值,也是湖仓一体能够替代传统 Lambda 架构中"变更数据同步层"的根本原因。
六、架构理解:Paimon 如何支撑流批统一
原模块文档设有"架构"一节,指向一张架构图(该图托管于外部对象存储,无法在仓库内直接引用)。结合三个示例的运行机制,可以从源码层面对 Paimon 的架构要点做如下归纳:
- 存储层:以
warehouse目录为根,按 Catalog → Database → Table 分层组织,表数据以列式文件存放并按分区管理; - 写入层:流式作业(Kafka 源、CDC 源)持续写入,依赖 Flink Checkpoint 周期性提交快照,将增量文件原子地发布为可见数据;
- 合并层:主键表通过合并引擎将多路流(或同一主键的多条变更)合并为最终状态,支持
partial-update等模式; - 查询层:批式查询(
SELECT)直接读取快照内的文件集合,流式消费则可订阅持续产生的快照,一套存储同时服务流与批。
对照仓库,这一架构在数据湖领域与 hudi、iceberg、deltalake 并列(见 datalake 聚合模块 pom.xml),而 Paimon 的差异化优势正在于其对 Flink 流处理语义(Checkpoint、水印、主键更新)的一等公民支持。
七、运行与验证建议
- 依赖准备:确认引入
flink-table-api-java-bridge、flink-table-planner以及 Paimon 依赖(paimon.version=1.3.1,见 datalake 聚合模块 pom.xml);CDC 场景额外引入flink-sql-connector-mysql-cdc; - 文件系统:确保
/tmp/paimon_warehouse可写,或将warehouse指向 HDFS/S3/OSS 路径; - Kafka 场景:先创建
user_behavior主题并向其发送 JSON 数据,再运行 PaimonStreamingWriteExample.java,观察数据随 Checkpoint 周期落盘; - CDC 场景:开启 MySQL binlog 后运行 PaimonCDCSyncExample.java,在 MySQL 中执行 INSERT / UPDATE / DELETE,验证 Paimon 表中状态的对应变化;
- 验证方式:在任意示例的建表、写入逻辑后追加
SELECT * FROM 目标表并.print(),即可确认数据湖中的最终结果。
总结
本文围绕 flink-learning 仓库中的 flink-learning-paimon 模块 及其三个源码示例,完整覆盖了 Paimon(原 Flink Table Store)从概念到实战的路径:通过 Paimon Catalog 建湖建表、主键表与分区表的使用、Kafka 流式实时入库、MySQL CDC 变更实时同步,以及 Paimon 依赖 Flink Checkpoint 实现流批统一快照提交的底层机制。读者可在此基础上,将 /tmp/paimon_warehouse 替换为生产文件系统,把三套模板直接演进为实时数仓中"ODS 增量入湖 → 明细更新 → 批流统一查询"的湖仓一体链路。