Flink Paimon(Flink Table Store)数据湖实战:从建表写入到 CDC 实时同步

原创2026-10-04 10:09:031,648 阅读
文章标签:示例工程教程

Flink Paimon(Flink Table Store)数据湖实战:从建表写入到 CDC 实时同步

导读

本文基于 flink-learning 仓库中的 flink-learning-paimon 模块 展开,系统讲解 Apache Paimon(前身 Flink Table Store)这一流式数据湖存储的实战用法:如何通过 Flink SQL 创建 Paimon Catalog、建主键表与分区表、完成流式写入,并实现 Kafka 实时入库与 MySQL CDC 实时同步到数据湖的湖仓一体场景。读完本文,你将掌握在本地文件系统上搭建 Paimon 数据湖、运行三类典型示例程序的完整方法,并能将 Paimon 的流批统一能力用于自己的实时数仓与数据湖项目。


一、Paimon 是什么:从计算到存储的流批统一

flink-learning-paimon 模块的定位文档明确指出了两个核心背景:Flink Table Store 是什么,以及 Flink Table Store 如何"从计算到存储"提升流批统一的端到端用户体验。Apache Paimon 正是 Flink Table Store 在 2023 年进入 Apache 孵化器后的正式名称,它在仓库代码中也被直接标注为"原 Flink Table Store"(见 PaimonDataLakeExample.java 的类注释)。

Paimon 是一类流式数据湖存储(Streaming Lakehouse Storage):它以列存 ORC/Parquet 文件为底层存储,把 Flink 的流式写入变成可持续提交的增量数据文件,同时借助主键表提供完整的更新(UPDATE)与删除(DELETE)语义。传统数据湖只解决"批"的问题,而 Paimon 让"流"与"批"在同一份存储上统一——流式作业持续写入、批式查询立刻可见,这正是模块文档强调的"端到端用户体验"提升。

在仓库的 datalake 聚合模块 中,paimon 与 hudi、iceberg、deltalake 并列,构成"数据湖四大组件"的学习闭环,其声明版本为 paimon.version=1.3.1,与之配套的 Flink 版本为 flink.version=1.20.3、Java 版本为 11(见 根 pom.xml)。

二、模块结构:三个示例覆盖三类核心场景

flink-learning-paimon 模块虽小,却用三个 Java 示例完整覆盖了 Paimon 最主流的三种接入方式:

示例类 源码位置 核心场景
PaimonDataLakeExample PaimonDataLakeExample.java 基于文件系统 Catalog 的建库、建表、写入、查询全流程
PaimonStreamingWriteExample PaimonStreamingWriteExample.java Kafka 实时流写入 Paimon(流式数据湖典型链路)
PaimonCDCSyncExample PaimonCDCSyncExample.java MySQL CDC 实时同步到 Paimon(湖仓一体核心场景)

三个示例都基于 Flink Table API / SQL 编写:程序先创建 StreamExecutionEnvironment 与 StreamTableEnvironment,再通过 executeSql 提交 DDL/DML。共同的前置动作包括:

StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
env.setParallelism(1);                 // 单并行度,便于本地演示
env.enableCheckpointing(5000);         // 每 5 秒触发一次 Checkpoint
EnvironmentSettings settings = EnvironmentSettings.newInstance()
        .inStreamingMode()             // 流模式
        .build();
StreamTableEnvironment tEnv = StreamTableEnvironment.create(env, settings);

其中 enableCheckpointing(5000) 是 Paimon 写入的关键前提:Paimon 的每次提交都依赖 Flink Checkpoint 机制,将两次 Checkpoint 之间的增量数据固化为数据文件并推进快照(Snapshot),因此不开启 Checkpoint 就无法获得正确的写入与可见性语义。

三、场景一:Paimon Data Lake 入门——建表、写入与查询

PaimonDataLakeExample.java 是最完整的入门示例,演示了从零创建数据湖并使用的五个步骤。

3.1 创建 Paimon Catalog(文件系统实现)

tEnv.executeSql("CREATE CATALOG paimon_catalog WITH (\n" +
        "    'type' = 'paimon',\n" +
        "    'warehouse' = '/tmp/paimon_warehouse'\n" +
        ")");

tEnv.executeSql("USE CATALOG paimon_catalog");
tEnv.executeSql("CREATE DATABASE IF NOT EXISTS paimon_db");
tEnv.executeSql("USE paimon_db");
  • type = 'paimon' 指定 Catalog 类型为 Paimon;
  • warehouse 指向数据湖的根目录,这里使用本地路径 /tmp/paimon_warehouse,运行前需确保该路径可写。生产环境可替换为 HDFS、OSS、S3 等文件系统路径;
  • 之后通过 USE CATALOG / CREATE DATABASE / USE 切换到 Paimon 命名空间下的库。

3.2 创建主键表并分区

tEnv.executeSql("CREATE TABLE IF NOT EXISTS paimon_users (\n" +
        "    id INT,\n" +
        "    name STRING,\n" +
        "    age INT,\n" +
        "    dt STRING,\n" +
        "    PRIMARY KEY (id, dt) NOT ENFORCED\n" +
        ") PARTITIONED BY (dt)");

这里体现了 Paimon 的两种核心表类型(源码注释中明确说明):

  • 主键表(Primary Key Table):声明 PRIMARY KEY,支持数据的更新与删除,适合维表、明细实时更新等场景;
  • 仅追加表(Append Only Table):不声明主键,只做追加写入,适合日志、事件流等场景。

示例同时使用 PARTITIONED BY (dt) 按天分区,主键由业务键 id 与分区字段 dt 共同构成,这是 Paimon 推荐的"主键含分区字段"写法,便于后续做分区裁剪查询。

3.3 插入与查询

tEnv.executeSql("INSERT INTO paimon_users VALUES\n" +
        "    (1, 'Alice', 30, '2024-01-01'),\n" +
        "    (2, 'Bob', 25, '2024-01-01'),\n" +
        "    (3, 'Charlie', 35, '2024-01-02')");

tEnv.executeSql("SELECT * FROM paimon_users").print();

插入完成后直接 SELECT * ... .print() 即可在客户端打印数据湖中的最新结果——批式查询立刻能看到流式作业提交的数据,这正是 Paimon 流批统一的直观体验。

四、场景二:Kafka 实时写入 Paimon 流式数据湖

PaimonStreamingWriteExample.java 演示了生产中最常见的链路:Kafka → Paimon。

4.1 创建 Kafka 源表

Kafka 源表创建在默认 Catalog 中,使用 Flink Kafka Connector:

String kafkaSourceDDL = "CREATE TABLE kafka_source (\n" +
        "    user_id INT,\n" +
        "    item_id INT,\n" +
        "    behavior STRING,\n" +
        "    ts TIMESTAMP(3),\n" +
        "    WATERMARK FOR ts AS ts - INTERVAL '5' SECOND\n" +
        ") WITH (\n" +
        "    'connector' = 'kafka',\n" +
        "    'topic' = 'user_behavior',\n" +
        "    'properties.bootstrap.servers' = 'localhost:9092',\n" +
        "    'properties.group.id' = 'paimon-group',\n" +
        "    'scan.startup.mode' = 'earliest-offset',\n" +
        "    'format' = 'json'\n" +
        ")";

关键参数说明:

参数 值 作用
connector kafka 指定 Flink Kafka 连接器
topic user_behavior 消费的 Kafka 主题,运行前需预先创建
properties.bootstrap.servers localhost:9092 Kafka 集群地址
properties.group.id paimon-group 消费组,用于记录消费位点
scan.startup.mode earliest-offset 从最早位点开始消费,保证数据不丢
format json 消息体为 JSON 格式

4.2 创建 Paimon 目标主键表并流式写入

tEnv.executeSql("CREATE TABLE IF NOT EXISTS paimon_user_behavior (\n" +
        "    user_id INT,\n" +
        "    item_id INT,\n" +
        "    behavior STRING,\n" +
        "    ts TIMESTAMP(3),\n" +
        "    dt STRING,\n" +
        "    PRIMARY KEY (user_id, dt) NOT ENFORCED\n" +
        ") PARTITIONED BY (dt)");

tEnv.executeSql("INSERT INTO paimon_user_behavior " +
        "SELECT user_id, item_id, behavior, ts, DATE_FORMAT(ts, 'yyyy-MM-dd') " +
        "FROM default_catalog.default_database.kafka_source");

写入时通过 DATE_FORMAT(ts, 'yyyy-MM-dd') 将事件时间转换为日期字符串,作为 Paimon 表的分区字段 dt,实现按天自动分区。跨 Catalog 读取表需写全限定名 default_catalog.default_database.kafka_source。

如源码注释所述,Paimon 的流式写入会自动合并数据,支持 partial-update(部分字段更新)等高级合并模式——同一主键的多条流式记录会根据合并引擎聚合成最终状态,这使其非常适合实时维表与增量更新场景。

五、场景三:MySQL CDC 实时同步 Paimon(湖仓一体)

PaimonCDCSyncExample.java 演示了湖仓一体的标志性场景:MySQL binlog → Paimon 数据湖,让关系型数据库的变更以实时增量方式沉淀为数据湖表。

5.1 创建 MySQL CDC 源表

String mysqlSourceDDL = "CREATE TABLE mysql_orders (\n" +
        "    order_id INT NOT NULL,\n" +
        "    order_date TIMESTAMP(3),\n" +
        "    customer_name STRING,\n" +
        "    product_name STRING,\n" +
        "    price DECIMAL(10, 2),\n" +
        "    order_status STRING,\n" +
        "    PRIMARY KEY (order_id) NOT ENFORCED\n" +
        ") WITH (\n" +
        "    'connector' = 'mysql-cdc',\n" +
        "    'hostname' = 'localhost',\n" +
        "    'port' = '3306',\n" +
        "    'username' = 'root',\n" +
        "    'password' = '123456',\n" +
        "    'database-name' = 'mydb',\n" +
        "    'table-name' = 'orders'\n" +
        ")";

运行前需要满足两个前置条件(源码注释明确列出):① 启动 MySQL 并开启 binlog;② 在 mydb 库中创建 orders 表并插入测试数据。同时需要在项目中引入 flink-sql-connector-mysql-cdc 依赖——仓库中的 flink-mysql-cdc 模块 pom.xml 展示了该依赖的标准引入方式:

<dependency>
    <groupId>com.ververica</groupId>
    <artifactId>flink-sql-connector-mysql-cdc</artifactId>
    <version>${flink-cdc.version}</version>
</dependency>

根 pom 中对应声明 flink-cdc.version=3.0.1(见 根 pom.xml)。

5.2 创建 Paimon 目标表并同步

tEnv.executeSql("CREATE TABLE IF NOT EXISTS paimon_orders (\n" +
        "    order_id INT,\n" +
        "    order_date TIMESTAMP(3),\n" +
        "    customer_name STRING,\n" +
        "    product_name STRING,\n" +
        "    price DECIMAL(10, 2),\n" +
        "    order_status STRING,\n" +
        "    dt STRING,\n" +
        "    PRIMARY KEY (order_id, dt) NOT ENFORCED\n" +
        ") PARTITIONED BY (dt)");

tEnv.executeSql("INSERT INTO paimon_orders " +
        "SELECT order_id, order_date, customer_name, product_name, price, order_status, " +
        "DATE_FORMAT(order_date, 'yyyy-MM-dd') " +
        "FROM default_catalog.default_database.mysql_orders");

这里需要注意一个关键事实(源码注释中明确指出):Paimon 作为流式数据湖存储,天然支持 CDC 数据的写入,主键表会自动处理 INSERT / UPDATE / DELETE 三种操作。也就是说,MySQL 中的新增、修改、删除会以相同的变更语义同步到 Paimon 表中——这正是"主键表"相对"仅追加表"的核心价值,也是湖仓一体能够替代传统 Lambda 架构中"变更数据同步层"的根本原因。

六、架构理解:Paimon 如何支撑流批统一

原模块文档设有"架构"一节,指向一张架构图(该图托管于外部对象存储,无法在仓库内直接引用)。结合三个示例的运行机制,可以从源码层面对 Paimon 的架构要点做如下归纳:

  1. 存储层:以 warehouse 目录为根,按 Catalog → Database → Table 分层组织,表数据以列式文件存放并按分区管理;
  2. 写入层:流式作业(Kafka 源、CDC 源)持续写入,依赖 Flink Checkpoint 周期性提交快照,将增量文件原子地发布为可见数据;
  3. 合并层:主键表通过合并引擎将多路流(或同一主键的多条变更)合并为最终状态,支持 partial-update 等模式;
  4. 查询层:批式查询(SELECT)直接读取快照内的文件集合,流式消费则可订阅持续产生的快照,一套存储同时服务流与批。

对照仓库,这一架构在数据湖领域与 hudi、iceberg、deltalake 并列(见 datalake 聚合模块 pom.xml),而 Paimon 的差异化优势正在于其对 Flink 流处理语义(Checkpoint、水印、主键更新)的一等公民支持。

七、运行与验证建议

  • 依赖准备:确认引入 flink-table-api-java-bridge、flink-table-planner 以及 Paimon 依赖(paimon.version=1.3.1,见 datalake 聚合模块 pom.xml);CDC 场景额外引入 flink-sql-connector-mysql-cdc;
  • 文件系统:确保 /tmp/paimon_warehouse 可写,或将 warehouse 指向 HDFS/S3/OSS 路径;
  • Kafka 场景:先创建 user_behavior 主题并向其发送 JSON 数据,再运行 PaimonStreamingWriteExample.java,观察数据随 Checkpoint 周期落盘;
  • CDC 场景:开启 MySQL binlog 后运行 PaimonCDCSyncExample.java,在 MySQL 中执行 INSERT / UPDATE / DELETE,验证 Paimon 表中状态的对应变化;
  • 验证方式:在任意示例的建表、写入逻辑后追加 SELECT * FROM 目标表 并 .print(),即可确认数据湖中的最终结果。

总结

本文围绕 flink-learning 仓库中的 flink-learning-paimon 模块 及其三个源码示例,完整覆盖了 Paimon(原 Flink Table Store)从概念到实战的路径:通过 Paimon Catalog 建湖建表、主键表与分区表的使用、Kafka 流式实时入库、MySQL CDC 变更实时同步,以及 Paimon 依赖 Flink Checkpoint 实现流批统一快照提交的底层机制。读者可在此基础上,将 /tmp/paimon_warehouse 替换为生产文件系统,把三套模板直接演进为实时数仓中"ODS 增量入湖 → 明细更新 → 批流统一查询"的湖仓一体链路。

登录后查看全文
flink-learning