RisingWave 实时数据湖方案实战:Sink 到 Iceberg 并基于 Airflow 实现 Iceberg Compaction

原创2026-09-24 11:44:161,947 阅读
文章标签:数据库流处理后端数据工程

RisingWave 实时数据湖方案实战:Sink 到 Iceberg 并基于 Airflow 实现 Iceberg Compaction

本篇技术指南基于 RisingWave 仓库中的 integration_tests/iceberg-sink/README.md 及其配套 Demo 展开,完整讲解如何将 RisingWave 的实时流式数据持续写入 Apache Iceberg 数据湖,并用 Presto 进行大数据分析;随后深入介绍如何借助 Airflow 定时触发 Spark 对 Iceberg 表执行 Compaction(重写小文件、清理孤儿文件),构建可长期稳定运行的「流式数据仓库」方案。读完本文,你将掌握从 Docker Compose 拉起整套环境、创建 Iceberg 表、运行 CDC 源/物化视图/Sink 三件套、用 Presto 查询,到配置 Airflow 定时压缩任务的完整落地流程,并理解其中每个关键配置项背后的实现细节。

为什么需要把 RisingWave 的流式结果 Sink 到 Iceberg

RisingWave 是一个流式处理引擎,其核心擅长的是持续不断地摄取(ingest)、转换(transform)并实时服务(serve)事件流。但正如 README 中所指出的,RisingWave 面向复杂即席查询(ad-hoc queries)的能力是有限的——这类查询通常依赖列式存储(columnar storage)与代码生成(code generation)等优化手段,而 RisingWave 内部存储格式是行式(row-based)的,其批量处理能力并未作为优先优化方向。

因此,社区推荐的标准解法是:将流式结果持续 Sink 到 Iceberg 或其他数据湖,构建「流式数据仓库」(streaming data warehouse)——由 RisingWave 负责实时计算与物化,由数据湖负责大规模离线分析。本文的 Demo 正是这一架构的最小可复现实例。

Demo 一:端到端 Sink 到 Iceberg

1. 架构总览:一套 Docker Compose 拉起全部依赖

在 docker-compose.yml 中,docker compose up -d 会拉起一个完整的演示集群,包含:

服务 作用
risingwave-standalone RisingWave 集群(复用 docker/docker-compose.yml 中的 standalone 配置),负责建源、建物化视图、建 Sink
mysql + prepare_mysql 模拟业务库,mysql_prepare.sql 负责初始化表结构与种子数据
datagen 数据生成器(构建自 integration_tests/datagen),以 clickstream 模式向 MySQL 持续写入行为数据
spark + spark-worker Spark master/worker,用于执行 Iceberg 建表与后续 Compaction
presto 预装 Iceberg 连接器的 Presto,用于查询数据湖中的结果
minio-0 S3 兼容的对象存储,作为 Iceberg 的 warehouse 底座
grafana-0 / prometheus-0 / postgres-0 监控与元数据支撑(由基础 compose 提供)

启动命令与 README 一致:

docker compose up -d

需要强调的是,数据流向为:datagen(模拟点击流)→ mysql(业务库)→ RisingWave 通过 MySQL CDC 摄取 → 物化视图实时计算 → Iceberg Sink 写入 s3://hummock001/iceberg-data(实际落盘在 MinIO)→ Presto 即席查询。

2. 用 Spark 创建 Iceberg 表

因为 RisingWave 当前 Demo 的 Sink 目标是已存在的表,所以先要在 Spark 侧建表:

docker compose exec spark bash /spark-script/run-sql-file.sh create-table

该脚本(spark-script/run-sql-file.sh)实际执行的 Spark SQL 命令如下,其中的包依赖、Spark catalog 与 S3 配置参数值得逐项对照:

spark-sql --packages org.apache.iceberg:iceberg-spark-runtime-3.2_2.12:1.1.0,org.apache.hadoop:hadoop-aws:3.3.2\
    --master spark://spark:7077 \
    --conf spark.sql.catalog.demo=org.apache.iceberg.spark.SparkCatalog \
    --conf spark.sql.catalog.demo.type=hadoop \
    --conf spark.sql.catalog.demo.warehouse=s3a://hummock001/iceberg-data \
    --conf spark.sql.catalog.demo.hadoop.fs.s3a.endpoint=http://minio-0:9301 \
    --conf spark.sql.catalog.demo.hadoop.fs.s3a.path.style.access=true \
    --conf spark.sql.catalog.demo.hadoop.fs.s3a.access.key=hummockadmin \
    --conf spark.sql.catalog.demo.hadoop.fs.s3a.secret.key=hummockadmin \
    --conf spark.sql.defaultCatalog=demo \
    -f /spark-script/$1.sql

参数含义:

  • --packages:引入 Iceberg Spark Runtime(1.1.0,对应 Spark 3.2)与 Hadoop S3A 客户端,是后续读写 S3/MinIO 的前提;
  • --master spark://spark:7077:提交到 compose 中名为 spark 的 master 节点;
  • spark.sql.catalog.demo.type=hadoop:使用 Hadoop Catalog(Storage 型 Catalog,即无独立元数据服务,表元数据以 JSON 文件存放于 warehouse 路径下)——这与下方 RisingWave Sink 的 catalog.type = 'storage' 严格对应;
  • spark.sql.catalog.demo.warehouse:Iceberg 表数据的存储根路径;
  • hadoop.fs.s3a.endpoint / access.key / secret.key / path.style.access:访问 MinIO 的 S3A 配置(endpoint 指向 minio-0:9301)。

建表 SQL(spark-script/create-table.sql)创建了一张字段与后续 Sink 列一一对应的 v2 格式表:

CREATE TABLE demo.demo_db.demo_table
(
  user_id string,
  target_id string,
  event_timestamp string
) TBLPROPERTIES ('format-version'='2');

注意 Iceberg v2 表格式(format-version=2) 是支持 RisingWave type='upsert' 行级更新的关键前提——v2 格式下的 position delete 机制能让 upsert 场景正确反映数据的增删改。

3. 依次执行三个 SQL:建源、建物化视图、建 Sink

Demo 要求按顺序执行 create_source.sql → create_mv.sql → create_sink.sql,三者分别是:

① 创建 MySQL CDC 源(create_source.sql):

CREATE TABLE user_behaviors (
    user_id VARCHAR,
    target_id VARCHAR,
    target_type VARCHAR,
    event_timestamp VARCHAR,
    behavior_type VARCHAR,
    parent_target_type VARCHAR,
    parent_target_id VARCHAR,
    PRIMARY KEY(user_id, target_id, event_timestamp)
) with (
    connector = 'mysql-cdc',
    hostname = 'mysql',
    port = '3306',
    username = 'root',
    password = '123456',
    database.name = 'mydb',
    table.name = 'user_behaviors',
    server.id = '1'
);

关键点:connector = 'mysql-cdc' 表示这是一个 MySQL CDC 源表;server.id = '1' 是 MySQL Binlog 复制所需的唯一 server id,多实例并行时需确保互不冲突。

② 创建物化视图(create_mv.sql):

CREATE MATERIALIZED VIEW bhv_mv AS
SELECT
    user_id,
    target_id,
    event_timestamp
FROM
    user_behaviors;

物化视图 bhv_mv 从 CDC 源中选取三列,作为 Sink 的输出投影;它在 RisingWave 中以流式方式持续维护。

③ 创建 Iceberg Sink(create_sink.sql):

CREATE SINK bhv_iceberg_sink
FROM
    bhv_mv WITH (
    connector = 'iceberg',
    type = 'upsert',
    primary_key = 'user_id, target_id, event_timestamp',
    warehouse.path = 's3://hummock001/iceberg-data',
    s3.endpoint = 'http://minio-0:9301',
    s3.access.key = 'hummockadmin',
    s3.secret.key = 'hummockadmin',
    s3.region = 'us-east-1',
    catalog.type = 'storage',
    database.name='demo',
    table.name='demo_db.demo_table'
);

各参数的实际作用:

  • connector = 'iceberg':指定 Sink 连接器为 Iceberg;
  • type = 'upsert':以主键做 upsert 写入。这里必须与 Iceberg 表本身的 format-version=2 配合,才能正确处理主键更新与删除;
  • primary_key:与建源时定义的联合主键保持一致,作为 upsert 的去重依据;
  • warehouse.path:Iceberg 仓库根路径,s3://hummock001/iceberg-data 前缀与 Spark 建表时 s3a://hummock001/iceberg-data 指向同一对象存储桶;
  • s3.endpoint / s3.access.key / s3.secret.key / s3.region:对象存储连接信息,与 Spark 侧 S3A 配置完全对应(同一 MinIO);
  • catalog.type = 'storage':使用 Storage Catalog(即 Hadoop Catalog),表元数据直接写在 warehouse 中,无需额外的元数据服务,是最轻量的本地 Demo 选择;
  • database.name = 'demo'、table.name = 'demo_db.demo_table':目标库与目标表。注意 table.name 采用 库名.表名 的完整限定形式,指向 Spark 已建好的 demo.demo_db.demo_table。

从源码层面看,Iceberg Sink 连接器实现位于 src/connector 目录下(涉及 sink 的 iceberg 模块),其中 catalog.type 的解析、S3 凭据注入与上述配置参数一一对应;你可以通过 catalog.type = 'storage' 与 Spark 的 type=hadoop 在语义上互为印证。

4. 用 Presto 查询数据湖

Sink 建立后,RisingWave 会持续把物化视图的新增数据写入 Iceberg。此时连接到 compose 中预装的 Presto:

docker compose exec presto presto-cli --server localhost:8080

执行与 README 相同的聚合查询(iceberg-query.sql):

select user_id, count(*) from iceberg.demo_db.demo_table group by user_id;

这里 iceberg 是 Presto 的 Iceberg catalog(配置见 presto-with-iceberg/iceberg.properties 与 hadoop-catalog.xml),它直接读取 MinIO 上由 RisingWave 写入的 Iceberg 数据。

仓库还提供了一个一键校验脚本 sink_check.py:等待 60 秒后自动向 Presto 发起上述查询并断言输出非空,可作为 CI 或本地自测的验证手段。

Demo 二:用 Airflow 定时执行 Iceberg Compaction

为什么需要 Compaction

流式 Sink 会不断产生新的小数据文件(snapshot/parquet 文件)。文件数量持续增长会导致两个问题:

  1. 查询变慢:Presto/Spark 需要扫描大量小文件,元数据与调度开销显著上升;
  2. 存储膨胀:过期快照与孤儿文件(orphan files)占用不必要的存储。

Iceberg 提供的解决手段是 Spark 存储过程(Spark Procedures,即 CALL 语句),包括重写数据文件、重写 manifests、过期快照、清理孤儿文件等。Demo 二使用 Airflow 以固定时间间隔触发这些过程,避免小文件问题拖慢查询。

1. 构建镜像并启动

Demo 二在 Demo 一基础上增加了 Airflow 全家桶(webserver/scheduler/worker/init),Dockerfile 采用多阶段构建(target: airflow 与 target: spark 两个目标),因此需要先构建再启动:

docker-compose up --build

Airflow 采用 CeleryExecutor,后端元数据库为 PostgreSQL(AIRFLOW__DATABASE__SQL_ALCHEMY_CONN 指向 postgres 服务),broker 为 Redis(AIRFLOW__CELERY__BROKER_URL 指向 redis://:@redis:6379/0);DAG 目录通过 volume 挂载 ./airflow_dags:/opt/airflow/dags,压缩 SQL 脚本目录挂载为 ./iceberg-compaction-sql:/opt/airflow/iceberg-compaction-sql,这些路径与后文 DAG 中的相对路径一一对应。

2. 为 Airflow UI 创建用户并登录

默认 Airflow 不预设可登录的管理员账号,需要先创建一个:

docker compose exec airflow-webserver airflow users create \
    --username admin \
    --firstname xx \
    --lastname xx \
    --role Admin \
    --email risingwaveman@superhero.org

创建完成后,浏览器访问 localhost:8080,用刚设置的用户名和密码登录 Airflow UI(默认端口为 8080)。

3. 配置 Spark Connection

在 Airflow UI 中进入 Admin → Connection,新增一条连接:

字段 值
Connection Id spark_local
Connection Type Spark
Host spark://spark:7077

这个 conn_id 必须与 DAG 中 SparkSubmitOperator 的 conn_id = "spark_local" 完全一致,否则任务提交会失败。

4. 认识两个定时 DAG

Airflow UI 的 DAGS 页面中可以看到两个 DAG,它们分别对应两类 Compaction 任务:

rewrite_iceberg_small_files(定义见 airflow_dags/rewrite_iceberg_small_files.py):

  • schedule_interval = datetime.timedelta(hours=1):每小时执行一次;
  • 通过 SparkSubmitOperator 运行 ./iceberg-compaction-sql/rewrite_small_files.py;
  • SPARK_PACKAGES 为 org.apache.iceberg:iceberg-spark-runtime-3.3_2.12:1.0.0 与 hadoop-aws:3.3.2(与建表脚本的 3.2 运行时版本不同,但功能等价)。

对应的实际压缩脚本 iceberg-compaction-sql/rewrite_small_files.py 依次执行:

spark.sql("CALL demo.system.rewrite_data_files('demo.demo_db.demo_table')").show()
# There may be a failure here because of Iceberg's optimistic lock, so add a manual retryy
for i in range(num_rewrite_manifest_retries):
    time.sleep(2)
    try:
        spark.sql(f"CALL demo.system.rewrite_manifests('demo.demo_db.demo_table')").show()
    except Exception as exc:
        if i + 1 == num_rewrite_manifest_retries:
            raise exc
    break

其中 rewrite_data_files 将小数据文件合并重写为较大文件(默认策略),rewrite_manifests 重写 manifest 以减少元数据文件数量;脚本注释明确指出 rewrite_manifests 可能因 Iceberg 的乐观锁(optimistic lock)并发冲突而失败,因此加入了最多 3 次、每次间隔 2 秒的重试逻辑。

remove_iceberg_orphan_files(定义见 airflow_dags/remove_iceberg_orphan_files.py):

  • schedule_interval = datetime.timedelta(days=1):每天执行一次;
  • 运行 ./iceberg-compaction-sql/remove_orphan_files.py。

对应的脚本 iceberg-compaction-sql/remove_orphan_files.py 执行:

spark.sql(f"CALL demo.system.expire_snapshots('demo.demo_db.demo_table')").show()
time.sleep(2)
spark.sql(f"CALL demo.system.remove_orphan_files('demo.demo_db.demo_table')").show()

expire_snapshots 用于移除过期快照(释放被删除数据占用的空间),remove_orphan_files 用于清理不再被任何快照引用的孤儿文件。该文件同时定义了共享的 get_spark() 工厂函数(配置 S3A endpoint、access key、secret key 等),供两个压缩脚本复用。

两个 DAG 均设置了 catchup=False(不回溯补跑错过的调度周期)与 tags=["iceberg"],方便在 UI 中按标签过滤。默认的压缩频率(小文件/manifest 每小时一次、孤儿快照与文件每天一次)可以通过修改 DAG 中的 schedule_interval 以及 iceberg-compaction-sql 目录下的脚本进行自定义。

5. 触发任务并观察运行

在 Airflow UI 的 DAG 列表中点击 rewrite_iceberg_small_files 或 remove_iceberg_orphan_files,即可在 Trigger DAG 中手动触发一次,或直接等待调度器按周期自动运行。任务会以 SparkSubmitOperator 的方式把 PySpark 应用提交到 spark://spark:7077,压缩过程在 spark-worker 上执行,写入结果落回 MinIO 上的 Iceberg warehouse。

小结:一套可复用的「流式数据仓库」模式

通过这两个 Demo 可以总结出清晰的架构模式:

  1. 实时链路:RisingWave 以 MySQL CDC 摄取业务数据 → 物化视图持续计算 → Iceberg Sink 以 upsert 语义写入数据湖(docker-compose.yml + create_sink.sql);
  2. 分析链路:Presto/Spark 直接查询数据湖中的 Iceberg 表(iceberg-query.sql),规避 RisingWave 行式存储对复杂即席查询的限制;
  3. 运维链路:Airflow 定时触发 Spark 执行 rewrite_data_files / rewrite_manifests / expire_snapshots / remove_orphan_files,保证小文件与孤儿文件规模可控(airflow_dags、iceberg-compaction-sql)。

这套 Demo 中所有关键配置——S3/MinIO 凭据、warehouse 路径、catalog 类型——在 Spark 建表、RisingWave Sink 与 PySpark 压缩脚本三处保持严格一致,这正是生产环境中需要格外注意的点。你可以在此基础上把 mysql 换成真实业务库、把 MinIO 换成生产对象存储、把 Airflow 换成已有的调度平台,从而快速搭建属于你自己的流式数据仓库。

登录后查看全文
risingwave