RisingWave 实时数据湖方案实战:Sink 到 Iceberg 并基于 Airflow 实现 Iceberg Compaction
RisingWave 实时数据湖方案实战:Sink 到 Iceberg 并基于 Airflow 实现 Iceberg Compaction
本篇技术指南基于 RisingWave 仓库中的 integration_tests/iceberg-sink/README.md 及其配套 Demo 展开,完整讲解如何将 RisingWave 的实时流式数据持续写入 Apache Iceberg 数据湖,并用 Presto 进行大数据分析;随后深入介绍如何借助 Airflow 定时触发 Spark 对 Iceberg 表执行 Compaction(重写小文件、清理孤儿文件),构建可长期稳定运行的「流式数据仓库」方案。读完本文,你将掌握从 Docker Compose 拉起整套环境、创建 Iceberg 表、运行 CDC 源/物化视图/Sink 三件套、用 Presto 查询,到配置 Airflow 定时压缩任务的完整落地流程,并理解其中每个关键配置项背后的实现细节。
为什么需要把 RisingWave 的流式结果 Sink 到 Iceberg
RisingWave 是一个流式处理引擎,其核心擅长的是持续不断地摄取(ingest)、转换(transform)并实时服务(serve)事件流。但正如 README 中所指出的,RisingWave 面向复杂即席查询(ad-hoc queries)的能力是有限的——这类查询通常依赖列式存储(columnar storage)与代码生成(code generation)等优化手段,而 RisingWave 内部存储格式是行式(row-based)的,其批量处理能力并未作为优先优化方向。
因此,社区推荐的标准解法是:将流式结果持续 Sink 到 Iceberg 或其他数据湖,构建「流式数据仓库」(streaming data warehouse)——由 RisingWave 负责实时计算与物化,由数据湖负责大规模离线分析。本文的 Demo 正是这一架构的最小可复现实例。
Demo 一:端到端 Sink 到 Iceberg
1. 架构总览:一套 Docker Compose 拉起全部依赖
在 docker-compose.yml 中,docker compose up -d 会拉起一个完整的演示集群,包含:
| 服务 | 作用 |
|---|---|
risingwave-standalone |
RisingWave 集群(复用 docker/docker-compose.yml 中的 standalone 配置),负责建源、建物化视图、建 Sink |
mysql + prepare_mysql |
模拟业务库,mysql_prepare.sql 负责初始化表结构与种子数据 |
datagen |
数据生成器(构建自 integration_tests/datagen),以 clickstream 模式向 MySQL 持续写入行为数据 |
spark + spark-worker |
Spark master/worker,用于执行 Iceberg 建表与后续 Compaction |
presto |
预装 Iceberg 连接器的 Presto,用于查询数据湖中的结果 |
minio-0 |
S3 兼容的对象存储,作为 Iceberg 的 warehouse 底座 |
grafana-0 / prometheus-0 / postgres-0 |
监控与元数据支撑(由基础 compose 提供) |
启动命令与 README 一致:
docker compose up -d
需要强调的是,数据流向为:datagen(模拟点击流)→ mysql(业务库)→ RisingWave 通过 MySQL CDC 摄取 → 物化视图实时计算 → Iceberg Sink 写入 s3://hummock001/iceberg-data(实际落盘在 MinIO)→ Presto 即席查询。
2. 用 Spark 创建 Iceberg 表
因为 RisingWave 当前 Demo 的 Sink 目标是已存在的表,所以先要在 Spark 侧建表:
docker compose exec spark bash /spark-script/run-sql-file.sh create-table
该脚本(spark-script/run-sql-file.sh)实际执行的 Spark SQL 命令如下,其中的包依赖、Spark catalog 与 S3 配置参数值得逐项对照:
spark-sql --packages org.apache.iceberg:iceberg-spark-runtime-3.2_2.12:1.1.0,org.apache.hadoop:hadoop-aws:3.3.2\
--master spark://spark:7077 \
--conf spark.sql.catalog.demo=org.apache.iceberg.spark.SparkCatalog \
--conf spark.sql.catalog.demo.type=hadoop \
--conf spark.sql.catalog.demo.warehouse=s3a://hummock001/iceberg-data \
--conf spark.sql.catalog.demo.hadoop.fs.s3a.endpoint=http://minio-0:9301 \
--conf spark.sql.catalog.demo.hadoop.fs.s3a.path.style.access=true \
--conf spark.sql.catalog.demo.hadoop.fs.s3a.access.key=hummockadmin \
--conf spark.sql.catalog.demo.hadoop.fs.s3a.secret.key=hummockadmin \
--conf spark.sql.defaultCatalog=demo \
-f /spark-script/$1.sql
参数含义:
--packages:引入 Iceberg Spark Runtime(1.1.0,对应 Spark 3.2)与 Hadoop S3A 客户端,是后续读写 S3/MinIO 的前提;--master spark://spark:7077:提交到 compose 中名为spark的 master 节点;spark.sql.catalog.demo.type=hadoop:使用 Hadoop Catalog(Storage 型 Catalog,即无独立元数据服务,表元数据以 JSON 文件存放于 warehouse 路径下)——这与下方 RisingWave Sink 的catalog.type = 'storage'严格对应;spark.sql.catalog.demo.warehouse:Iceberg 表数据的存储根路径;hadoop.fs.s3a.endpoint / access.key / secret.key / path.style.access:访问 MinIO 的 S3A 配置(endpoint 指向minio-0:9301)。
建表 SQL(spark-script/create-table.sql)创建了一张字段与后续 Sink 列一一对应的 v2 格式表:
CREATE TABLE demo.demo_db.demo_table
(
user_id string,
target_id string,
event_timestamp string
) TBLPROPERTIES ('format-version'='2');
注意 Iceberg v2 表格式(format-version=2) 是支持 RisingWave type='upsert' 行级更新的关键前提——v2 格式下的 position delete 机制能让 upsert 场景正确反映数据的增删改。
3. 依次执行三个 SQL:建源、建物化视图、建 Sink
Demo 要求按顺序执行 create_source.sql → create_mv.sql → create_sink.sql,三者分别是:
① 创建 MySQL CDC 源(create_source.sql):
CREATE TABLE user_behaviors (
user_id VARCHAR,
target_id VARCHAR,
target_type VARCHAR,
event_timestamp VARCHAR,
behavior_type VARCHAR,
parent_target_type VARCHAR,
parent_target_id VARCHAR,
PRIMARY KEY(user_id, target_id, event_timestamp)
) with (
connector = 'mysql-cdc',
hostname = 'mysql',
port = '3306',
username = 'root',
password = '123456',
database.name = 'mydb',
table.name = 'user_behaviors',
server.id = '1'
);
关键点:connector = 'mysql-cdc' 表示这是一个 MySQL CDC 源表;server.id = '1' 是 MySQL Binlog 复制所需的唯一 server id,多实例并行时需确保互不冲突。
② 创建物化视图(create_mv.sql):
CREATE MATERIALIZED VIEW bhv_mv AS
SELECT
user_id,
target_id,
event_timestamp
FROM
user_behaviors;
物化视图 bhv_mv 从 CDC 源中选取三列,作为 Sink 的输出投影;它在 RisingWave 中以流式方式持续维护。
③ 创建 Iceberg Sink(create_sink.sql):
CREATE SINK bhv_iceberg_sink
FROM
bhv_mv WITH (
connector = 'iceberg',
type = 'upsert',
primary_key = 'user_id, target_id, event_timestamp',
warehouse.path = 's3://hummock001/iceberg-data',
s3.endpoint = 'http://minio-0:9301',
s3.access.key = 'hummockadmin',
s3.secret.key = 'hummockadmin',
s3.region = 'us-east-1',
catalog.type = 'storage',
database.name='demo',
table.name='demo_db.demo_table'
);
各参数的实际作用:
connector = 'iceberg':指定 Sink 连接器为 Iceberg;type = 'upsert':以主键做 upsert 写入。这里必须与 Iceberg 表本身的format-version=2配合,才能正确处理主键更新与删除;primary_key:与建源时定义的联合主键保持一致,作为 upsert 的去重依据;warehouse.path:Iceberg 仓库根路径,s3://hummock001/iceberg-data前缀与 Spark 建表时s3a://hummock001/iceberg-data指向同一对象存储桶;s3.endpoint / s3.access.key / s3.secret.key / s3.region:对象存储连接信息,与 Spark 侧 S3A 配置完全对应(同一 MinIO);catalog.type = 'storage':使用 Storage Catalog(即 Hadoop Catalog),表元数据直接写在 warehouse 中,无需额外的元数据服务,是最轻量的本地 Demo 选择;database.name = 'demo'、table.name = 'demo_db.demo_table':目标库与目标表。注意table.name采用库名.表名的完整限定形式,指向 Spark 已建好的demo.demo_db.demo_table。
从源码层面看,Iceberg Sink 连接器实现位于 src/connector 目录下(涉及 sink 的 iceberg 模块),其中 catalog.type 的解析、S3 凭据注入与上述配置参数一一对应;你可以通过 catalog.type = 'storage' 与 Spark 的 type=hadoop 在语义上互为印证。
4. 用 Presto 查询数据湖
Sink 建立后,RisingWave 会持续把物化视图的新增数据写入 Iceberg。此时连接到 compose 中预装的 Presto:
docker compose exec presto presto-cli --server localhost:8080
执行与 README 相同的聚合查询(iceberg-query.sql):
select user_id, count(*) from iceberg.demo_db.demo_table group by user_id;
这里 iceberg 是 Presto 的 Iceberg catalog(配置见 presto-with-iceberg/iceberg.properties 与 hadoop-catalog.xml),它直接读取 MinIO 上由 RisingWave 写入的 Iceberg 数据。
仓库还提供了一个一键校验脚本 sink_check.py:等待 60 秒后自动向 Presto 发起上述查询并断言输出非空,可作为 CI 或本地自测的验证手段。
Demo 二:用 Airflow 定时执行 Iceberg Compaction
为什么需要 Compaction
流式 Sink 会不断产生新的小数据文件(snapshot/parquet 文件)。文件数量持续增长会导致两个问题:
- 查询变慢:Presto/Spark 需要扫描大量小文件,元数据与调度开销显著上升;
- 存储膨胀:过期快照与孤儿文件(orphan files)占用不必要的存储。
Iceberg 提供的解决手段是 Spark 存储过程(Spark Procedures,即 CALL 语句),包括重写数据文件、重写 manifests、过期快照、清理孤儿文件等。Demo 二使用 Airflow 以固定时间间隔触发这些过程,避免小文件问题拖慢查询。
1. 构建镜像并启动
Demo 二在 Demo 一基础上增加了 Airflow 全家桶(webserver/scheduler/worker/init),Dockerfile 采用多阶段构建(target: airflow 与 target: spark 两个目标),因此需要先构建再启动:
docker-compose up --build
Airflow 采用 CeleryExecutor,后端元数据库为 PostgreSQL(AIRFLOW__DATABASE__SQL_ALCHEMY_CONN 指向 postgres 服务),broker 为 Redis(AIRFLOW__CELERY__BROKER_URL 指向 redis://:@redis:6379/0);DAG 目录通过 volume 挂载 ./airflow_dags:/opt/airflow/dags,压缩 SQL 脚本目录挂载为 ./iceberg-compaction-sql:/opt/airflow/iceberg-compaction-sql,这些路径与后文 DAG 中的相对路径一一对应。
2. 为 Airflow UI 创建用户并登录
默认 Airflow 不预设可登录的管理员账号,需要先创建一个:
docker compose exec airflow-webserver airflow users create \
--username admin \
--firstname xx \
--lastname xx \
--role Admin \
--email risingwaveman@superhero.org
创建完成后,浏览器访问 localhost:8080,用刚设置的用户名和密码登录 Airflow UI(默认端口为 8080)。
3. 配置 Spark Connection
在 Airflow UI 中进入 Admin → Connection,新增一条连接:
| 字段 | 值 |
|---|---|
| Connection Id | spark_local |
| Connection Type | Spark |
| Host | spark://spark:7077 |
这个 conn_id 必须与 DAG 中 SparkSubmitOperator 的 conn_id = "spark_local" 完全一致,否则任务提交会失败。
4. 认识两个定时 DAG
Airflow UI 的 DAGS 页面中可以看到两个 DAG,它们分别对应两类 Compaction 任务:
rewrite_iceberg_small_files(定义见 airflow_dags/rewrite_iceberg_small_files.py):
schedule_interval = datetime.timedelta(hours=1):每小时执行一次;- 通过
SparkSubmitOperator运行./iceberg-compaction-sql/rewrite_small_files.py; SPARK_PACKAGES为org.apache.iceberg:iceberg-spark-runtime-3.3_2.12:1.0.0与hadoop-aws:3.3.2(与建表脚本的 3.2 运行时版本不同,但功能等价)。
对应的实际压缩脚本 iceberg-compaction-sql/rewrite_small_files.py 依次执行:
spark.sql("CALL demo.system.rewrite_data_files('demo.demo_db.demo_table')").show()
# There may be a failure here because of Iceberg's optimistic lock, so add a manual retryy
for i in range(num_rewrite_manifest_retries):
time.sleep(2)
try:
spark.sql(f"CALL demo.system.rewrite_manifests('demo.demo_db.demo_table')").show()
except Exception as exc:
if i + 1 == num_rewrite_manifest_retries:
raise exc
break
其中 rewrite_data_files 将小数据文件合并重写为较大文件(默认策略),rewrite_manifests 重写 manifest 以减少元数据文件数量;脚本注释明确指出 rewrite_manifests 可能因 Iceberg 的乐观锁(optimistic lock)并发冲突而失败,因此加入了最多 3 次、每次间隔 2 秒的重试逻辑。
remove_iceberg_orphan_files(定义见 airflow_dags/remove_iceberg_orphan_files.py):
schedule_interval = datetime.timedelta(days=1):每天执行一次;- 运行
./iceberg-compaction-sql/remove_orphan_files.py。
对应的脚本 iceberg-compaction-sql/remove_orphan_files.py 执行:
spark.sql(f"CALL demo.system.expire_snapshots('demo.demo_db.demo_table')").show()
time.sleep(2)
spark.sql(f"CALL demo.system.remove_orphan_files('demo.demo_db.demo_table')").show()
expire_snapshots 用于移除过期快照(释放被删除数据占用的空间),remove_orphan_files 用于清理不再被任何快照引用的孤儿文件。该文件同时定义了共享的 get_spark() 工厂函数(配置 S3A endpoint、access key、secret key 等),供两个压缩脚本复用。
两个 DAG 均设置了 catchup=False(不回溯补跑错过的调度周期)与 tags=["iceberg"],方便在 UI 中按标签过滤。默认的压缩频率(小文件/manifest 每小时一次、孤儿快照与文件每天一次)可以通过修改 DAG 中的 schedule_interval 以及 iceberg-compaction-sql 目录下的脚本进行自定义。
5. 触发任务并观察运行
在 Airflow UI 的 DAG 列表中点击 rewrite_iceberg_small_files 或 remove_iceberg_orphan_files,即可在 Trigger DAG 中手动触发一次,或直接等待调度器按周期自动运行。任务会以 SparkSubmitOperator 的方式把 PySpark 应用提交到 spark://spark:7077,压缩过程在 spark-worker 上执行,写入结果落回 MinIO 上的 Iceberg warehouse。
小结:一套可复用的「流式数据仓库」模式
通过这两个 Demo 可以总结出清晰的架构模式:
- 实时链路:RisingWave 以 MySQL CDC 摄取业务数据 → 物化视图持续计算 → Iceberg Sink 以 upsert 语义写入数据湖(docker-compose.yml + create_sink.sql);
- 分析链路:Presto/Spark 直接查询数据湖中的 Iceberg 表(iceberg-query.sql),规避 RisingWave 行式存储对复杂即席查询的限制;
- 运维链路:Airflow 定时触发 Spark 执行
rewrite_data_files/rewrite_manifests/expire_snapshots/remove_orphan_files,保证小文件与孤儿文件规模可控(airflow_dags、iceberg-compaction-sql)。
这套 Demo 中所有关键配置——S3/MinIO 凭据、warehouse 路径、catalog 类型——在 Spark 建表、RisingWave Sink 与 PySpark 压缩脚本三处保持严格一致,这正是生产环境中需要格外注意的点。你可以在此基础上把 mysql 换成真实业务库、把 MinIO 换成生产对象存储、把 Airflow 换成已有的调度平台,从而快速搭建属于你自己的流式数据仓库。