Apache Iceberg MERGE INTO操作陷阱：空数据集导致数据丢失问题解析

问题现象

在使用Apache Spark的MERGE INTO命令将数据从源DataFrame合并到Apache Iceberg表时，开发者发现当源DataFrame为空时，目标表中的所有现有数据会被意外删除。具体表现为：

• 初始目标表包含8246条记录
• 执行空DataFrame的MERGE INTO操作后
• 目标表变为空表

根本原因分析

经过深入排查，发现实际导致数据丢失的并非MERGE INTO语句本身，而是每次作业运行时执行的CREATE OR REPLACE TABLE语句。这种表重建操作会完全替换原有表结构，自然导致数据丢失。

技术原理

在Apache Iceberg中：

1. CREATE OR REPLACE TABLE是DDL操作，会创建全新的表结构
2. MERGE INTO是DML操作，按条件执行更新/插入
3. 当源数据集为空时，MERGE INTO理论上应该保持目标表不变

解决方案

将表创建语句修改为条件创建模式：

CREATE TABLE IF NOT EXISTS iceberg_catalog.db.target_table

这种改进方案：

• 仅当表不存在时才创建
• 避免不必要的表重建
• 保留现有数据

最佳实践建议

1. 对于数据合并场景，优先使用CREATE TABLE IF NOT EXISTS
2. 执行MERGE前验证源数据集是否为空
3. 重要操作前建议创建数据快照
4. 生产环境建议添加数据变更审计日志

经验总结

这个案例揭示了数据管道开发中常见的陷阱：表面现象可能掩盖真正的根本原因。开发者在处理数据合并时应当：

• 明确区分DDL和DML操作的影响
• 理解每种SQL语句的完整语义
• 建立变更前的数据验证机制
• 在测试环境充分验证边界条件（如空数据集场景）

通过采用防御性编程策略，可以有效避免类似的数据意外丢失问题。