Apache Paimon 日志格式优化：支持 INSERT_ONLY 模式的设计思考

背景与需求分析

在现代数据湖架构中，Apache Paimon 作为一个高性能的流批统一存储系统，其日志系统的设计直接影响着数据处理的效率和灵活性。当前 Paimon 的 ValueEncodingFormat 默认采用全变更日志模式（ChangelogMode.ALL），这在某些特定场景下可能带来不必要的开销。

在实际生产环境中，我们观察到两类典型需求场景：

1. 纯追加表（Append-Only Tables）：这类表天然只包含插入操作，不需要记录更新和删除事件。现有的全变更日志模式会导致存储和传输冗余。

2. 主键表的部分日志需求：对于主键表，某些下游系统可能只需要消费插入事件，而现有的强制全变更模式使得迁移现有作业变得复杂，特别是当下游系统使用 Kafka 原生客户端等非 Flink 消费方式时。

技术方案设计

针对上述需求，我们提出在 ValueEncodingFormat 中支持 INSERT_ONLY 日志格式的优化方案：

核心设计要点

1. 日志模式扩展：

   • 保留现有的 ALL 模式（记录所有变更）
   • 新增 INSERT_ONLY 模式（仅记录插入事件）

2. 配置方式：

   • 对于纯追加表，自动采用 INSERT_ONLY 模式
   • 对于主键表，通过 log.ignore-delete 参数显式控制

3. 实现机制：

   • 在日志序列化层增加模式判断逻辑
   • 对删除和更新操作进行过滤处理
   • 保持与其他系统组件的兼容性

技术实现细节

在具体实现上，需要考虑以下几个关键点：

1. 序列化优化：在 INSERT_ONLY 模式下，可以简化序列化过程，省略变更类型的编码，减少约 30% 的日志体积。

2. 流式处理兼容：确保在流计算场景下，Watermark 等机制在简化模式下仍能正常工作。

3. 状态恢复保障：虽然日志简化，但要确保故障恢复时系统仍能保持一致性。

应用价值

该优化方案将带来以下显著收益：

1. 存储效率提升：对于纯追加场景，日志存储量可减少 40-50%，显著降低存储成本。

2. 处理性能优化：下游消费者无需处理冗余的删除/更新事件，处理吞吐量可提升 20-30%。

3. 迁移成本降低：使现有基于 Kafka 等消息系统的作业能够平滑迁移到 Paimon，无需修改消费逻辑。

4. 资源利用率提高：减少网络传输和计算资源消耗，特别有利于大规模部署场景。

未来展望

这一优化不仅解决了当前的具体需求，还为 Paimon 的日志系统架构奠定了更灵活的基础。未来可以考虑：

1. 支持更多定制化日志模式（如 UPSERT 专用模式）
2. 实现动态日志模式切换
3. 开发智能模式推荐系统，根据工作负载特征自动选择最优日志格式

这一改进体现了 Paimon 社区对实际生产需求的快速响应能力，也展示了项目在流批一体存储领域的持续创新。