Apache Hudi 中 Flink 与 Spark 写入的 Schema 冲突问题解析

问题背景

在数据湖架构中，Apache Hudi 作为一个高效的增量处理框架，支持多种计算引擎的写入操作。然而在实际使用过程中，当 Flink 和 Spark 两种引擎交替操作同一张表时，可能会遇到 Schema 冲突问题，特别是当涉及到主键字段的 nullability 属性不一致时。

问题现象

用户在使用 Flink 作业向 COW 表追加数据并启用异步聚类功能时，遇到了 Schema 冲突异常。具体表现为：当聚类计划中包含由 Spark 写入的 Parquet 文件时，作业抛出异常，提示"required int32 id != optional int32 id"的 Schema 不兼容错误。

根本原因分析

通过深入分析，我们发现问题的根源在于 Flink 和 Spark 对主键字段的 nullability 处理存在差异：

1. Flink 写入行为：

   • 当表配置了主键约束或设置了hoodie.datasource.write.recordkey.field参数时，Flink 会将主键字段标记为 REQUIRED（非空）
   • 这种处理符合主键字段不应为空的业务逻辑

2. Spark 写入行为：

   • 即使字段被定义为主键，Spark 在读取数据时通过HadoopFSRelation会强制将 Schema 中的所有字段转为 nullable 状态
   • 使用行写入器（row writer）时，Spark 会保持这种 nullable 状态写入 Parquet 文件
   • 导致主键字段在 Spark 写入的文件中被标记为 OPTIONAL（可为空）

技术细节

Parquet 文件的 Schema 严格性导致了这一问题。当 Flink 尝试读取由 Spark 写入的文件时：

1. Flink 期望主键字段是 REQUIRED 的
2. 但实际文件中的主键字段是 OPTIONAL 的
3. Parquet 解码器会严格校验 Schema 兼容性，拒绝这种 nullability 不一致的情况

解决方案

针对这一问题，社区提出了两种解决思路：

1. Schema 协调机制：

   • 在 Flink 读取数据时，自动协调 Schema 差异
   • 允许 REQUIRED 字段读取 OPTIONAL 字段的数据
   • 这种方案对用户透明，兼容现有数据

2. Spark 写入优化：

   • 修改 Spark 写入逻辑，保持主键字段的 REQUIRED 属性
   • 需要确保 Spark 写入的数据确实不包含空值主键

目前社区已通过第一种方案解决了该问题，即在读取时进行 Schema 协调，而不是强制要求写入端的 Schema 完全一致。

最佳实践建议

对于需要在多引擎环境中使用 Hudi 的用户，建议：

1. 明确主键字段的定义，确保业务数据中这些字段确实不为空
2. 尽量避免频繁切换写入引擎
3. 对于关键业务表，统一使用单一引擎进行写入操作
4. 升级到包含此修复的 Hudi 版本（0.14.x 及以上）

总结

多引擎支持是数据湖架构的重要特性，但也带来了 Schema 管理上的挑战。Hudi 社区通过灵活的 Schema 协调机制，解决了 Flink 和 Spark 之间的 nullability 冲突问题，为用户提供了更顺畅的多引擎协作体验。理解这些底层机制有助于用户更好地设计数据管道，避免类似问题的发生。