Apache Parquet-MR 中 DeltaByteArrayReader 的 ClassCastException 问题分析

问题背景

在 Apache Parquet-MR 项目中，当用户从 1.13.1 版本升级到 1.14.1 版本时，可能会遇到一个 ClassCastException 异常。这个异常发生在 DeltaByteArrayReader 类中，具体表现为无法将 DictionaryValuesReader 转换为 DeltaByteArrayReader。

异常分析

该异常的核心堆栈信息显示：

java.lang.ClassCastException: class org.apache.parquet.column.values.dictionary.DictionaryValuesReader 
cannot be cast to class org.apache.parquet.column.values.deltastrings.DeltaByteArrayReader

这个问题的根源在于 PARQUET-2431 的代码修改。在旧版本中，CorruptDeltaByteArrays.requiresSequentialReads 方法实际上起到了类型检查的作用，它只会在编码为 DELTA_BYTE_ARRAY 时返回 true，而 RequiresPreviousReader 接口也只由 DeltaByteArrayReader 类实现。

技术细节

1. 问题触发条件：

   • 使用 ColumnIOFactory 构造函数读取没有 createdBy 元数据的 Parquet 文件
   • 文件编码使用了 DELTA_BYTE_ARRAY
   • 读取过程中需要进行页面切换

2. 根本原因： 新版本代码移除了对 previousReader 类型的检查，导致当 previousReader 是 DictionaryValuesReader 时，尝试强制转换为 DeltaByteArrayReader 失败。

3. 解决方案：

   • 临时方案：为 ColumnIOFactory 提供 createdBy 参数，确保文件是在 PARQUET-246 之后创建的
   • 永久方案：在代码中恢复类型检查逻辑，确保只有正确的 Reader 类型才会被转换

影响范围

这个问题主要影响：

• 使用 Delta 编码的字符串列
• 读取没有 createdBy 元数据的旧版 Parquet 文件
• 进行跨页面读取操作时

最佳实践

对于开发者来说，建议：

1. 始终为 Parquet 文件设置 createdBy 元数据
2. 在升级到 1.14.1 版本前，检查现有文件是否使用了 Delta 编码
3. 考虑实现自定义的 Reader 逻辑来处理旧版文件

总结

这个 ClassCastException 问题展示了在性能优化和代码重构过程中可能引入的隐式依赖问题。开发者在使用 Parquet 时应特别注意版本兼容性和元数据完整性，特别是在处理使用特殊编码的文件时。该问题的修复将确保 Delta 编码的字符串列能够被正确读取，同时保持向后兼容性。