Apache Parquet-MR 项目中 DeltaByteArrayReader 的 ClassCastException 问题分析

问题背景

在 Apache Parquet-MR 项目的 1.13.1 版本升级到 1.14.1 版本过程中，出现了一个关于 DeltaByteArrayReader 的 ClassCastException 异常。这个异常发生在尝试将 DictionaryValuesReader 强制转换为 DeltaByteArrayReader 时，具体报错信息如下：

java.lang.ClassCastException: class org.apache.parquet.column.values.dictionary.DictionaryValuesReader cannot be cast to class org.apache.parquet.column.values.deltastrings.DeltaByteArrayReader

技术分析

这个问题源于 PARQUET-2431 的代码变更。在旧版本中，CorruptDeltaByteArrays.requiresSequentialReads 方法实际上隐式地执行了类型检查，因为它只会在编码为 DELTA_BYTE_ARRAY 时返回 true，而 RequiresPreviousReader 接口仅由 *DeltaByteArrayReader 类实现。

在 1.14.1 版本中，代码重构移除了这个隐式的类型检查，导致在某些情况下会出现类型转换异常。具体来说，当：

1. 使用 ColumnIOFactory 读取没有 createdBy 元数据的 Parquet 文件时
2. 文件中的列使用了字典编码
3. 系统尝试将字典编码的读取器设置为前一个读取器时

解决方案

目前有两种可行的解决方案：

1. 显式设置 createdBy 信息：在创建 ColumnIOFactory 时传入 createdBy 参数，确保它包含 PARQUET-246 之后的信息，这样可以避免 CorruptDeltaByteArrays.requiresSequentialReads 返回 true。

val reader: ParquetFileReader = ...
val fileMetadata = reader.getFooter.getFileMetaData
val createdBy = fileMetadata.getCreatedBy
val columnIO: MessageColumnIO = new ColumnIOFactory(createdBy)...

2. 代码修复：在 initDataReader 方法中添加对 previousReader instanceof RequiresPreviousReader 的检查，确保类型安全。

影响范围

这个问题主要影响以下场景：

• 读取没有 createdBy 元数据的旧版 Parquet 文件
• 文件中混合使用了字典编码和 Delta 编码的列
• 使用默认的 ColumnIOFactory 构造函数

最佳实践建议

1. 始终确保 Parquet 文件包含正确的 createdBy 元数据
2. 在升级到 1.14.1 或更高版本前，测试现有文件的兼容性
3. 考虑在代码中添加防御性编程，处理可能的类型转换异常

总结

这个问题展示了在性能优化和代码重构过程中可能引入的隐式依赖风险。开发者在处理编码相关的逻辑时，应该特别注意类型系统的安全性，特别是在涉及多种编码方式的混合使用时。对于 Parquet 这样的列式存储格式，编码器的正确选择和类型安全尤为重要。