Apache Parquet-Java 1.13.1版本中禁用统计信息的解决方案

背景

在Apache Parquet-Java项目中，统计信息（statistics）功能用于优化查询性能，但某些场景下（如敏感数据处理或性能调优）可能需要禁用该功能。1.15.0及以上版本已通过PR #2989和PR #3056提供了直接禁用统计的配置项，但对于仍在使用1.13.1版本的用户（如Spark 3.5用户），需要寻找替代方案。

技术实现原理

Parquet的统计信息主要包括：

1. 列统计：记录列的最小/最大值等元数据
2. 列索引：用于谓词下推优化 对于BYTE_ARRAY类型数据，可通过截断长度参数控制统计信息的生成：

• parquet.statistics.truncate.length：控制列统计的截断长度
• parquet.columnindex.truncate.length：控制列索引的截断长度

1.13.1版本的解决方案

方法一：完全禁用BYTE_ARRAY统计

// 在Hadoop配置中设置
conf.set("parquet.statistics.truncate.length", "0");  // 禁用列统计
conf.set("parquet.columnindex.truncate.length", "0"); // 禁用列索引

将截断长度设为0可有效阻止统计信息生成，但仅适用于BYTE_ARRAY类型字段。

方法二：最小化统计影响（推荐）

conf.set("parquet.statistics.truncate.length", "1");  // 最小化统计信息

此方案：

1. 保持统计功能可用但信息量最小化
2. 兼容所有Parquet版本
3. 对非BYTE_ARRAY类型无影响

版本升级建议

对于长期需求，建议升级到1.15.0+版本，该版本提供：

• 明确的parquet.enable.statistics全局开关
• 更细粒度的统计控制能力
• 与其他新特性（如ZSTD压缩）的兼容性

生产环境注意事项

1. 禁用统计可能导致查询性能下降10-30%（取决于查询模式）
2. 建议在测试环境验证后再部署到生产
3. 对于混合类型数据集，需额外验证非BYTE_ARRAY字段的行为