Apache Parquet-Java 1.13.1版本中禁用统计信息的解决方案

背景

在Apache Parquet-Java项目中，统计信息（Statistics）功能用于优化查询性能，但某些场景下用户可能需要禁用该功能。官方在1.15.0版本中通过两个PR（#2989和#3056）提供了直接禁用统计信息的配置选项，但对于仍在使用1.13.1版本的用户（如Spark 3.5用户）来说，需要寻找替代方案。

技术原理

Parquet文件格式会为每个数据页存储统计信息，包括：

1. 列级统计（最大值、最小值等）
2. 字节数组类型的截断统计 这些统计信息虽然能加速查询，但会增加存储开销，在某些特定场景下可能不需要。

1.13.1版本的解决方案

针对字节数组类型

可以通过设置以下参数来有效禁用统计功能：

parquet.statistics.truncate.length = 1

这个配置会将字节数组的统计信息截断长度设为1，相当于不记录有效统计信息。

参数说明

1. parquet.statistics.truncate.length：控制统计信息中字节数组的截断长度

   • 设为0或1时，相当于禁用统计
   • 默认值为10（保留前10个字节的统计信息）

2. parquet.columnindex.truncate.length：类似功能，但针对列索引

注意事项

1. 此方案主要针对BYTE_ARRAY类型的列
2. 对于其他数据类型，1.13.1版本没有直接的禁用方法
3. 完全禁用统计可能影响查询性能，需权衡利弊

版本建议

对于新项目，建议升级到1.15.0+版本，该版本提供了更完善的统计信息控制选项：

• 支持全局禁用统计
• 配置方式更加直观

总结

在Parquet-Java 1.13.1中，虽然不能完全禁用所有统计信息，但通过合理配置可以大幅减少统计信息的存储。用户应根据实际需求选择最适合的方案，在存储空间和查询性能之间取得平衡。