Apache Arrow-RS项目中的Parquet统计信息优化方案

背景介绍

在Apache Arrow-RS项目中，Parquet文件格式的统计信息存储机制存在冗余问题。Parquet格式目前提供了三种统计信息存储位置：列块(ColumnChunk)元数据、数据页(Data Page)头部以及列索引(ColumnIndex)中。这种多位置存储导致了文件体积增大和存储效率降低的问题。

当前实现的问题

当前实现中，EnabledStatistics::Page选项会同时在三个位置写入统计信息：

1. 列块元数据中的统计信息
2. 数据页头部的统计信息
3. 列索引中的统计信息

这种实现方式存在两个主要缺陷：

1. 数据冗余：相同统计信息被重复存储，增加了文件体积
2. 兼容性问题：数据页头部的统计信息在现代Parquet阅读器中甚至无法被访问，实际上已被列索引机制取代

技术分析

Parquet格式规范明确指出："支持ColumnIndex的阅读器不应再使用页面统计信息。在写入ColumnIndex结构时同时写入页面级统计信息的唯一原因是为了支持旧的阅读器（不推荐）"。

在Arrow-RS项目中，EnabledStatistics枚举目前提供三个选项：

• None：不存储任何统计信息
• Chunk：仅存储列块级别的统计信息
• Page：存储列块、数据页头部和列索引的统计信息

优化方案

经过技术讨论，推荐采用以下优化方案：

1. 重新定义EnabledStatistics::Page的行为：

   • 修改为仅存储列块和列索引的统计信息
   • 不再默认写入数据页头部的统计信息

2. 新增配置选项：

   • 添加WriterProperties::write_data_page_statistics选项
   • 该选项明确控制是否写入数据页头部的统计信息
   • 在文档中注明不推荐使用此选项的原因

这种方案的优势在于：

• 保持API向后兼容，不影响现有用户
• 符合Parquet格式规范的最佳实践
• 有效减少文件体积，提高存储效率
• 提供明确的控制选项，满足特殊需求

技术影响

这一优化将带来以下技术影响：

1. 文件体积减小：消除冗余统计信息存储，显著减小文件大小
2. 读取性能提升：减少不必要的数据解析，提高读取效率
3. 兼容性保持：通过可选配置保留对旧版阅读器的支持能力

实施建议

对于Arrow-RS用户，建议：

1. 评估当前使用的统计信息级别
2. 考虑迁移到优化后的实现
3. 仅在确实需要支持旧版阅读器时才启用数据页统计信息写入

这一优化体现了Arrow项目持续改进性能和对标准遵循的承诺，将为用户带来更高效的Parquet文件处理体验。