Arrow-RS项目中的Parquet统计信息截断优化

Apache Arrow-RS项目是Rust语言实现的Arrow内存格式和数据处理生态系统。在Arrow-RS中处理Parquet文件时，统计信息的存储方式可能会引发一些性能问题，特别是在处理大型字符串或二进制数据列时。

问题背景

在Parquet文件格式中，默认情况下，Arrow-RS写入器会为启用了统计信息的列保存完整的min和max值。这些统计信息不仅会存储在文件级别的元数据中，还会出现在每个页面的头部。当处理大型二进制或字符串列（如JSON大对象）时，这会导致存储两个（min和max）可能非常大的值，从而产生显著的存储开销。

问题影响

这种设计在某些极端情况下会导致严重的存储膨胀。例如，在一个测试案例中，一个3MB的Parquet文件中，有2.1MB都被统计信息占用。这种情况在处理包含大量重复或大型字符串值的列时尤为明显。

现有解决方案

Arrow-RS目前提供了两个方法来控制统计值的最大长度：

1. WriterPropertiesBuilder::set_statistics_truncate_length - 控制统计信息的截断长度
2. WriterPropertiesBuilder::set_column_index_truncate_length - 控制列索引的截断长度

然而，这些参数的默认值目前设置为None（即无限制），这导致了上述的存储问题。

优化建议

技术专家建议将默认的统计信息截断长度设置为一个合理的非None值（如128字节）。这个长度足够捕获所有原始数据类型和字符串的排序信息，同时避免了存储过大的值。

128字节的选择基于以下考虑：

• 足够容纳所有原始数据类型
• 能够保持字符串的排序特性
• 显著减少大型字符串列的存储开销

深入讨论

在讨论过程中，专家还提出了关于统计信息存储策略的更广泛思考。Parquet规范实际上建议，如果已经编写了页面索引，就不需要再编写页面级别的统计信息。这引发了对当前EnabledStatistics枚举设计的重新评估。

可能的改进方向包括：

• 添加新的统计信息启用模式，如ChunkAndIndex，只写入块级别和偏移/列索引，而不在页面头部写入统计信息
• 更精细地控制不同类型统计信息的生成和存储

实施进展

目前已经提交了相关PR来修改默认的截断长度设置。同时，关于统计信息存储策略的长期改进已经作为一个单独的问题进行跟踪讨论。

总结

通过对Parquet统计信息存储的优化，Arrow-RS项目能够更好地处理大型字符串和二进制列，避免存储膨胀问题。这一改进不仅提高了存储效率，也为未来更精细的统计信息控制奠定了基础。对于使用Arrow-RS处理大型数据集的开发者来说，这一优化将显著改善他们的使用体验和系统性能。