Apache Arrow-RS项目：优化Parquet字典页大小限制的探索

在Apache Arrow-RS项目中，开发者们正在探讨如何优化Parquet文件格式的写入性能，特别是针对字典页大小限制的改进方案。目前Parquet格式对所有列使用统一的字典页大小限制，这在某些场景下会导致存储效率不高。

当前问题分析

Parquet格式使用字典编码来压缩重复值较多的列。当前实现中，所有列共享同一个字典页大小限制（默认为1MB），这种一刀切的配置方式存在明显不足：

1. 不同类型列的字典项大小差异很大（如字符串列通常比整型列需要更多空间）
2. 统一限制会导致某些列过早切换编码方式，影响压缩效率
3. 字符串列等变长类型特别容易受到限制

优化方案探索

开发者XiangpengHao提出了一个简单而有效的启发式方法：针对字节数组类型（BYTE ARRAY）的列，将字典页大小限制从1MB提高到16MB。这一改动带来了显著的改进：

• 未压缩Parquet文件大小减少了约1.5倍
• 特别是对于包含大量字符串的"Title"列，效果尤为明显

技术实现思路

这种优化基于以下技术观察：

1. 字符串列通常包含更多重复值，适合字典编码
2. 更大的字典可以容纳更多唯一值，延迟向普通编码的切换
3. 变长类型需要更多空间存储字典项

实现上可以通过为不同数据类型配置不同的字典页大小阈值，而不是使用全局统一值。

未来方向

这一优化开启了更广泛的性能调优可能性：

1. 按列配置字典页大小限制
2. 开发自动调优器，根据工作负载动态决定最佳编码方式
3. 优化页面大小和行组大小配置
4. 使开源Parquet写入器达到与商业解决方案竞争的性能水平

实际效果验证

从实际测试的截图对比可以看出，优化后：

• 字符串列的字典编码使用率显著提高
• 整体文件大小明显减小
• 没有引入额外的CPU开销

这种针对特定数据类型的特点进行优化的思路，为Parquet格式的性能调优提供了新的方向。随着更多类似优化的引入，Apache Arrow生态系统的存储效率将进一步提升。