Apache Iceberg分区统计计算缺陷分析与修复

在Apache Iceberg 1.7.0至1.7.1版本以及当前main分支中，存在一个关于分区统计计算的重要缺陷。该问题主要影响分区演化场景下的统计信息准确性，可能导致查询优化器获取到不完整的统计信息。

问题本质

问题的核心在于PartitionStatsUtil工具类中的computeStats方法实现逻辑存在缺陷。当表进行分区演化（即分区结构发生变化）时，该方法会返回不完整的统计信息。这是因为：

1. PartitionMap内部创建包装器时基于表规范（table specs）的partitionType
2. 但实际传入的是经过强制转换（coerced）的分区结构，这个结构使用了统一的分区类型（将所有规范视为KEY类型）
3. 这种类型不匹配导致最终评估结果错误

技术影响

这个缺陷会直接影响以下场景：

• 使用分区演化的表（即表生命周期中分区结构发生过变更）
• 依赖分区统计进行查询优化的场景
• 特别是涉及分区裁剪和连接操作的查询计划生成

解决方案

修复方案需要确保：

1. 分区类型在整个统计计算过程中保持一致
2. 正确处理分区演化产生的不同类型分区结构
3. 维护分区统计信息的完整性和准确性

对用户的影响

虽然这是一个底层实现问题，但可能表现为：

• 查询性能下降（由于优化器使用了不准确的统计信息）
• 在分区演化后可能出现非最优的执行计划
• 特别是在涉及bucket分区和连接操作的复杂查询中更为明显

最佳实践

对于使用受影响版本的用户，建议：

1. 升级到包含修复的版本
2. 对于已存在分区演化的表，考虑重新计算统计信息
3. 监控查询性能变化，特别是在分区结构变更后

该修复已通过代码审查并合并到主分支，将在后续版本中发布。这体现了Apache Iceberg社区对数据一致性和查询性能的持续改进承诺。