Apache Doris 分区裁剪优化：Tablet查询的性能提升

背景介绍

Apache Doris作为一款高性能的MPP分析型数据库，其分区裁剪(Partition Pruning)功能是查询优化的关键环节。分区裁剪能够帮助查询引擎在执行前过滤掉不需要扫描的分区，大幅减少I/O操作和计算量，提升查询性能。

问题发现

在Doris 2.1.7版本中，我们发现当用户使用TABLET(12345)语法直接指定查询特定Tablet时，查询优化器未能正确执行分区裁剪操作。这意味着即使查询明确指定了只需要扫描一个Tablet，优化器仍然会保留所有分区的元数据信息，导致不必要的资源消耗和潜在的性能下降。

技术分析

Tablet是Doris中数据分片的基本单位，每个分区(Partition)包含多个Tablet。在正常情况下，当用户执行常规查询时，Doris会根据查询条件自动进行分区裁剪，只选择包含相关数据的分区进行扫描。

然而，当使用TABLET(12345)这种直接指定Tablet的查询语法时，优化器未能正确识别这种特殊情况，仍然保留了全部分区的元数据信息。这会导致两个主要问题：

1. 元数据处理开销增加：优化器需要处理所有分区的统计信息，即使这些分区明显不包含目标Tablet
2. 执行计划不精确：生成的执行计划中显示的分区数与实际需要扫描的分区数不符，影响用户对查询性能的预期

解决方案

针对这一问题，我们提出了以下优化方案：

1. Tablet到分区的反向映射：在查询优化阶段，通过Tablet ID快速定位其所属的分区
2. 提前分区裁剪：在生成执行计划前，根据指定的Tablet ID过滤掉无关分区
3. 精确统计信息：只收集和传递相关分区的统计信息，减少优化器的工作量

实现效果

经过优化后，当用户执行类似SELECT * FROM xx.table TABLET(12345)的查询时：

1. 优化器能够准确识别出该Tablet所属的分区
2. 执行计划中只包含相关分区的信息
3. 查询执行时真正实现了最小化的数据扫描范围

技术价值

这一优化虽然看似针对特定查询场景，但实际上具有重要意义：

1. 提升点查性能：对于明确知道Tablet ID的精确查询，响应时间显著降低
2. 降低系统负载：减少了不必要的元数据处理开销，提升整体系统吞吐量
3. 增强可观测性：执行计划中的分区信息更加准确，便于性能分析和调优

最佳实践

对于Doris用户，我们建议：

1. 在明确数据位置的情况下，合理使用Tablet指定查询
2. 定期检查查询计划，确认分区裁剪是否生效
3. 对于性能敏感的查询，可以考虑在应用层缓存Tablet分布信息

总结

Apache Doris通过不断优化查询执行引擎，特别是在分区裁剪等关键环节的改进，持续提升着大规模数据分析的效率。这次针对Tablet指定查询的优化，再次体现了Doris社区对性能极致追求的工匠精神。