Apache DataFusion 中优化 TopK 查询的树形执行计划展示

背景介绍

Apache DataFusion 是一个高性能的查询执行框架，它包含了对 SQL 查询的各种优化。其中一项重要优化是针对包含排序(Sort)和限制(Limit)组合的查询，DataFusion 会将其转换为专门的 TopK 操作，这种优化可以显著提高查询性能。

问题发现

在实际使用中发现，虽然 DataFusion 确实实现了 TopK 优化，但在使用树形格式(tree format)展示执行计划时，这一优化信息并未明确显示。当前树形执行计划仅显示为普通的 SortExec 节点，无法直观地看出是否应用了 TopK 优化。

技术分析

TopK 优化是指当查询包含 ORDER BY 和 LIMIT 组合时，系统可以避免对所有数据进行完整排序，而是只维护前 K 个结果。这种优化在数据量大的情况下可以节省大量计算资源。

在 DataFusion 中，当使用 format indent 格式展示执行计划时，确实可以看到 SortExec: TopK(fetch=10) 这样的信息，表明 TopK 优化已应用。但在更直观的树形格式中，这一关键信息却丢失了。

解决方案

为了解决这个问题，需要对 DataFusion 的执行计划树形展示逻辑进行修改，使其能够：

1. 识别出使用了 TopK 优化的 SortExec 节点
2. 在树形展示中明确标注出 TopK 信息
3. 保持与其他执行计划节点展示风格的一致性

修改后的树形执行计划应该能够清楚地展示出 TopK 优化的应用情况，帮助开发者更好地理解和验证查询优化效果。

实现意义

这一改进将带来以下好处：

1. 提升执行计划的可读性，使开发者能够一目了然地看到 TopK 优化的应用
2. 便于查询性能调优和验证
3. 增强 DataFusion 的透明度和可观测性
4. 帮助新用户更快理解系统的优化行为

总结

在查询优化系统中，执行计划的可视化展示是一个重要环节。通过改进 DataFusion 中 TopK 优化的展示方式，可以更好地传达系统的优化行为，帮助开发者充分利用这些优化特性。这一改进虽然看似微小，但对于提升用户体验和系统透明度具有重要意义。