Apache DataFusion 表达式显示优化方案

Apache DataFusion 作为高性能查询执行引擎，其查询计划的可读性对于开发者调试和优化查询至关重要。当前版本中，物理执行计划(Physical Plan)的表达式显示方式存在可读性问题，特别是当表达式包含类型转换或函数调用时，显示内容过于技术化且难以理解。

当前问题分析

在现有的查询计划显示中，表达式以一种非常技术化的形式呈现。例如，一个简单的加法表达式 int_column + 100 会被显示为 CAST(int_column@0 AS Int64) + 100，而字符串函数 substr(string_column, 1, 2) 则显示为 substr(string_column@1, 1, 2)。这种显示方式虽然准确反映了内部实现，但对于普通用户来说不够直观。

解决方案设计

核心思路是引入一种新的表达式显示方式，使其更接近SQL语法，提高可读性。具体实现方案包括：

1. 新增显示接口：在 PhysicalExpr trait 中添加一个新的格式化方法，如 fmt_sql，专门用于生成SQL风格的表达式字符串。

2. 表达式转换规则：

   • 简化类型转换显示，将 CAST(int_column@0 AS Int64) 简化为 int_column
   • 去除不必要的索引标记，如将 string_column@1 简化为 string_column
   • 保持运算符和函数的SQL标准语法

3. 渐进式实现：首先实现一个独立函数 simple_display 验证概念，然后集成到trait中，最后应用到整个查询计划显示系统。

技术实现细节

实现过程中需要考虑几个关键点：

1. 表达式树遍历：需要递归处理复杂表达式的各个组成部分
2. 类型系统处理：在简化显示的同时不能丢失关键的类型信息
3. 上下文感知：某些情况下可能需要保留索引信息以避免歧义
4. 性能考量：表达式格式化不应显著影响查询计划生成性能

预期效果

优化后的显示效果将大幅提升可读性。例如，原先显示为：

CAST(int_column@0 AS Int64) + 100
substr(string_column@1, 1, 2)

将简化为：

int_column + 100
substr(string_column, 1, 2)

这种改进不仅提升了开发体验，也使查询计划更易于向非技术用户解释，有助于DataFusion在更广泛场景中的应用。

后续演进方向

未来可以考虑进一步扩展这一功能，例如：

• 支持不同级别的详细程度显示
• 添加语法高亮支持
• 生成可直接执行的SQL片段
• 集成到可视化查询计划工具中

这种表达式显示优化是提升DataFusion用户体验的重要一步，也是使其更接近生产级系统的重要改进。