首页
/ Apache DataFusion中聚合函数表达式显示格式的优化方案

Apache DataFusion中聚合函数表达式显示格式的优化方案

2025-05-31 18:41:22作者:何举烈Damon

背景介绍

在Apache DataFusion项目中,查询执行计划的可读性对于开发者理解和调试查询至关重要。当前版本中,AggregateExec算子的输出显示存在冗余信息问题,特别是聚合函数表达式的显示格式不够简洁明了。

问题分析

在DataFusion的执行计划可视化输出中,AggregateExec算子当前显示的聚合函数表达式包含了过多细节。例如,一个简单的计数聚合会显示为count(Int64(1)),其中Int64(1)这样的类型信息对于理解执行计划的核心逻辑并非必要,反而增加了视觉负担。

通过代码分析发现,这个问题源于create_aggregate_expr_and_maybe_filter函数中ExprSchemaDisplay实现方式。当前的显示逻辑为所有表达式类型生成了详细的调试信息,但对于用户理解执行计划而言,这些细节往往是不必要的。

解决方案设计

针对这个问题,我们提出了一套系统化的改进方案:

  1. 扩展表达式结构:在AggregateFunctionExpr结构中新增sql_name字段,专门用于存储更符合SQL习惯的显示名称。

  2. 引入新的格式化方法:为Expr特征(trait)添加fmt_sql_name()方法,类似于现有的schema_name()方法。对于AggregateFunction类型,我们将重写这个方法以生成更简洁的SQL风格名称。

  3. 修改执行计划显示逻辑:调整AggregateExecfmt_as实现,使其使用新的sql_name而非原来的name字段来显示聚合表达式。

技术实现细节

在具体实现上,我们需要:

  1. 修改AggregateFunctionExpr结构体定义,增加sql_name字段:
pub struct AggregateFunctionExpr {
    // 原有字段...
    sql_name: String,
}
  1. Expr特征添加新的格式化方法:
pub trait Expr {
    // 原有方法...
    fn fmt_sql_name(&self) -> String;
}
  1. AggregateFunction的实现中提供简洁的SQL风格名称:
impl Expr for AggregateFunction {
    fn fmt_sql_name(&self) -> String {
        format!("{}({})", self.fun, self.args.iter().map(|arg| arg.sql_name()).join(", "))
    }
}
  1. 最后更新AggregateExec的显示逻辑,使用新的简洁格式。

预期效果

经过这些修改后,执行计划的显示将更加简洁直观。例如,原来的:

┌─────────────┴─────────────┐
│       AggregateExec       │
│    --------------------   │
│   aggr: count(Int64(1))   │
│        mode: Final        │
└─────────────┬─────────────┘

将变为更简洁的:

┌─────────────┴─────────────┐
│       AggregateExec       │
│    --------------------   │
│      aggr: count(1)       │
│        mode: Final        │
└─────────────┬─────────────┘

总结

这个优化方案通过引入专门的SQL风格显示名称,显著提高了DataFusion执行计划的可读性。这种改进不仅使开发者更容易理解复杂的查询计划,也保持了与标准SQL语法的一致性,降低了学习成本。同时,这种设计保持了良好的扩展性,未来可以轻松支持更多表达式类型的定制化显示。

登录后查看全文
热门项目推荐

项目优选

收起
openGauss-serveropenGauss-server
openGauss kernel ~ openGauss is an open source relational database management system
C++
136
187
RuoYi-Vue3RuoYi-Vue3
🎉 (RuoYi)官方仓库 基于SpringBoot,Spring Security,JWT,Vue3 & Vite、Element Plus 的前后端分离权限管理系统
Vue
880
520
openHiTLSopenHiTLS
旨在打造算法先进、性能卓越、高效敏捷、安全可靠的密码套件,通过轻量级、可剪裁的软件技术架构满足各行业不同场景的多样化要求,让密码技术应用更简单,同时探索后量子等先进算法创新实践,构建密码前沿技术底座!
C
361
381
ohos_react_nativeohos_react_native
React Native鸿蒙化仓库
C++
181
264
kernelkernel
deepin linux kernel
C
22
5
nop-entropynop-entropy
Nop Platform 2.0是基于可逆计算理论实现的采用面向语言编程范式的新一代低代码开发平台,包含基于全新原理从零开始研发的GraphQL引擎、ORM引擎、工作流引擎、报表引擎、规则引擎、批处理引引擎等完整设计。nop-entropy是它的后端部分,采用java语言实现,可选择集成Spring框架或者Quarkus框架。中小企业可以免费商用
Java
7
0
CangjieCommunityCangjieCommunity
为仓颉编程语言开发者打造活跃、开放、高质量的社区环境
Markdown
1.09 K
0
note-gennote-gen
一款跨平台的 Markdown AI 笔记软件,致力于使用 AI 建立记录和写作的桥梁。
TSX
83
4
cherry-studiocherry-studio
🍒 Cherry Studio 是一款支持多个 LLM 提供商的桌面客户端
TypeScript
613
60
open-eBackupopen-eBackup
open-eBackup是一款开源备份软件,采用集群高扩展架构,通过应用备份通用框架、并行备份等技术,为主流数据库、虚拟化、文件系统、大数据等应用提供E2E的数据备份、恢复等能力,帮助用户实现关键数据高效保护。
HTML
118
78