Apache DataFusion中聚合函数表达式显示格式的优化方案
背景介绍
在Apache DataFusion项目中,查询执行计划的可读性对于开发者理解和调试查询至关重要。当前版本中,AggregateExec算子的输出显示存在冗余信息问题,特别是聚合函数表达式的显示格式不够简洁明了。
问题分析
在DataFusion的执行计划可视化输出中,AggregateExec算子当前显示的聚合函数表达式包含了过多细节。例如,一个简单的计数聚合会显示为count(Int64(1)),其中Int64(1)这样的类型信息对于理解执行计划的核心逻辑并非必要,反而增加了视觉负担。
通过代码分析发现,这个问题源于create_aggregate_expr_and_maybe_filter函数中Expr的SchemaDisplay实现方式。当前的显示逻辑为所有表达式类型生成了详细的调试信息,但对于用户理解执行计划而言,这些细节往往是不必要的。
解决方案设计
针对这个问题,我们提出了一套系统化的改进方案:
-
扩展表达式结构:在
AggregateFunctionExpr结构中新增sql_name字段,专门用于存储更符合SQL习惯的显示名称。 -
引入新的格式化方法:为
Expr特征(trait)添加fmt_sql_name()方法,类似于现有的schema_name()方法。对于AggregateFunction类型,我们将重写这个方法以生成更简洁的SQL风格名称。 -
修改执行计划显示逻辑:调整
AggregateExec的fmt_as实现,使其使用新的sql_name而非原来的name字段来显示聚合表达式。
技术实现细节
在具体实现上,我们需要:
- 修改
AggregateFunctionExpr结构体定义,增加sql_name字段:
pub struct AggregateFunctionExpr {
// 原有字段...
sql_name: String,
}
- 为
Expr特征添加新的格式化方法:
pub trait Expr {
// 原有方法...
fn fmt_sql_name(&self) -> String;
}
- 在
AggregateFunction的实现中提供简洁的SQL风格名称:
impl Expr for AggregateFunction {
fn fmt_sql_name(&self) -> String {
format!("{}({})", self.fun, self.args.iter().map(|arg| arg.sql_name()).join(", "))
}
}
- 最后更新
AggregateExec的显示逻辑,使用新的简洁格式。
预期效果
经过这些修改后,执行计划的显示将更加简洁直观。例如,原来的:
┌─────────────┴─────────────┐
│ AggregateExec │
│ -------------------- │
│ aggr: count(Int64(1)) │
│ mode: Final │
└─────────────┬─────────────┘
将变为更简洁的:
┌─────────────┴─────────────┐
│ AggregateExec │
│ -------------------- │
│ aggr: count(1) │
│ mode: Final │
└─────────────┬─────────────┘
总结
这个优化方案通过引入专门的SQL风格显示名称,显著提高了DataFusion执行计划的可读性。这种改进不仅使开发者更容易理解复杂的查询计划,也保持了与标准SQL语法的一致性,降低了学习成本。同时,这种设计保持了良好的扩展性,未来可以轻松支持更多表达式类型的定制化显示。
kernelopenEuler内核是openEuler操作系统的核心,既是系统性能与稳定性的基石,也是连接处理器、设备与服务的桥梁。C046
MiniMax-M2.1从多语言软件开发自动化到复杂多步骤办公流程执行,MiniMax-M2.1 助力开发者构建下一代自主应用——全程保持完全透明、可控且易于获取。Python00
kylin-wayland-compositorkylin-wayland-compositor或kylin-wlcom(以下简称kywc)是一个基于wlroots编写的wayland合成器。 目前积极开发中,并作为默认显示服务器随openKylin系统发布。 该项目使用开源协议GPL-1.0-or-later,项目中来源于其他开源项目的文件或代码片段遵守原开源协议要求。C01
PaddleOCR-VLPaddleOCR-VL 是一款顶尖且资源高效的文档解析专用模型。其核心组件为 PaddleOCR-VL-0.9B,这是一款精简却功能强大的视觉语言模型(VLM)。该模型融合了 NaViT 风格的动态分辨率视觉编码器与 ERNIE-4.5-0.3B 语言模型,可实现精准的元素识别。Python00
GLM-4.7GLM-4.7上线并开源。新版本面向Coding场景强化了编码能力、长程任务规划与工具协同,并在多项主流公开基准测试中取得开源模型中的领先表现。 目前,GLM-4.7已通过BigModel.cn提供API,并在z.ai全栈开发模式中上线Skills模块,支持多模态任务的统一规划与协作。Jinja00
agent-studioopenJiuwen agent-studio提供零码、低码可视化开发和工作流编排,模型、知识库、插件等各资源管理能力TSX0124
Spark-Formalizer-X1-7BSpark-Formalizer 是由科大讯飞团队开发的专用大型语言模型,专注于数学自动形式化任务。该模型擅长将自然语言数学问题转化为精确的 Lean4 形式化语句,在形式化语句生成方面达到了业界领先水平。Python00