Apache DataFusion中聚合函数表达式显示格式的优化方案
背景介绍
在Apache DataFusion项目中,查询执行计划的可读性对于开发者理解和调试查询至关重要。当前版本中,AggregateExec
算子的输出显示存在冗余信息问题,特别是聚合函数表达式的显示格式不够简洁明了。
问题分析
在DataFusion的执行计划可视化输出中,AggregateExec
算子当前显示的聚合函数表达式包含了过多细节。例如,一个简单的计数聚合会显示为count(Int64(1))
,其中Int64(1)
这样的类型信息对于理解执行计划的核心逻辑并非必要,反而增加了视觉负担。
通过代码分析发现,这个问题源于create_aggregate_expr_and_maybe_filter
函数中Expr
的SchemaDisplay
实现方式。当前的显示逻辑为所有表达式类型生成了详细的调试信息,但对于用户理解执行计划而言,这些细节往往是不必要的。
解决方案设计
针对这个问题,我们提出了一套系统化的改进方案:
-
扩展表达式结构:在
AggregateFunctionExpr
结构中新增sql_name
字段,专门用于存储更符合SQL习惯的显示名称。 -
引入新的格式化方法:为
Expr
特征(trait)添加fmt_sql_name()
方法,类似于现有的schema_name()
方法。对于AggregateFunction
类型,我们将重写这个方法以生成更简洁的SQL风格名称。 -
修改执行计划显示逻辑:调整
AggregateExec
的fmt_as
实现,使其使用新的sql_name
而非原来的name
字段来显示聚合表达式。
技术实现细节
在具体实现上,我们需要:
- 修改
AggregateFunctionExpr
结构体定义,增加sql_name
字段:
pub struct AggregateFunctionExpr {
// 原有字段...
sql_name: String,
}
- 为
Expr
特征添加新的格式化方法:
pub trait Expr {
// 原有方法...
fn fmt_sql_name(&self) -> String;
}
- 在
AggregateFunction
的实现中提供简洁的SQL风格名称:
impl Expr for AggregateFunction {
fn fmt_sql_name(&self) -> String {
format!("{}({})", self.fun, self.args.iter().map(|arg| arg.sql_name()).join(", "))
}
}
- 最后更新
AggregateExec
的显示逻辑,使用新的简洁格式。
预期效果
经过这些修改后,执行计划的显示将更加简洁直观。例如,原来的:
┌─────────────┴─────────────┐
│ AggregateExec │
│ -------------------- │
│ aggr: count(Int64(1)) │
│ mode: Final │
└─────────────┬─────────────┘
将变为更简洁的:
┌─────────────┴─────────────┐
│ AggregateExec │
│ -------------------- │
│ aggr: count(1) │
│ mode: Final │
└─────────────┬─────────────┘
总结
这个优化方案通过引入专门的SQL风格显示名称,显著提高了DataFusion执行计划的可读性。这种改进不仅使开发者更容易理解复杂的查询计划,也保持了与标准SQL语法的一致性,降低了学习成本。同时,这种设计保持了良好的扩展性,未来可以轻松支持更多表达式类型的定制化显示。
HunyuanImage-3.0
HunyuanImage-3.0 统一多模态理解与生成,基于自回归框架,实现文本生成图像,性能媲美或超越领先闭源模型00- DDeepSeek-V3.2-ExpDeepSeek-V3.2-Exp是DeepSeek推出的实验性模型,基于V3.1-Terminus架构,创新引入DeepSeek Sparse Attention稀疏注意力机制,在保持模型输出质量的同时,大幅提升长文本场景下的训练与推理效率。该模型在MMLU-Pro、GPQA-Diamond等多领域公开基准测试中表现与V3.1-Terminus相当,支持HuggingFace、SGLang、vLLM等多种本地运行方式,开源内核设计便于研究,采用MIT许可证。【此简介由AI生成】Python00
GitCode-文心大模型-智源研究院AI应用开发大赛
GitCode&文心大模型&智源研究院强强联合,发起的AI应用开发大赛;总奖池8W,单人最高可得价值3W奖励。快来参加吧~0369Hunyuan3D-Part
腾讯混元3D-Part00ops-transformer
本项目是CANN提供的transformer类大模型算子库,实现网络在NPU上加速计算。C++097AI内容魔方
AI内容专区,汇集全球AI开源项目,集结模块、可组合的内容,致力于分享、交流。02Spark-Chemistry-X1-13B
科大讯飞星火化学-X1-13B (iFLYTEK Spark Chemistry-X1-13B) 是一款专为化学领域优化的大语言模型。它由星火-X1 (Spark-X1) 基础模型微调而来,在化学知识问答、分子性质预测、化学名称转换和科学推理方面展现出强大的能力,同时保持了强大的通用语言理解与生成能力。Python00GOT-OCR-2.0-hf
阶跃星辰StepFun推出的GOT-OCR-2.0-hf是一款强大的多语言OCR开源模型,支持从普通文档到复杂场景的文字识别。它能精准处理表格、图表、数学公式、几何图形甚至乐谱等特殊内容,输出结果可通过第三方工具渲染成多种格式。模型支持1024×1024高分辨率输入,具备多页批量处理、动态分块识别和交互式区域选择等创新功能,用户可通过坐标或颜色指定识别区域。基于Apache 2.0协议开源,提供Hugging Face演示和完整代码,适用于学术研究到工业应用的广泛场景,为OCR领域带来突破性解决方案。00- HHowToCook程序员在家做饭方法指南。Programmer's guide about how to cook at home (Chinese only).Dockerfile09
- PpathwayPathway is an open framework for high-throughput and low-latency real-time data processing.Python00
项目优选









