Apache DataFusion优化实践：减小Expr结构体提升查询性能

在Apache DataFusion项目中，Expr结构体是表示SQL表达式的基础数据结构，其大小直接影响查询计划的构建效率。最近的一项优化工作通过减小Expr结构体的内存占用，显著提升了查询计划的构建速度，在某些基准测试中获得了10-20%的性能提升。

优化背景

Expr结构体在DataFusion中用于表示各种SQL表达式，包括列引用、字面量、函数调用等。在优化前，该结构体的大小为272字节，这在频繁创建和复制表达式的查询计划构建过程中会带来不小的性能开销。

优化方案

核心优化思路是将Expr结构体中的WindowFunction成员从直接存储改为通过Box指针存储。具体修改包括：

1. 将Expr::WindowFunction(WindowFunction)改为Expr::WindowFunction(Box<WindowFunction>)
2. 调整所有相关代码以适应这一变更
3. 添加回归测试确保Expr大小不会在后续开发中再次膨胀

性能提升

基准测试显示，这一优化带来了显著的性能改进：

• 完整ClickBench测试集：规划时间从324.2ms降至285.4ms
• 单个查询Q1：从5.0ms降至4.6ms
• 单个查询Q10：从6.5ms降至5.7ms
• 其他查询也有10-16%不等的性能提升

技术原理

这种性能提升主要来自三个方面：

1. 减少内存拷贝：Expr结构体变小后，在表达式树构建和转换过程中需要拷贝的数据量减少
2. 提高缓存利用率：更小的结构体意味着CPU缓存可以容纳更多表达式节点
3. 降低内存压力：整体内存占用的减少减轻了内存分配器的负担

值得注意的是，这种优化并非简单地将数据从栈移到堆，而是通过减小核心数据结构的大小来提升整体系统性能。

经验总结

这项优化工作提供了几个有价值的经验：

1. 数据结构大小很重要：即使是单个结构体的大小优化，在频繁操作的情况下也能带来显著收益
2. 测量是关键：通过基准测试验证优化效果，避免凭直觉判断
3. 回归测试必要：为防止性能回退，添加结构体大小的回归测试是明智之举

对于类似的数据处理系统，这种关注核心数据结构大小的优化思路值得借鉴。特别是在表达式处理频繁的场景下，精心设计的数据结构能带来可观的性能提升。