Apache DataFusion 新增 TPCH CSV 格式基准测试支持

在数据分析领域，基准测试是评估系统性能的重要手段。Apache DataFusion 作为一个高性能的查询引擎，其基准测试工具 bench.sh 目前仅支持 TPCH 基准测试的 Parquet 格式数据。本文将介绍如何扩展该工具以支持 CSV 格式的 TPCH 基准测试。

背景与意义

TPCH 是业界广泛使用的决策支持基准测试套件，它模拟了典型的商业分析场景。在实际应用中，数据可能以多种格式存储，其中 CSV 因其简单易用的特性，仍然是许多场景下的首选格式。支持 CSV 格式的基准测试将为用户提供更全面的性能评估视角。

技术实现要点

扩展 bench.sh 脚本以支持 CSV 格式主要涉及以下几个技术方面：

1. 数据生成与格式转换：TPCH 工具默认生成的是文本格式数据，需要确保能够直接输出为 CSV 格式，或者提供格式转换能力。

2. 查询执行适配：DataFusion 需要能够正确解析和查询 CSV 格式的数据文件，这涉及到表注册、模式推断等功能的适配。

3. 性能指标收集：保持与现有 Parquet 测试相同的性能指标收集方式，确保结果可比较性。

实现细节

在具体实现上，主要修改包括：

• 在 bench.sh 脚本中添加格式选择参数，允许用户指定使用 CSV 或 Parquet 格式
• 为 CSV 格式添加专门的数据准备逻辑
• 确保查询计划生成和执行能够正确处理 CSV 输入
• 维护统一的性能统计输出格式

应用价值

这一改进为用户带来以下价值：

1. 更全面的性能评估：用户可以在不同存储格式下比较查询性能
2. 降低测试门槛：CSV 格式更易于生成和检查，方便快速验证
3. 真实场景模拟：许多实际业务数据仍以 CSV 格式存储，测试结果更具参考价值

未来展望

随着这一功能的加入，DataFusion 的基准测试能力将更加完善。未来可以考虑进一步扩展支持更多数据格式，如 JSON、Avro 等，构建更全面的性能评估体系。同时，也可以探索在不同存储格式下性能差异的原因，为查询优化提供更多 insights。

这一改进体现了 Apache DataFusion 社区对用户体验的持续关注和对技术完备性的追求，将为用户在选择数据格式和优化查询性能方面提供更多参考依据。