Apache DataFusion ClickBench 查询优化：避免使用 to_timestamp_seconds 函数

在 Apache DataFusion 项目中，ClickBench 基准测试的查询实现存在一个值得关注的优化点。当前实现中使用了 to_timestamp_seconds 函数来处理时间戳字段，这不仅可能影响查询性能，还阻碍了某些查询优化技术的应用。

问题背景

ClickBench 是用于评估数据库性能的标准基准测试套件。在 DataFusion 的实现版本中，查询语句对 EventTime 字段使用了 to_timestamp_seconds 函数进行转换。这种处理方式与其他数据库实现（如 DuckDB 和 ClickHouse）形成对比，后者直接使用原始字段而不进行转换。

技术分析

to_timestamp_seconds 函数的主要作用是将整数值转换为时间戳类型。这一转换过程涉及：

1. 数据验证：确保输入值代表有效的时间戳
2. 类型转换：将整型转换为时间戳类型

这种转换带来了两个潜在问题：

1. 性能开销：额外的验证和转换步骤会增加查询执行时间
2. 优化限制：阻碍了某些查询优化技术的应用，如将聚合函数与比较操作相结合的优化

优化建议

基于对 ClickBench 数据集的观察，EventTime 字段本身已经是有效的时间表示，直接使用原始字段可以：

1. 消除不必要的转换开销
2. 使查询计划更简单
3. 为优化器提供更多优化机会

修改后的查询示例如下：

SELECT * FROM 'hits.parquet' WHERE "URL" LIKE '%google%' ORDER BY "EventTime" LIMIT 10

相关优化点

除了 to_timestamp_seconds 问题外，查询中还发现了其他可以优化的类型转换操作，如 "EventDate"::INT::DATE 这样的多重类型转换。这些转换同样可能影响查询性能，值得进一步评估和优化。

总结

在实现基准测试查询时，应当尽量减少不必要的类型转换操作，这不仅符合其他数据库的实现惯例，也能为查询优化提供更好的基础。对于 DataFusion 项目而言，更新 ClickBench 查询实现将有助于更准确地评估系统性能，并为后续优化工作创造更好的条件。

这一优化工作也提醒我们，在编写查询时应当仔细考虑每个函数调用的必要性，特别是在性能敏感的基准测试场景中。简单的查询结构往往能带来更好的性能表现和更优的执行计划。