Apache Doris中比较谓词类型转换策略的优化实践

背景介绍

在Apache Doris的实际生产环境中，我们经常会遇到数据类型转换带来的性能问题。最近，一个典型场景引起了我们的关注：当用户对Hive外部表中的字符串类型分区字段使用数值型条件进行查询时，系统自动进行了不理想的类型转换，导致查询性能急剧下降。

问题现象

用户执行了如下SQL查询：

select count(*) from hive_ods.app_day where day_id = 20250411 and latn_id = 20250411

其中day_id和latn_id都是字符串类型的分区字段。系统在执行时自动将其优化为：

select count(*) from hive_ods.app_day where cast(day_id as double) = 20250411 and cast(latn_id as double) = 20250411

这种转换导致分区剪枝失效，系统不得不扫描全部分区数据，不仅耗时增加，还消耗了大量网络带宽。

技术原理分析

Apache Doris在进行比较操作(ComparisonPredicate)时，有一套类型转换规则。当前实现中，当字符串类型与整数类型比较时，系统会将两者都转换为double类型进行计算。这种设计虽然保证了比较操作的类型一致性，但在实际应用中可能带来以下问题：

1. 分区剪枝失效：类型转换导致分区字段无法被识别
2. 性能下降：全表扫描代替了分区扫描
3. 资源浪费：不必要的数据传输和计算

优化方案

针对这一问题，我们提出了优化方案：在比较操作中，优先将右侧的字面量转换为左侧表达式的类型。具体来说：

1. 当左侧是字符串类型，右侧是数值类型时，将数值转换为字符串
2. 保持比较语义不变，但生成更高效的执行计划
3. 确保分区剪枝等优化能够正常生效

优化后的查询计划将变为：

SELECT COUNT(*) FROM hive_ods.app_day WHERE day_id = '20250411' AND latn_id = '20250411'

实施效果

这一优化带来了显著改进：

1. 查询性能提升：分区剪枝重新生效，只扫描相关分区
2. 资源消耗降低：减少了不必要的数据扫描和传输
3. 用户体验改善：无需用户手动修改SQL即可获得最佳性能

深入思考

这一案例引发了我们对于数据库类型系统的深入思考：

1. 隐式类型转换虽然方便，但可能带来意料之外的性能问题
2. 在分区字段等关键路径上，类型处理需要特别谨慎
3. 数据库优化器需要在通用性和特殊性之间找到平衡点

最佳实践建议

基于这一案例，我们建议：

1. 对于分区字段，尽量保持查询条件与字段类型一致
2. 关注执行计划，特别是类型转换相关的操作
3. 在性能敏感场景，考虑使用EXPLAIN验证查询计划
4. 对于外部表查询，特别注意类型系统的差异

总结

Apache Doris通过优化比较谓词的类型转换策略，有效解决了分区查询中的性能问题。这一优化不仅提升了系统性能，也为我们理解数据库类型系统提供了宝贵经验。未来，我们将继续完善类型处理逻辑，在保证正确性的前提下，提供更高效的查询执行。