PrestoDB中TPCH连接器数据生成差异问题分析

问题背景

在PrestoDB项目中，TPCH连接器用于生成标准测试数据集。近期发现，当使用Java实现的TPCH连接器与Prestissimo（基于Velox的C++实现）时，对于lineitem表中的l_quantity字段，两者生成了不同的结果值。

问题现象

通过执行相同的SQL查询语句，对比Java实现和Prestissimo实现的结果：

select l_quantity, l_orderkey from tpch.sf1.lineitem where l_orderkey = 321030;

Java实现返回的结果中，l_quantity值为小数形式（如0.04、0.17等），而Prestissimo返回的结果中，l_quantity值被放大100倍（如4.0、17.0等）。这种差异会导致基于TPCH数据集的测试结果不一致。

问题根源分析

经过深入调查，发现问题主要出在数据生成环节：

1. 数据类型处理差异：Velox的TPCH数据生成代码中，decimalToDouble函数在处理小数转换时存在逻辑问题，导致数值被错误放大。

2. 规范符合性问题：根据TPCH规范，l_quantity等字段本应使用Decimal类型，但Presto实现中使用了Double类型，这在一定程度上导致了类型转换问题。

3. 数据生成工具差异：Presto Java实现的数据生成逻辑与Velox（基于DuckDB的dbgen工具）存在不一致，特别是在Varchar类型字段（如各种comment字段）的处理上。

解决方案

针对l_quantity字段的差异问题，社区已经提出了修复方案：

1. 修改Velox中的decimalToDouble函数实现，确保生成与Java实现一致的小数值。

2. 对于其他数据类型问题，特别是Varchar字段的差异，将在后续单独处理。

扩展影响

这个问题不仅影响l_quantity字段，还反映出TPCH连接器实现中的几个深层次问题：

1. 测试数据集一致性：不同实现生成的数据不一致会影响测试结果的可比性。

2. 类型系统设计：理想情况下应遵循TPCH规范使用Decimal类型，但需要考虑向后兼容性。

3. 小规模数据集支持：对于tiny scale factor的支持，不同实现间也存在差异。

最佳实践建议

对于PrestoDB用户和开发者，建议：

1. 在比较不同实现（Java vs Prestissimo）的性能测试结果时，注意验证数据一致性。

2. 对于依赖精确数值的测试场景，建议明确指定使用哪种TPCH连接器实现。

3. 关注后续对TPCH连接器的改进，特别是对Decimal类型的支持进展。

这个问题展示了在分布式查询引擎开发中，保持测试数据集一致性的重要性，也为未来改进数据生成工具提供了方向。