TiDB中TiFlash多表连接时因类型不匹配导致结果错误的深度解析

在分布式数据库TiDB的使用过程中，我们最近发现了一个关于TiFlash执行引擎在多表连接操作时可能产生错误结果的严重问题。这个问题特别出现在启用细粒度shuffle功能且连接键存在不同类型的情况下。

问题现象

当用户执行包含多个表连接的查询时，如果满足以下条件，可能会得到错误的查询结果：

1. 使用了TiFlash作为执行引擎
2. 启用了细粒度shuffle功能(tiflash_fine_grained_shuffle_stream_count > 0)
3. 多个连接条件中的键具有不同的数据类型

具体表现为：当关闭细粒度shuffle功能时查询结果正确，而开启该功能后结果却出现错误。

技术背景

TiDB的MPP执行引擎在处理多表连接时，会涉及到以下几个关键技术点：

1. 数据shuffle：在分布式环境下，连接操作需要将相同键值的数据发送到同一个计算节点，这个过程称为shuffle。

2. 类型转换：当连接键的类型不同时，系统需要选择一种公共类型进行转换，以确保比较的正确性。

3. 细粒度shuffle优化：从TiDB 6.5.0版本开始引入的优化，旨在重用shuffle阶段生成的哈希值，减少计算开销。

问题根源分析

通过深入分析，我们发现问题的根本原因在于shuffle列类型与连接键比较类型不一致，以及连接构建过程中键类型的"跳跃式"变化：

1. 第一阶段连接(t1 JOIN t2)：

   • t1.id为bigint类型，t2.id为bigint unsigned类型
   • 系统选择decimal(20,0)作为shuffle类型
   • 比较类型也是decimal(20,0)，结果正确

2. 第二阶段连接((t1 JOIN t2) JOIN t3)：

   • 虽然t1.id和t3.id都是bigint类型
   • 优化器为了复用已有的shuffle结果，选择基于decimal(20,0)进行shuffle
   • 实际连接条件却是直接比较bigint类型的t1.id和t3.id

3. 细粒度shuffle的影响：

   • 重用shuffle阶段为decimal(20,0)生成的哈希值
   • 但连接探测阶段直接为bigint类型生成哈希值
   • 导致哈希值不匹配，最终结果错误

影响范围

该问题影响以下TiDB版本：

• 7.1.x系列
• 7.5.x系列
• 8.1.x系列
• 8.5.x系列

临时解决方案

用户可以通过以下方式临时规避该问题：

SET tiflash_fine_grained_shuffle_stream_count = -1;

最佳实践建议

为避免此类问题，我们建议：

1. 在设计表结构时，尽量保持关联字段的数据类型一致
2. 执行多表连接查询前，检查连接键的类型兼容性
3. 对于关键业务查询，建议进行结果验证测试
4. 关注TiDB官方发布的修复版本，及时升级

总结

这个问题揭示了分布式查询优化中类型系统一致性的重要性。TiDB团队已经意识到该问题的严重性，并将其标记为关键缺陷。用户在使用多表连接查询时应当特别注意连接键的类型一致性，特别是在启用高级优化功能的情况下。