Apache Arrow DataFusion 中复合字段访问与连接查询的回归问题分析

问题背景

在Apache Arrow DataFusion项目的最新版本46中，出现了一个关于复合字段访问和表连接查询的回归问题。这个问题主要影响那些需要连接两个具有相似列结构的表，并且在连接条件中使用复合字段访问（如结构体字段访问）的查询场景。

问题表现

在DataFusion CLI中，当用户尝试执行包含以下特征的查询时会出现问题：

1. 创建包含结构体列的表
2. 在这些表上执行连接操作
3. 在连接条件中使用结构体字段访问表达式

具体表现为：

• 在版本45中正常工作的查询，在版本46中会抛出"Schema error: No field named..."的错误
• 简单查询（如单表过滤）和简单连接查询（不使用复合字段访问）仍然正常工作

技术分析

这个问题源于DataFusion项目中SQL解析器版本的更新（特别是PR #14255引入的变化）。新版本在解析包含表别名和复合字段访问的连接查询时，对字段引用的解析逻辑发生了变化。

在版本45中，系统能够正确识别如t.column1['r']这样的表达式，其中t是表别名，column1是列名，['r']是结构体字段访问。但在版本46中，解析器在处理这类表达式时出现了偏差，导致无法正确识别表别名。

影响范围

这个问题主要影响以下使用场景：

1. Delta Lake表合并操作（特别是包含结构体的表）
2. 任何需要在连接条件中使用复合字段访问的查询
3. 使用表别名的复杂连接查询

解决方案

该问题已在主分支的最新提交中通过PR #15153得到修复。修复后的版本能够正确处理以下两种形式的查询：

1. 使用表别名的连接查询：select * from t tee join u you on tee.column1['r'] = you.column1['r']
2. 不使用表别名的连接查询：select * from t join u on t.column1['r'] = u.column1['r']

开发者建议

对于遇到此问题的开发者，建议：

1. 升级到包含修复的主分支最新版本
2. 在测试环境中验证所有涉及结构体字段访问的连接查询
3. 如果暂时无法升级，可以考虑重写查询，避免在连接条件中使用复合字段访问

总结

这个回归问题提醒我们，在SQL解析器升级时需要特别注意边缘案例的测试覆盖。DataFusion团队通过快速响应和修复，确保了项目的稳定性和向后兼容性。对于使用DataFusion的项目，建议密切关注这类核心组件的更新，并在升级前进行充分的测试验证。