Apache Arrow DataFusion中结构体字段访问语法变更分析

Apache Arrow DataFusion项目在SQLParser从0.53版本升级到0.54版本后，对结构体(Struct)字段的访问语法行为发生了变化。这一变更影响了涉及深层嵌套结构体字段的SQL查询语句。

语法变更现象

在SQLParser 0.53版本中，以下两种结构体字段访问方式都是有效的：

-- 点号访问方式
asset_meta.struct_field.substruct.substruct

-- 下标访问方式
asset_meta.struct_field['substruct']['substruct']

但在升级到0.54版本后，下标访问方式在JOIN条件中不再被正确解析。解析器会将表别名asset_meta错误地识别为列名，而不是表引用。

技术背景

结构体(Struct)是DataFusion中一种复杂数据类型，可以包含多个命名字段，每个字段又可以包含子结构体，形成嵌套结构。SQL标准本身对结构体访问没有明确规定，不同SQL引擎实现了不同的语法。

DataFusion在0.54版本中引入的sql_compound_field_access_to_expr函数改变了结构体字段的解析逻辑。新版本更严格地区分了表引用和列引用，导致在某些上下文中的解析行为发生了变化。

影响范围

这一变更主要影响以下场景：

1. 涉及多表JOIN且JOIN条件包含深层嵌套结构体字段比较的查询
2. 使用下标语法(['field'])访问结构体字段的查询
3. 特别是当结构体字段路径中包含多级嵌套时

解决方案

目前推荐的解决方案是统一使用点号访问语法：

asset_meta.struct_field.substruct.substruct

这种语法在DataFusion的所有版本中都能正确工作，且更符合大多数SQL方言的习惯。

最佳实践

对于DataFusion用户，建议：

1. 在涉及结构体字段访问时优先使用点号语法
2. 在升级DataFusion版本时，检查所有包含结构体字段访问的查询
3. 对于复杂查询，考虑使用CTE(Common Table Expression)或临时视图来简化结构体访问

未来展望

DataFusion团队可能会在后续版本中进一步统一结构体字段访问的语法规范，可能的方向包括：

1. 完全支持两种语法并确保行为一致
2. 明确推荐其中一种语法作为标准
3. 提供更详细的错误提示帮助用户迁移查询

这一变更反映了DataFusion在语法解析方面趋向更严格和一致的方向发展，虽然短期内可能带来一些迁移成本，但长期来看有助于提高SQL解析的可靠性和可预测性。