Apache Arrow DataFusion 中 Substrait 消费器的字段歧义问题分析

问题背景

在 Apache Arrow DataFusion 项目中，当通过 Substrait 消费器路径执行逻辑计划构建时，可能会遇到一个关于字段名称歧义的错误。这个错误表现为："Schema contains qualified field name left."concat('a', 'b')" and unqualified field name "concat('a', 'b')" which would be ambiguous"。

问题本质

该问题的核心在于 Schema 构建过程中出现了字段名称的歧义情况。具体表现为：

1. 一个字段带有限定符（如 left.concat(...)）
2. 另一个字段没有限定符但具有相同的名称（如 concat('a', 'b')）

DataFusion 的 DFschema 实现不允许这种歧义情况存在，这会导致逻辑计划构建失败。

技术细节

这个问题主要出现在 Substrait 消费器的逻辑计划构建阶段，特别是在构建最终项目 Schema 时。具体来说：

1. 错误发生在 build_final_schema 函数中
2. 该函数在消费完整 Substrait 计划后被调用
3. 问题源于 Substrait 计划根名称中实际存在重复项

复现场景

这个问题可以通过以下 SQL 查询生成的 Substrait 计划复现：

WITH a as (SELECT CONCAT('a', 'b'), 1 as "join"),
     b as (SELECT CONCAT('a', 'b'), 1 as "join"),
     c as (SELECT * FROM a LEFT JOIN b on a."join" = b."join")

SELECT * FROM c

在这个查询中，两个 CONCAT 函数调用产生了相同的字段名称，但在 JOIN 操作后，一个带有表限定符，另一个没有，从而导致了歧义。

解决方案分析

虽然这个问题最初看起来像是需要修改 DataFusion 的 Substrait 消费器实现，但深入分析后发现：

1. 问题实际上源于 Substrait 计划本身存在重复的根名称
2. 正确的解决方式应该是在生成 Substrait 计划时就避免这种重复
3. DataFusion 的正常路径（非 Substrait）不会出现这个问题

技术启示

这个问题揭示了几个重要的技术点：

1. 跨系统数据交换格式（如 Substrait）需要特别注意字段名称的唯一性
2. 限定符处理在不同执行路径中可能存在不一致性
3. 计划转换过程中的名称冲突检测机制至关重要

对于使用 DataFusion 和 Substrait 的开发人员来说，应当确保生成的 Substrait 计划中所有字段名称都是唯一的，或者在必要时添加适当的限定符以避免歧义。

总结

这个案例展示了数据查询引擎中计划转换和名称解析的复杂性。它强调了在构建跨系统查询计划时，需要特别注意名称空间管理和歧义解析。虽然这个问题最终确定不需要修改 DataFusion 核心代码，但它为使用 Substrait 集成的开发者提供了有价值的实践经验。