DataFusion 中用户自定义类型强制转换的兼容性问题解析

在 Apache DataFusion 46.0 版本发布后，用户自定义标量函数中的类型强制转换（Type Coercion）机制出现了一个重要的行为变更。这个变更影响了函数签名中对时间类型（Timestamp/Time）的处理方式，值得开发者特别关注。

背景：类型强制转换机制的变化

在 DataFusion 46.0 版本之前，开发者可以通过简单的 TypeSignature::Coercible 语法来声明函数接受的参数类型。例如，一个函数可以声明为同时接受可强制转换为 Timestamp 或 Time 类型的参数：

Signature::one_of(
    vec![
        TypeSignature::Coercible(vec![TypeSignatureClass::Timestamp]),
        TypeSignature::Coercible(vec![TypeSignatureClass::Time]),
    ]);

这种声明方式直观地表达了函数能够处理这两种类型的参数，或者可以自动强制转换为这两种类型的参数。

46.0 版本的变更

46.0 版本对类型系统进行了重构，引入了更明确的 Coercion 结构体来定义类型强制转换规则。新的语法要求开发者显式声明：

1. 目标类型（期望转换成的类型）
2. 允许进行转换的源类型列表
3. 目标类型的原生表示

例如，对于时间类型的处理变成了：

Signature::one_of(
    vec![
        TypeSignature::Coercible(vec![Coercion::new_implicit(
            TypeSignatureClass::Timestamp,
            vec![TypeSignatureClass::Time],
            NativeType::Timestamp(TimeUnit::Nanosecond, None),
        )])
    ]);

问题本质

变更后出现的关键问题是：DataFusion 现在会额外检查 Arrow 类型系统是否支持声明的强制转换。对于 Time 和 Timestamp 这两种类型，Arrow 的 can_cast_types 检查会失败，导致即使用户显式声明了这种转换，系统也不会认可。

这实际上带来了两个潜在问题：

1. 向后兼容性破坏：之前能正常工作的函数签名现在可能失效
2. 设计理念冲突：用户声明的转换意图与系统强制执行的 Arrow 规则之间存在矛盾

解决方案探讨

经过社区讨论，确认正确的做法应该是：

1. 如果确实需要处理多种独立类型（如 Time 和 Timestamp），应该使用多个精确（exact）的类型签名，而不是依赖强制转换
2. 强制转换机制应该严格遵循 Arrow 类型系统的规则

修正后的签名应该明确区分两种独立类型：

Signature::one_of(
    vec![
        TypeSignature::Coercible(vec![Coercion::new_exact(
            TypeSignatureClass::Timestamp,
        )]),
        TypeSignature::Coercible(vec![Coercion::new_exact(
            TypeSignatureClass::Time,
        )])
    ],
    Volatility::Immutable,
);

对开发者的建议

1. 升级到 46.0+ 版本时，需要仔细检查所有自定义函数中涉及类型强制转换的签名
2. 明确区分"精确匹配"和"允许强制转换"的场景
3. 避免声明 Arrow 不支持的强制转换规则
4. 对于需要处理多种独立类型的情况，使用 one_of 组合多个精确类型签名

这一变更体现了 DataFusion 向更严格、更符合底层类型系统规则的方向发展，虽然短期内可能带来一些迁移成本，但从长期看有助于提高类型系统的可靠性和一致性。