Kedro项目中Ibis与DuckDB的兼容性问题解析

问题背景

在Kedro数据处理项目中，当使用Ibis库与DuckDB后端进行交互时，用户可能会遇到一个参数传递错误。具体表现为当尝试通过read_parquet方法读取Parquet文件时，系统抛出"Backend.read_parquet() takes 2 positional arguments but 3 were given"的错误提示。

技术细节分析

这个问题的根源在于Ibis库版本升级到10.4.0后，其API接口发生了变化。在较新版本的Ibis中，read_parquet方法的设计调整为只接受两个位置参数，而Kedro-Datasets模块中的代码仍然按照旧版本的参数传递方式进行调用，导致参数数量不匹配。

问题表现

当用户尝试使用以下环境组合时会出现此问题：

• Kedro版本：0.19.12
• Ibis版本：10.4.0
• DuckDB版本：1.2.1

错误发生在Kedro-Datasets的ibis/file_dataset.py文件中，具体是在加载数据时对read_parquet方法的调用处。

临时解决方案

在官方修复发布前，用户可以采取以下临时解决方案：

1. 修改Kedro-Datasets源代码，在检测到DuckDB后端时跳过表名参数传递：

def load(self) -> ir.Table:
    load_path = self._get_load_path()
    reader = getattr(self.connection, f"read_{self._file_format}")
    if self._connection_config["backend"].lower() == "duckdb":
        return reader(load_path, **self._load_args)
    else:
        return reader(load_path, self._table_name, **self._load_args)

2. 降级Ibis到10.0.0以下版本，保持与现有代码的兼容性。

官方修复

Kedro开发团队已经意识到这个问题，并在Kedro-Datasets 7.0.0版本中提供了永久性修复。新版本通过以下方式解决了兼容性问题：

• 明确区分不同后端的数据读取方式
• 针对DuckDB后端优化了参数传递逻辑
• 确保与最新版Ibis的API兼容

最佳实践建议

对于使用Kedro进行数据处理的开发者，建议：

1. 保持Kedro和相关插件的最新版本
2. 在升级关键依赖(如Ibis)前检查变更日志
3. 对于生产环境，考虑锁定依赖版本以避免意外兼容性问题
4. 实现自定义数据加载逻辑时，考虑不同后端的特性和限制

这个问题展示了在数据工程工具链中保持各组件版本协调的重要性，也体现了Kedro社区对用户反馈的快速响应能力。