Delta-rs项目优化：移除PyArrow强制依赖的技术方案

背景与现状

Delta-rs作为Delta Lake的Rust实现，其Python绑定目前强制依赖PyArrow库。然而随着PyArrow的发展，其wheel包体积已膨胀至111MB，这给用户部署带来了显著负担，特别是在需要构建轻量级容器镜像的场景下。这种强制依赖不仅增加了安装体积，也限制了用户选择其他Arrow兼容库的灵活性。

技术挑战分析

当前实现中存在多处对PyArrow的直接依赖，主要集中在以下几个方面：

1. 数据模式处理：create_table_with_add_actions和create_write_transaction等核心函数直接使用PyArrow的Schema
2. 数据转换接口：to_pyarrow_table、to_pandas等方法强制要求PyArrow环境
3. 底层实现：DeltaSchema.from_pyarrow等转换方法深度耦合PyArrow类型系统
4. 文件系统交互：部分文件系统操作也依赖PyArrow实现

技术方案设计

核心架构调整

我们将采用"Arrow接口标准化"的设计思路，通过以下方式重构架构：

1. 引入ArrowSchemaExportable协议作为中间抽象层，替代直接使用PyArrow Schema
2. 实现基于Arrow C数据接口的通用交互方式，支持任意兼容Arrow规范的库
3. 将PyArrow转为可选依赖，通过deltalake[pyarrow]方式显式安装

关键实现细节

1. 模式处理重构：

   • 使用Delta自有Schema类型作为内部表示
   • 通过__arrow_c_schema__接口实现与外部库的互操作
   • 保留与PyArrow的兼容性，但不强制依赖

2. 数据接口优化：

   • 新增to_arro3_recordbatch_reader等通用接口
   • 保持现有PyArrow接口，但改为可选实现
   • 查询结果默认返回arro3.RecordBatch列表

3. 类型系统适配：

   • 利用pyo3-arrow处理类型转换
   • 禁用buffer_protocol特性以保持ABI兼容性
   • 实现ArrowStreamExportable接口支持多种输入源

用户影响与兼容性

这一变更对用户的影响主要体现在：

1. 安装选项：

   • 基础安装不再包含PyArrow
   • 需要PyArrow功能的用户需显式安装deltalake[pyarrow]

2. API兼容性：

   • 现有PyArrow接口保持兼容
   • 新增通用Arrow接口供替代选择

3. 性能考量：

   • 核心路径不再依赖PyArrow，可能带来性能提升
   • 用户可选择性能最优的Arrow实现

实施路线图

1. 第一阶段：解耦核心组件与PyArrow的依赖
2. 第二阶段：实现通用Arrow接口支持
3. 第三阶段：优化文件系统交互的模块化
4. 第四阶段：完善测试覆盖和文档更新

技术价值

这一优化将带来多重技术价值：

1. 部署友好：显著减小安装体积，更适合容器化部署
2. 架构灵活：支持多种Arrow实现，提高系统适应性
3. 性能优化：减少不必要的转换开销
4. 生态整合：更好地融入Python数据生态体系

通过这一系列优化，Delta-rs将成为一个更加灵活、高效的数据湖解决方案，同时保持与现有生态的良好兼容性。