Daft项目中的Iceberg Rest API写入S3路径问题解析

问题背景

在使用Daft数据框架与Iceberg Rest API交互时，发现了一个关于S3存储路径的重要问题。当通过Iceberg Rest API向Nessie目录写入数据时，生成的清单文件中数据文件路径缺少了"s3://"前缀，这导致后续读取操作失败。

问题现象

具体表现为：

1. 写入操作看似成功完成
2. 生成的清单文件中数据文件路径格式为"data-services-experimentation/..."而不是正确的"s3://data-services-experimentation/..."
3. 后续读取操作尝试从本地文件系统而非S3存储读取数据，导致文件未找到错误

技术分析

这个问题源于Daft框架在处理Iceberg Rest API写入操作时，没有正确地为S3路径添加协议前缀。在分布式存储系统中，路径协议前缀是至关重要的，它告诉系统使用何种存储后端和访问协议。

对比测试显示：

• 使用pyiceberg直接写入时路径正确
• 使用Daft框架写入时路径缺少协议前缀
• 问题出现在Daft 0.4.3与pyiceberg 0.8.1版本组合中

影响范围

该问题影响所有使用以下配置的用户：

1. 使用Daft框架通过Iceberg Rest API写入数据
2. 后端存储使用S3
3. 使用Nessie作为目录服务

解决方案

修复方案相对直接：需要在生成清单文件时，确保S3路径包含正确的"s3://"协议前缀。具体实现位置可能在Daft框架处理data_files的部分。

最佳实践建议

对于遇到此问题的用户，可以采取以下临时解决方案：

1. 暂时使用pyiceberg直接进行写入操作
2. 手动修改清单文件中的路径（不推荐用于生产环境）
3. 等待官方修复版本发布

总结

这个问题虽然看似简单，但反映了分布式存储系统中路径处理的重要性。正确的协议前缀不仅关系到功能正确性，也影响着系统的可移植性和一致性。Daft团队已经将这个问题标记为高优先级，预计会在后续版本中修复。