Apache Kyuubi 中 HDFS 目录作为结果保存路径的问题分析

问题背景

在 Apache Kyuubi 项目中，用户配置了使用 JuiceFS（兼容 HDFS 接口的文件系统）作为 Spark SQL 查询结果的保存目录时，遇到了初始化失败的问题。具体表现为当设置 kyuubi.operation.result.saveToFile.dir=jfs://datalake/tmp 时，Spark 引擎启动失败并抛出 java.io.IOException: JuiceFS initialized failed for jfs:/// 异常。

技术分析

根本原因

问题根源在于路径处理逻辑的不一致性。Kyuubi 在处理结果保存路径时，使用了 Java 标准库中的 java.nio.file.Paths 来拼接路径，这会导致 HDFS 风格的 URI 被错误转换：

Paths.get("jfs://datalake/tmp", "test_engine_id").toString
// 错误输出: jfs:/datalake/tmp/test_engine_id (双斜杠被转为单斜杠)

而后续代码又使用 Hadoop 的 org.apache.hadoop.fs.Path 来处理这个已经被转换的路径，导致 JuiceFS 文件系统初始化失败，因为协议头格式不符合预期。

影响范围

这个问题影响所有使用 HDFS 兼容文件系统（如 JuiceFS、HDFS 本身等）作为结果保存目录的场景。本地文件系统不受影响，因为本地路径不需要协议头。

解决方案

正确的做法应该是统一使用 Hadoop 的 Path 类来处理所有文件系统路径，特别是在处理 HDFS 兼容文件系统时。Path 类专门设计用于处理各种文件系统路径，包括带协议头的路径。

修复方案应包括：

1. 替换 java.nio.file.Paths 为 org.apache.hadoop.fs.Path
2. 确保路径拼接时保留原始协议头格式
3. 添加对各类文件系统路径的兼容性测试

最佳实践建议

对于 Kyuubi 用户，在使用 HDFS 或兼容文件系统作为结果保存目录时，应注意：

1. 确保文件系统配置正确，包括必要的协议实现类配置
2. 验证文件系统可正常访问
3. 对于 JuiceFS，确认 juicefs.name 等必要配置已正确设置
4. 关注路径格式，确保协议头完整（如 jfs:// 而非 jfs:/）

总结

这个问题展示了在处理跨文件系统路径时需要特别注意协议头的完整性。在混合使用 Java 标准库和 Hadoop 生态工具时，应优先使用 Hadoop 提供的工具类来确保兼容性。Kyuubi 作为大数据查询引擎，正确处理各类文件系统路径是其稳定性的重要保障。