Kyuubi项目中Hudi存储过程路径资源认证问题分析

在Apache Kyuubi项目中，发现了一个与Hudi存储过程路径资源认证相关的系统问题。该问题影响了Kyuubi 1.9.0版本，可能导致未预期的路径资源访问。

问题背景

Kyuubi是一个构建在Apache Spark之上的分布式SQL引擎，提供了JDBC接口和更高级的功能。在Kyuubi中，Hudi(一种开源的数据湖技术)的存储过程(如RUN_COMPACTION)可以通过SQL语句直接调用。例如：

CALL RUN_COMPACTION(path => 'hdfs://demo/test/hudi/path')

这类调用本应经过严格的路径资源认证检查，确保只有授权用户才能访问指定路径。然而在实际实现中，Kyuubi的认证授权(AuthZ)机制未能正确拦截和验证这些存储过程调用中的路径参数。

技术影响

这个问题可能导致以下系统风险：

1. 未授权访问风险：用户可能通过构造特定SQL语句访问受限的Hudi表路径
2. 数据暴露风险：可能利用此问题获取受限数据
3. 数据修改风险：用户可能对不应有写权限的路径执行压缩等操作

解决方案

Kyuubi社区已经通过提交修复了此问题。修复方案主要包括：

1. 在SQL解析阶段识别Hudi存储过程调用
2. 提取路径参数并进行资源权限验证
3. 对验证失败的请求返回适当的错误信息

修复后的系统会在执行类似RUN_COMPACTION的存储过程前，先检查调用者是否具有对应路径的访问权限。

最佳实践建议

对于使用Kyuubi与Hudi集成的用户，建议：

1. 及时升级到修复此问题的版本
2. 在生产环境中启用完整的认证授权检查
3. 定期检查存储过程调用日志
4. 对重要路径设置更严格的访问控制

这个问题的发现和修复体现了Kyuubi社区对系统安全性的重视，也提醒我们在开发类似系统时需要全面考虑各种接口的认证授权机制。