Apache Kyuubi 中 Flink SQL 引擎的代理用户模式实现

背景介绍

Apache Kyuubi 作为一个企业级数据湖管理平台，提供了多租户和代理用户的能力。在实际生产环境中，安全性和用户隔离是至关重要的需求。本文将深入探讨如何在 Kyuubi 的 Flink SQL 引擎中实现代理用户(impersonation)模式。

技术挑战

在 Flink 环境中实现代理用户模式面临几个关键挑战：

1. 委托令牌(delegation token)传递问题：当关闭安全令牌功能后，JobManager 无法将更新的委托令牌传递给 TaskManager
2. 多组件集成：需要协调 Hadoop、Zookeeper 等多个安全模块
3. 权限隔离：确保代理用户只能访问其被授权的资源

解决方案

基于 Flink 社区的相关讨论，我们设计了一套完整的解决方案：

核心组件实现

1. 自定义令牌提供者：实现 KyuubiDelegationTokenProvider，负责生成和管理代理用户的认证令牌
2. 自定义令牌接收器：实现 KyuubiDelegationTokenReceiver，处理令牌的验证和更新

关键配置参数

HADOOP_PROXY_USER=proxyUser
security.module.factory.classes=org.apache.flink.runtime.security.modules.JaasModuleFactory,org.apache.flink.runtime.security.modules.ZookeeperModuleFactory
security.delegation.token.provider.hadoopfs.enabled=false
security.delegation.token.provider.s3-hadoop.enabled=false
security.delegation.token.provider.s3-presto.enabled=false
security.delegation.token.provider.HiveServer2.enabled=false
security.delegation.token.provider.hbase.enabled=false

实现原理

1. 通过 HADOOP_PROXY_USER 指定代理用户身份
2. 使用自定义的安全模块工厂加载 JAAS 和 Zookeeper 安全模块
3. 禁用默认的各种存储系统的令牌提供者，避免冲突
4. 通过自定义的令牌提供者和接收器实现细粒度的权限控制

技术细节

安全模块加载机制

Flink 的安全模块系统采用工厂模式，允许通过配置动态加载不同的安全模块。在我们的实现中：

• JaasModuleFactory：负责基于 JAAS 的身份认证
• ZookeeperModuleFactory：处理与 Zookeeper 相关的安全配置

令牌管理流程

1. 代理用户登录时，Kyuubi 前端生成初始令牌
2. 令牌通过自定义提供者传递给 Flink JobManager
3. JobManager 在需要时将令牌分发给 TaskManager
4. TaskManager 通过自定义接收器验证令牌有效性

实际应用效果

该方案已在生产环境验证，实现了：

• 完善的用户隔离：不同代理用户的操作完全隔离
• 灵活的安全策略：可根据需要启用/禁用特定存储系统的令牌
• 稳定的令牌管理：解决了令牌更新和传递的问题
• 良好的兼容性：与现有 Hadoop 生态系统无缝集成

总结

在 Apache Kyuubi 中实现 Flink SQL 引擎的代理用户模式是一个涉及多个组件的复杂工程。通过自定义安全模块和精细的配置管理，我们成功构建了一个既安全又灵活的多租户解决方案。这一实现不仅满足了企业级的安全需求，也为后续的功能扩展奠定了坚实基础。