Apache Kyuubi 中解决 Spark on K8s 用户组查询警告问题

问题背景

在使用 Apache Kyuubi 1.8.0 版本结合 Spark on Kubernetes 运行时，当集成了 Ranger 授权插件后，用户在执行操作时会遇到一个警告信息："WARN ShellBasedUnixGroupsMapping: unable to return groups for user xxx"。虽然这个警告不会影响任务的正常运行，但对于生产环境来说，过多的警告日志会影响系统监控和问题排查。

问题分析

这个警告的根本原因是系统尝试通过 Unix shell 命令来获取用户组信息，但在 Kubernetes 环境中，这种方式通常不可行。具体表现为：

1. 系统尝试使用 id 命令查询用户组信息
2. 由于 Kubernetes 容器环境中缺少对应的用户信息，导致查询失败
3. 失败信息被记录为警告级别日志

这个问题源于 Hadoop 的安全组映射机制，默认使用 ShellBasedUnixGroupsMapping 来获取用户组信息。在传统 Hadoop 环境中，这种方式是可行的，但在容器化环境中则存在问题。

解决方案

针对这个问题，Apache Kyuubi 社区提供了两种解决方案：

方案一：配置 Ranger 使用用户存储中的组信息

通过设置以下 Ranger 配置参数，可以避免系统尝试从 Unix 系统中查询用户组信息：

ranger.plugin.$getServiceType.use.usergroups.from.userstore.enabled = true

其中 $getServiceType 需要替换为实际的服务类型，例如对于 Spark 服务可以设置为：

ranger.plugin.spark.use.usergroups.from.userstore.enabled = true

这个配置告诉 Ranger 直接从用户存储中获取组信息，而不是尝试通过系统命令查询。

方案二：等待 Spark 社区修复

Spark 社区已经注意到这个问题，并在 Spark 3.5 版本中进行了修复。相关修复通过改进用户组查询机制，使其在容器化环境中也能正常工作。如果用户能够升级到包含该修复的 Spark 版本，问题也会得到解决。

实施建议

对于生产环境，建议优先采用方案一，因为它：

1. 不需要升级 Spark 版本
2. 配置简单，只需添加一个参数
3. 效果立竿见影，能够立即消除警告信息

如果用户已经计划升级 Spark 版本，可以考虑方案二，但需要注意评估升级带来的其他影响。

总结

Apache Kyuubi 与 Spark on Kubernetes 结合使用时出现的用户组查询警告是一个常见问题，但通过合理配置可以轻松解决。理解这个问题的根源有助于我们在容器化环境中更好地配置和管理大数据组件。对于系统管理员和 DevOps 工程师来说，掌握这类问题的解决方法，能够提升系统的稳定性和可维护性。