Apache Kyuubi 与 HDFS 高可用环境下的元数据访问问题解析

问题背景

在 Apache Kyuubi 与 HDFS 高可用(HA)集成的环境中，当用户通过 DBeaver 工具访问 Kyuubi 服务查询 Hive 元数据时，可能会遇到"Operation category READ is not supported in state standby"的错误。这一现象通常发生在 NameNode 主备切换的场景中，值得深入分析其技术原理和解决方案。

技术原理分析

该问题的调用链涉及多个组件：

1. 客户端(DBeaver)通过 JDBC 驱动连接 Kyuubi 服务
2. Kyuubi Server 将请求转发给 Spark Driver
3. Spark 通过 Hive Metastore(HMS)获取元数据
4. HMS 最终需要访问 HDFS 获取实际存储信息

问题的核心在于：

• HDFS HA 环境下，当客户端访问处于 Standby 状态的 NameNode 时，会直接抛出异常
• 传统的 HDFS 客户端配置了 failover 机制(如 ConfiguredFailoverProxyProvider)，理论上应自动切换到 Active NameNode
• 但在某些特定场景下，这种自动切换机制可能失效

根本原因

经过深入分析，发现问题的根本原因是：

1. Hive Metastore 中存储的某些系统库(如 sys 和 information_schema)的路径仍然使用旧的 NameNode 地址(hdfs://namenode:8020/...)
2. 当这些路径被访问时，HDFS 客户端会直接尝试连接指定的 NameNode，而不会触发 HA 切换机制
3. 这与 SPARK-22121 提出的问题类似，但该补丁未被 Spark 社区采纳

解决方案

针对该问题，推荐以下解决方案：

方案一：修改 HMS 元数据路径

1. 将 sys 和 information_schema 库的存储路径从具体 NameNode 地址改为 HA 命名服务地址
2. 例如：
   • 原路径：hdfs://ali-odp-test-01.huan.tv:8020/warehouse/.../sys.db
   • 修改为：hdfs://ha-nn/warehouse/.../sys.db

方案二：检查 HDFS 客户端配置

1. 确保所有相关服务(包括 HMS)都配置了正确的 HA 参数：

<property>
  <name>dfs.client.failover.proxy.provider.ha-nn</name>
  <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>

方案三：考虑使用定制补丁

对于关键生产环境，可以考虑使用包含 SPARK-22121 补丁的 Spark 发行版(如 Cloudera 提供的版本)，该补丁实现了 namenode 地址到 nameservice 的自动转换。

最佳实践建议

1. 在启用 HDFS HA 前，应预先规划并修改所有系统库的存储路径
2. 定期检查 HMS 中存储的路径信息，确保使用 HA 命名服务而非具体节点地址
3. 对于新创建的数据库和表，应在创建时就指定 HA 命名服务路径
4. 在测试环境充分验证 HA 切换场景下的各项功能

总结

HDFS 高可用环境下的元数据访问问题是一个典型的分布式系统集成问题，涉及多组件协作。通过理解其技术原理和掌握解决方案，可以有效提升系统的稳定性和可用性。对于使用 Apache Kyuubi 的企业用户，建议将上述解决方案纳入系统运维手册，确保在 HDFS HA 环境下获得最佳体验。