K8S Gateway API 中集群域名配置问题解析

问题背景

在 Kubernetes 环境中，默认的集群域名通常是 cluster.local，但很多企业会根据自身需求修改这个默认值。当使用 K8S Gateway API 部署 Gloo Edge 网关时，如果集群域名不是默认的 cluster.local，网关将无法正常工作。

问题现象

用户在使用 K8S Gateway API 部署 Gloo Edge 网关时发现：

1. 按照快速入门文档部署后，HTTPRoute 等路由资源无法正常访问
2. 即使通过 Helm values 指定了 k8s.clusterName 参数，问题依然存在
3. Envoy 代理日志中不断出现连接超时和健康检查失败的警告信息

技术分析

通过对比两种部署方式（K8S Gateway API 和 Helm 直接部署）的 Envoy 配置，发现了关键差异：

在 K8S Gateway API 部署方式中，Envoy 的 xds_cluster 配置硬编码了 cluster.local 域名：

{
  "name": "xds_cluster",
  "address": "gloo.gloo-system.svc.cluster.local",
  "port_value": 9977
}

而在 Helm 直接部署方式中，配置正确地使用了自定义集群域名：

{
  "name": "gloo.gloo-system.svc.ddoyle.macbook:9977",
  "address": "gloo.gloo-system.svc.ddoyle.macbook",
  "port_value": 9977
}

问题根源

问题的根本原因在于 K8S Gateway API 部署方式没有正确处理集群域名配置：

1. 没有使用 k8s.clusterName 参数值
2. 硬编码了 cluster.local 作为服务发现的后缀
3. 导致 Envoy 无法正确解析和连接到控制平面服务

解决方案

该问题已在 K8S Gateway API 项目中通过代码提交修复。修复内容包括：

1. 正确读取和应用集群域名配置
2. 动态生成服务发现地址
3. 确保 Envoy 配置中使用正确的集群域名

最佳实践建议

对于需要在非标准集群域名环境中部署网关的用户：

1. 确保使用最新版本的 K8S Gateway API 组件
2. 验证 Helm chart 中的 k8s.clusterName 参数是否正确设置
3. 部署后检查 Envoy 配置中的服务发现地址是否包含正确的集群域名
4. 监控初期日志，确认控制平面连接正常

总结

Kubernetes 集群域名的自定义是一个常见需求，网关组件必须能够正确处理这种配置。通过分析这个问题，我们不仅解决了特定场景下的部署问题，也加深了对 Kubernetes 服务发现机制和网关组件工作原理的理解。对于基础设施团队来说，理解这类底层配置的重要性，有助于更好地规划和维护生产环境。