Cilium Hubble Relay 端口转发 TLS 配置问题解析

问题背景

在 Kubernetes 集群中使用 Cilium 网络插件时，Hubble 作为其网络可观测性组件，提供了流量监控和可视化功能。用户报告在使用 cilium hubble port-forward 命令进行端口转发后，无法通过本地 Hubble CLI 工具连接到 Hubble Relay 服务，出现 "error reading server preface: EOF" 错误。

环境配置

• Cilium 版本：v1.14.5 升级至 v1.15.1
• Hubble CLI 版本：0.13.0
• Kubernetes 版本：v1.28.6
• 集群拓扑：3 个 master 节点和 3 个 worker 节点

问题现象

用户尝试通过以下方式访问 Hubble 服务时遇到问题：

1. 使用 cilium hubble port-forward 命令进行端口转发后，本地执行 hubble status 或 hubble observe 命令失败
2. 直接使用 kubectl port-forward 转发 hubble-relay 服务的 4245 端口同样失败
3. 错误信息显示为："failed to connect to 'localhost:4245': context deadline exceeded: connection error: desc = "error reading server preface: EOF""

排查过程

初步验证

1. 验证 Cilium 组件状态正常，所有 pod 均处于 Running 状态
2. 确认 hubble-relay 服务正常运行，端点正常
3. 测试其他服务的端口转发功能正常，排除基础网络问题

深入分析

1. 直接访问 Hubble 服务：

   • 在 Cilium agent pod 内直接执行 hubble observe 命令可以获取流量数据
   • 但发现只能观察到所在节点的流量，无法获取集群全局视图

2. 尝试连接 hubble-relay 服务：

   • 发现 hubble-relay 服务监听在 443 端口（TLS 端口）
   • 直接连接时未启用 TLS 导致握手失败

3. 端口转发行为分析：

   • cilium hubble port-forward 默认转发的是 hubble-relay 的 4245 端口
   • 但服务端配置了强制 TLS，导致明文连接被拒绝

解决方案

问题的根本原因是 Hubble Relay 服务启用了 TLS，而客户端未正确配置 TLS 参数。通过以下步骤解决：

1. 启用 Hubble CLI 的 TLS 配置：

   hubble config set tls true
   hubble config set tls-allow-insecure true
   

2. 验证配置生效：

   cat ~/.config/hubble/config.yaml
   

3. 重新尝试连接：

   hubble status
   hubble observe -n <namespace> --since 1m
   

技术原理

1. Hubble 架构：

   • 每个 Cilium agent 包含一个 Hubble 服务端，负责收集本节点的流量数据
   • hubble-relay 作为聚合服务，提供集群全局视图
   • 默认情况下，hubble-relay 使用 gRPC 协议，支持 TLS 加密

2. TLS 握手过程：

   • 客户端发起连接时，服务端会立即开始 TLS 握手
   • 如果客户端未启用 TLS，会导致协议不匹配，出现 "error reading server preface" 错误

3. 安全考量：

   • 生产环境建议配置完整的 TLS 证书链
   • 测试环境可以使用 tls-allow-insecure 跳过证书验证

最佳实践

1. 端口转发建议：

   • 明确服务监听的端口和协议
   • 对于加密服务，确保客户端配置匹配

2. 故障排查步骤：

   • 首先验证服务端是否正常运行
   • 检查网络连通性和端口访问性
   • 确认协议和加密配置的一致性

3. 生产环境配置：

   • 建议使用 Ingress 或 LoadBalancer 暴露 hubble-relay 服务
   • 配置完整的 TLS 证书，避免使用不安全选项

总结

Cilium Hubble 的 TLS 配置问题是一个常见的连接故障。通过正确理解 Hubble 的架构和通信协议，可以快速定位和解决这类问题。在微服务架构中，确保客户端和服务端的协议、加密配置一致是保证通信成功的关键。对于安全敏感的组件如 Hubble，建议在生产环境中使用完整的证书链配置，既保证安全性又确保可靠性。