Pomerium在Kubernetes中保持客户端真实IP的最佳实践

背景介绍

Pomerium是一个开源的零信任网络代理，它使用Envoy作为其边缘服务器组件。在默认配置中，Pomerium启用了Envoy的use_remote_address: true选项，这使得Envoy能够获取并记录客户端的真实IP地址。这一功能对于实现基于IP的访问控制策略和审计日志至关重要。

问题发现

当Pomerium部署在Kubernetes集群中时，如果没有显式配置Service的externalTrafficPolicy属性，Kubernetes会默认使用Cluster模式。在这种模式下，流量可能会被节点间的kube-proxy转发，导致Pomerium无法获取客户端的真实IP地址，而只能看到集群内部节点的IP。

技术原理

Kubernetes的Service资源提供了两种外部流量策略：

1. Cluster模式（默认）：

   • 流量可以在集群节点间负载均衡
   • 源IP会被替换为节点IP
   • 适用于大多数不需要保留客户端IP的场景

2. Local模式：

   • 流量只会被路由到接收流量的节点上的Pod
   • 保留原始客户端IP
   • 适用于需要客户端IP的应用场景

Pomerium作为边缘代理，需要获取客户端真实IP来实现：

• 基于IP的访问控制策略
• 准确的审计日志记录
• 与外部数据源的集成（如request.ip查询）

解决方案

为确保Pomerium能够正确获取客户端IP，应在Kubernetes部署中显式设置Service的externalTrafficPolicy为Local。这可以通过在Service资源定义中添加以下配置实现：

spec:
  externalTrafficPolicy: Local

实施建议

1. 部署考虑：

   • 使用Local模式时，确保每个节点都有Pomerium Pod运行
   • 考虑使用Pod反亲和性规则避免单点故障
   • 监控节点负载均衡情况

2. 性能影响：

   • Local模式可能导致负载分布不均
   • 需要适当调整Pod副本数和节点数量
   • 考虑结合Horizontal Pod Autoscaler使用

3. 网络要求：

   • 确保云提供商支持保留客户端IP
   • 检查网络插件是否兼容Local模式

总结