Kubernetes Ingress-Nginx 中GRPCS服务SSL透传问题的分析与解决

问题背景

在使用Kubernetes Ingress-Nginx控制器暴露GRPCS服务时，开发者可能会遇到SSL透传(SSL Passthrough)功能失效的问题。具体表现为：

1. 当不指定host字段时，流量被错误地转发到127.0.0.1:442这个无效地址
2. 当指定host字段后，流量虽然被转发到正确的Pod IP，但端口号变为0，导致连接超时
3. 客户端会收到伪造的证书而非后端服务的真实证书

问题分析

通过分析控制器日志和配置，可以定位到几个关键点：

1. SSL透传机制：当启用nginx.ingress.kubernetes.io/ssl-passthrough: "true"时，Nginx不会终止SSL连接，而是直接将加密流量透传给后端服务。这对于需要端到端加密的GRPCS服务至关重要。

2. 端口映射问题：日志显示流量被转发到无效端口(442或0)，这表明Ingress控制器在解析Service定义时出现了问题。特别是当使用命名端口(port.name)而非数字端口(port.number)时，这种情况更容易发生。

3. GRPCS协议支持：虽然Ingress-Nginx官方文档提供了GRPC的示例，但对于GRPCS(即基于TLS的GRPC)服务的支持需要额外配置，包括启用HTTP/2和正确设置后端协议。

解决方案

经过实践验证，以下配置调整可以解决该问题：

1. 使用数字端口而非命名端口： 将Service定义中的命名端口：

   port:
     name: listen
   

   改为数字端口：

   port:
     number: 7051
   

2. 完整的Ingress配置示例：

   apiVersion: networking.k8s.io/v1
   kind: Ingress
   metadata:
     name: grpcs-ingress
     annotations:
       nginx.ingress.kubernetes.io/ssl-passthrough: "true"
       nginx.ingress.kubernetes.io/backend-protocol: "GRPCS"
       nginx.ingress.kubernetes.io/enable-http2: "true"
   spec:
     ingressClassName: nginx
     rules:
     - host: grpc.example.com
       http:
         paths:
         - path: /
           pathType: Prefix
           backend:
             service:
               name: grpcs-service
               port:
                 number: 7051
   

3. 控制器启动参数：确保Ingress-Nginx控制器启动时包含--enable-ssl-passthrough参数。

实现原理

1. SSL透传工作流程：

   • 客户端发起TLS连接
   • Ingress控制器读取Client Hello消息获取SNI(Server Name Indication)
   • 根据SNI匹配Ingress规则
   • 建立到后端服务的TCP代理通道
   • 加密流量直接透传给后端，不进行解密

2. 端口解析机制：

   • 当使用命名端口时，控制器需要额外的步骤解析实际端口号
   • 在某些情况下，这种解析可能失败，导致端口号为0
   • 直接使用数字端口可以避免这种解析过程

最佳实践

1. 对于生产环境的GRPCS服务，建议：

   • 始终使用数字端口定义
   • 明确指定host字段
   • 启用HTTP/2支持
   • 配置适当的健康检查端点

2. 测试验证方法：

   • 使用openssl命令验证证书：

     openssl s_client -connect grpc.example.com:443 -servername grpc.example.com
     

   • 使用grpcurl工具测试GRPCS连接

3. 监控指标：

   • 监控Ingress控制器的SSL握手错误率
   • 监控后端服务的GRPC响应时间和错误码

总结

Kubernetes Ingress-Nginx对GRPCS服务的支持需要特别注意SSL透传和端口定义的配置。通过使用数字端口替代命名端口，并确保正确的注解配置，可以解决大多数GRPCS服务暴露问题。理解SSL透传的工作原理有助于更好地排查和预防类似问题。