Kubernetes Ingress-Nginx 控制器与AWS NLB代理协议配置指南

问题背景

在使用Kubernetes Ingress-Nginx控制器配合AWS网络负载均衡器(NLB)时，许多用户会遇到客户端真实IP地址无法正确记录的问题。默认情况下，Nginx日志中显示的IP地址是AWS内部负载均衡器的IP而非实际客户端IP，这给日志分析和访问控制带来了困难。

根本原因分析

AWS NLB工作在TCP层，默认情况下不会传递HTTP头信息，包括X-Forwarded-For等用于记录客户端IP的字段。当启用代理协议(Proxy Protocol)时，NLB会在TCP连接建立后首先发送一个包含客户端信息的特殊头，但Nginx控制器默认并未配置解析这种协议。

解决方案

1. 服务配置调整

在Ingress-Nginx的Service资源中，需要添加以下关键注解：

service.beta.kubernetes.io/aws-load-balancer-proxy-protocol: "*"
service.beta.kubernetes.io/aws-load-balancer-backend-protocol: tcp

这些注解告诉AWS NLB在所有端口上启用代理协议，并明确后端协议为TCP。

2. Ingress-Nginx控制器配置

仅配置NLB是不够的，还需要在Ingress-Nginx控制器中启用代理协议支持。这可以通过在ConfigMap中添加以下配置实现：

data:
  use-proxy-protocol: "true"
  real-ip-header: "proxy_protocol"
  real-ip-recursive: "true"

3. 完整配置示例

一个完整的Ingress-Nginx控制器Service配置示例如下：

apiVersion: v1
kind: Service
metadata:
  name: ingress-nginx-controller
  namespace: ingress-nginx
  annotations:
    service.beta.kubernetes.io/aws-load-balancer-type: "nlb"
    service.beta.kubernetes.io/aws-load-balancer-proxy-protocol: "*"
    service.beta.kubernetes.io/aws-load-balancer-backend-protocol: "tcp"
    service.beta.kubernetes.io/aws-load-balancer-ssl-ports: "443"
    service.beta.kubernetes.io/aws-load-balancer-ssl-cert: "arn:aws:acm:..."
spec:
  type: LoadBalancer
  ports:
    - name: http
      port: 80
      targetPort: 80
    - name: https
      port: 443
      targetPort: 443
  selector:
    app.kubernetes.io/name: ingress-nginx

常见问题排查

1. 400 Bad Request错误：当NLB启用了代理协议但Nginx未配置解析时，会出现此错误。表现为日志中出现大量400状态码记录和乱码字符。

2. 连接超时：检查安全组规则是否允许NLB与节点间的通信，特别是健康检查端口。

3. IP地址仍不正确：确认ConfigMap中的代理协议配置已正确应用，并检查Nginx控制器是否已重新加载配置。

最佳实践建议

1. 在启用代理协议前，先测试基本的HTTP/HTTPS服务是否正常工作。

2. 使用Canary部署策略逐步应用代理协议配置，避免影响生产流量。

3. 监控Nginx错误日志，及时发现并解决配置问题。

4. 考虑在NLB上启用访问日志，以便于故障排除。

通过正确配置AWS NLB和Ingress-Nginx控制器的代理协议支持，可以确保客户端真实IP地址被准确记录，为后续的访问分析、安全审计和访问控制提供可靠的数据基础。