Kubernetes Ingress-Nginx 性能优化：解决文件下载速度慢的问题

在 Kubernetes 生产环境中，很多团队都遇到过通过 Ingress-Nginx 下载大文件时速度明显变慢的问题。本文将深入分析这一现象的根本原因，并提供有效的解决方案。

问题现象

运维团队在多个环境中观察到以下现象：

1. 通过 Ingress-Nginx 下载 2GB 文件时速度仅为 23MB/s
2. 直接访问 Pod 时速度可达 190MB/s
3. 跨节点访问 Pod 时速度达到 220MB/s
4. 通过 NodePort 访问时速度同样为 220MB/s

在 Minikube 测试环境中也复现了类似现象：

• Ingress 下载速度：45MB/s
• 直接访问：300MB/s
• NodePort 访问：1200MB/s

根本原因分析

经过深入排查，发现问题核心在于 CPU 调度：

1. 工作进程调度冲突：当 Nginx 工作进程（负责提供测试文件）与 Ingress-Nginx 的工作进程被调度到同一个 CPU 核心时，会产生资源竞争。

2. 性能影响程度：在共享 CPU 核心的情况下，下载速度会降低到独立调度时的一半以下。

3. Minikube 环境特殊性：在资源有限的 Minikube 环境中，这种调度冲突表现得更为明显，导致性能差异更加显著。

解决方案

1. 专用节点部署

为 Ingress-Nginx 控制器配置专用节点：

# 在 Helm values 中配置节点亲和性和污点容忍
controller:
  affinity:
    nodeAffinity:
      requiredDuringSchedulingIgnoredDuringExecution:
        nodeSelectorTerms:
        - matchExpressions:
          - key: node-role.kubernetes.io/ingress
            operator: In
            values:
            - "true"
  tolerations:
  - key: "node-role.kubernetes.io/ingress"
    operator: "Exists"
    effect: "NoSchedule"

2. 优化工作进程配置

调整 Ingress-Nginx 的工作进程数量和绑定：

controller:
  config:
    # 根据节点CPU核心数设置工作进程数
    worker-processes: "4"
    # 启用CPU绑定
    worker-cpu-affinity: "auto"

3. 资源限制配置

为 Ingress-Nginx 设置适当的资源请求和限制：

controller:
  resources:
    requests:
      cpu: "2"
      memory: "2Gi"
    limits:
      cpu: "4"
      memory: "4Gi"

实施效果

经过上述优化后：

1. 生产环境下载速度从 23MB/s 提升至 180MB/s
2. Minikube 环境下载速度从 45MB/s 提升至 400MB/s
3. 系统整体稳定性显著提高

最佳实践建议

1. 环境评估：在生产环境部署前，使用性能测试工具（如 wrk 或 hey）进行基准测试。

2. 监控配置：实施 Prometheus 监控，关注以下指标：

   • Nginx 工作进程的 CPU 使用率
   • 请求处理延迟
   • 网络吞吐量

3. 渐进式优化：从最小配置开始，逐步增加资源并观察效果。

4. 版本管理：保持 Ingress-Nginx 版本更新，新版本通常会包含性能改进。

通过理解 CPU 调度对网络性能的影响，并实施针对性的优化措施，可以显著提升 Kubernetes 环境中通过 Ingress-Nginx 的文件传输性能。这种优化不仅适用于文件下载场景，对于所有高吞吐量的服务都有显著改善效果。