Kubernetes Descheduler 服务配置与指标采集实践

背景介绍

Kubernetes Descheduler 是一个用于优化 Kubernetes 集群工作负载调度的工具，它通过重新平衡节点上的 Pod 分布来提高集群资源利用率。在实际生产环境中，监控 Descheduler 的运行状态和性能指标对于运维团队至关重要。

指标采集的常见挑战

许多团队使用 Datadog 等第三方监控工具来采集 Kubernetes 集群的指标数据。当这些工具尝试采集 Descheduler 的指标时，可能会遇到以下典型问题：

1. 服务发现机制差异：Datadog 等工具通常通过 Service 来发现和采集 Pod 的指标
2. Headless Service 限制：Descheduler 默认创建的 Headless Service（ClusterIP: None）不被某些监控工具支持
3. 高可用模式下的指标采集：在 Descheduler 高可用部署时，需要确保只采集当前 Leader 的指标

解决方案分析

方案一：直接采集 Pod 指标

对于不支持 Headless Service 的监控系统，可以直接配置从 Pod 采集指标：

apiVersion: apps/v1
kind: Deployment
metadata:
  name: descheduler
spec:
  template:
    metadata:
      annotations:
        ad.datadoghq.com/descheduler.checks: |
          {
            "openmetrics": {
              "instances": [
                {
                  "openmetrics_endpoint": "https://%%host%%:10258/metrics",
                  "namespace": "descheduler",
                  "metrics": [
                    "descheduler_pods_evicted",
                    { "descheduler_descheduler_loop_duration_seconds": "descheduler_loop_duration_seconds" },
                    { "descheduler_descheduler_strategy_duration_seconds": "descheduler_strategy_duration_seconds" }
                  ],
                  "collect_histogram_buckets": true,
                  "histogram_buckets_as_distributions": true,
                  "tls_ca_cert": false,
                  "tls_verify": false,
                  "tls_ignore_warning": true
                }
              ]
            }
          }

这种方式的优势在于：

• 不依赖 Service 发现机制
• 在高可用部署时，可以确保只采集当前 Leader Pod 的指标
• 配置灵活，可以精确控制采集哪些指标

方案二：修改 Service 类型

如果监控系统强制要求通过 Service 采集指标，可以修改 Descheduler 的 Service 配置：

apiVersion: v1
kind: Service
metadata:
  name: descheduler-metrics
spec:
  selector:
    app: descheduler
  ports:
    - protocol: TCP
      port: 10258
      targetPort: 10258
  type: ClusterIP
  # 不设置 clusterIP: None

需要注意的是，这种方式在高可用部署时可能会导致指标采集不准确，因为请求会在多个 Pod 间轮询。

最佳实践建议

1. 优先使用 Pod 注解方式：这是最可靠的方式，不受 Service 类型限制
2. 关键指标监控：确保至少监控以下核心指标：
   • Pod 驱逐数量（descheduler_pods_evicted）
   • 调度循环持续时间（descheduler_loop_duration_seconds）
   • 各策略执行时间（descheduler_strategy_duration_seconds）
3. 安全配置：如果 Descheduler 启用了 TLS，需要在监控配置中正确处理证书验证
4. 标签管理：为采集的指标添加适当的标签，便于后续分析和告警

总结

Kubernetes Descheduler 的指标采集可以根据实际监控系统的特性和集群部署方式选择不同的实现方案。理解这些方案的优缺点有助于运维团队构建稳定可靠的监控体系，确保能够及时发现和解决调度相关的问题。