Kubernetes Descheduler中nonRemovablePods问题解析与解决方案

问题背景

在使用Kubernetes Descheduler的lowNodeUtilization策略时，用户可能会在日志中看到"nonRemovablePods"的提示信息。这表明Descheduler识别出了需要重新调度的Pod，但由于某些限制条件无法实际执行驱逐操作。

nonRemovablePods的含义

nonRemovablePods指的是那些根据Descheduler默认策略或用户配置不能被驱逐的Pod。这些Pod通常包括以下几种类型：

1. DaemonSet管理的Pod
2. 带有本地存储的Pod
3. 具有系统关键优先级的Pod
4. 优先级高于指定阈值的Pod
5. 处于kube-system等排除命名空间中的Pod

问题诊断方法

要深入了解为什么某些Pod被标记为nonRemovablePods，可以将Descheduler的日志级别调整为v=4或更高。这样可以在日志中看到更详细的决策信息，例如：

checks="[pod is a DaemonSet pod, pod has local storage and descheduler is not configured with evictLocalStoragePods]"
checks="pod is a DaemonSet pod"
checks="[pod is a DaemonSet pod, pod has system critical priority, pod has higher priority than specified priority class threshold]"

解决方案

1. 配置允许驱逐特定类型Pod

在Descheduler的配置中，可以通过以下参数放宽驱逐限制：

LowNodeUtilization:
  enabled: true
  params:
    evictLocalStoragePods: true
    evictDaemonSetPods: true

2. 调整资源利用率阈值

合理设置资源利用率阈值可以更精确地控制Descheduler的行为：

nodeResourceUtilizationThresholds:
  thresholds:
    memory: 50
  targetThresholds:
    memory: 70

3. 排除特定命名空间

对于系统关键Pod所在的命名空间，可以配置排除规则：

evictableNamespaces:
  exclude:
  - "kube-system"

版本兼容性注意事项

在某些较旧版本的Descheduler中，即使配置了允许驱逐特定类型Pod的参数，实际行为可能仍不符合预期。如用户反馈，升级到v0.31版本后问题得到解决。因此，建议用户：

1. 使用最新稳定版本的Descheduler
2. 仔细阅读版本变更日志，了解行为变更
3. 在生产环境部署前进行充分测试

最佳实践建议

1. 在非生产环境充分测试Descheduler配置
2. 逐步调整参数，观察集群行为变化
3. 结合监控系统评估Descheduler效果
4. 为关键工作负载设置适当的Pod优先级和反亲和性规则
5. 定期审查Descheduler日志，确保其行为符合预期

通过合理配置和版本选择，可以充分发挥Descheduler在Kubernetes集群资源优化中的作用，同时避免对关键业务造成影响。