AWS Node Termination Handler 中 USE_APISERVER_CACHE 参数导致 DaemonSet Pod 被意外驱逐的问题分析

在 Kubernetes 集群管理中，AWS Node Termination Handler（NTH）是一个非常重要的组件，它负责优雅地处理 AWS 节点终止事件。然而，在最新版本中发现了一个值得注意的问题，可能会影响集群稳定性。

问题背景

当 NTH 配置了 USE_APISERVER_CACHE 参数时，它会直接从 API 服务器缓存中获取 Pod 列表，而不是通过 ETCD 进行查询。这种优化原本是为了减轻 ETCD 的负载，特别是在大规模集群中。然而，这个优化实现方式存在一个严重缺陷：它会绕过 Kubernetes 标准的 Pod 过滤逻辑。

问题本质

核心问题在于 NTH 直接调用了 DeleteOrEvictPods 函数，而没有经过 kubectl drainer 接口的标准预处理流程。这个预处理流程中包含了重要的检查逻辑，特别是会识别并跳过属于 DaemonSet 的 Pod。因此，当同时启用 USE_APISERVER_CACHE 和 IGNORE_DAEMON_SETS 参数时，DaemonSet Pod 会被意外驱逐，这显然不符合用户预期。

技术细节分析

在标准工作流程中，kubectl drain 会执行以下关键步骤：

1. 通过 RunNodeDrain 函数启动排水过程
2. 进行 Pod 预过滤，识别系统关键 Pod
3. 特别处理 DaemonSet 拥有的 Pod（当配置了 IGNORE_DAEMON_SETS 时）

而启用 USE_APISERVER_CACHE 后，NTH 直接跳过了这些保护性检查，导致系统关键 Pod 被错误处理。

影响范围

这个问题会影响所有同时满足以下条件的用户：

• 使用 NTH v1.22.1 及以上版本
• 启用了 USE_APISERVER_CACHE 参数
• 配置了 IGNORE_DAEMON_SETS 参数
• 依赖 DaemonSet 运行关键服务（如日志收集、网络插件等）

解决方案

AWS 团队已经确认并修复了这个问题。用户可以通过以下方式解决：

1. 升级到包含修复的 NTH 版本
2. 如果不便立即升级，可以临时禁用 USE_APISERVER_CACHE 参数
3. 对于生产环境，建议在升级前进行全面测试

最佳实践建议

在处理节点排水这类关键操作时，建议：

1. 充分理解各参数的实际影响
2. 在非生产环境测试新功能
3. 监控系统关键 Pod 的状态
4. 保持组件版本更新，及时应用安全补丁

这个问题提醒我们，在追求性能优化的同时，必须确保不破坏系统的核心保障机制。对于 Kubernetes 运维人员来说，理解底层工作机制对于诊断和预防此类问题至关重要。