亚马逊VPC CNI插件中aws-node Pod崩溃问题分析与解决

亚马逊VPC CNI插件(amazon-vpc-cni-k8s)是AWS EKS集群中负责网络连接的核心组件。近期，一些用户在使用Pulumi部署EKS集群时遇到了aws-node Pod持续崩溃的问题，本文将深入分析问题原因并提供解决方案。

问题现象

用户报告aws-node DaemonSet中的Pod在所有节点上进入CrashLoopBackOff状态。查看日志发现关键错误信息："policyendpoints.networking.k8s.aws is forbidden: User 'system:serviceaccount:kube-system:aws-node' cannot list resource 'policyendpoints' in API group 'networking.k8s.aws'"。

这表明aws-node服务账户缺少访问PolicyEndpoint资源的必要权限。

根本原因分析

1. 权限缺失：aws-node ClusterRole缺少对PolicyEndpoint资源的访问规则，而这些规则在CNI v1.15.1版本中是必需的。

2. 部署工具差异：问题主要出现在使用Pulumi部署的集群中，而使用eksctl等工具部署的集群则表现正常，表明问题可能与Pulumi的部署流程有关。

3. 版本兼容性：当集群启用了网络策略(Network Policy)功能时，CNI插件需要额外权限来管理PolicyEndpoint资源。

解决方案

临时解决方案

手动为aws-node ClusterRole添加缺失的权限规则：

rules:
- apiGroups: ["networking.k8s.aws"]
  resources: ["policyendpoints"]
  verbs: ["get", "list", "watch", "create", "update", "patch", "delete"]

长期解决方案

1. 升级Pulumi相关组件：

   • @pulumi/pulumi 升级到3.107.0或更高
   • @pulumi/eks 升级到2.2.1或更高
   • @pulumi/aws 升级到6.23.0或更高

2. 使用EKS Addon API管理CNI： 通过EKS Addon API管理VPC CNI插件，确保使用正确配置的最新版本。

技术背景

PolicyEndpoint是AWS VPC CNI插件实现网络策略功能时使用的自定义资源。在CNI v1.15.1版本中，插件需要与这些资源交互以实现高级网络策略功能。当权限配置不完整时，插件无法正常工作，导致Pod崩溃。

最佳实践建议

1. 定期检查并更新基础设施即代码工具链
2. 部署新集群后，立即验证核心组件状态
3. 考虑使用EKS托管插件(Addon)而非手动部署CNI
4. 在启用网络策略功能前，确保CNI版本和配置兼容

通过理解这一问题，用户可以更好地管理EKS集群中的网络组件，确保业务应用的稳定运行。