解决kube2iam卸载后遗留的AWS权限问题

问题背景

在Kubernetes集群中，kube2iam是一个常用的IAM角色管理工具，它通过拦截EC2元数据服务(IMDS)的请求来实现细粒度的AWS权限控制。当用户通过Helm卸载kube2iam后，可能会发现工作负载仍然无法正常获取AWS权限，即使重新安装kube2iam后功能又能恢复正常。

问题根源

kube2iam在安装时会修改宿主机的iptables规则，特别是NAT表中的PREROUTING链。它会将所有发往169.254.169.254(EC2元数据服务地址)的流量重定向到kube2iam的8181端口。当kube2iam被卸载时，这些iptables规则可能没有被自动清理，导致后续的元数据请求无法正常到达AWS服务。

解决方案

检查iptables规则

首先需要检查NAT表中的规则情况，使用以下命令查看PREROUTING链：

iptables -t nat -v -L PREROUTING -n --line-number

识别kube2iam规则

在输出结果中，寻找目标地址为169.254.169.254且目标端口为8181的规则。这些规则通常是由kube2iam创建的。

删除残留规则

找到对应的规则编号后，使用以下命令删除：

iptables -t nat -D PREROUTING [规则编号]

注意事项

1. 在操作iptables前，建议先备份当前规则
2. 对于启用了IMDSv2的集群，kube2iam可能不完全兼容，需要考虑替代方案
3. 在生产环境中操作前，应在测试环境验证

深入理解

kube2iam的工作原理是通过拦截Pod对IMDS的请求，然后根据Pod的注解(annotation)来返回相应的临时凭证。当kube2iam被卸载但iptables规则未被清理时，所有对IMDS的请求仍会被重定向，但由于kube2iam服务已不存在，这些请求将无法得到响应，导致工作负载无法获取AWS权限。

最佳实践

1. 在卸载kube2iam前，应先清理相关的iptables规则
2. 考虑使用更现代的替代方案如IAM Roles for Service Accounts(IRSA)
3. 对于必须使用kube2iam的场景，建议通过自动化工具管理其生命周期，确保安装和卸载过程的完整性

通过以上方法，可以彻底解决kube2iam卸载后遗留的AWS权限问题，恢复集群正常工作状态。