AWS Load Balancer Controller 因IMDSv2配置导致初始化失败的故障分析

背景概述

近期在AWS EKS集群(1.30版本)中部署的AWS Load Balancer Controller(v1.9.1)出现批量故障，控制器Pod启动时抛出关键错误："unable to initialize AWS cloud"，核心报错信息显示无法通过EC2实例元数据服务获取VPC ID。值得注意的是，该问题在没有进行任何应用更新的情况下突然出现，且跨多个区域集群复现。

故障现象

控制器Pod日志中可见以下关键错误：

failed to get VPC ID: failed to fetch VPC ID from instance metadata: 
error in fetching vpc id through ec2 metadata: 
get mac metadata: operation error ec2imds: GetMetadata, 
canceled, context deadline exceeded

根本原因

经排查发现，该问题源于Karpenter组件更新时修改了EC2实例元数据服务(IMDS)的默认配置。具体表现为：

1. AWS自2020年起逐步推广IMDSv2，这是比原有IMDSv1更安全的元数据访问协议
2. Karpenter更新后将--http-put-response-hop-limit参数默认值调整为1，这会影响IMDSv2的访问行为
3. AWS Load Balancer Controller在初始化阶段需要访问实例元数据获取VPC等网络信息
4. 当IMDSv2的跳数限制不匹配时，会导致元数据请求超时失败

解决方案

针对该问题，建议采取以下解决措施：

1. 显式配置IMDSv2参数： 在部署AWS Load Balancer Controller时，确保工作节点EC2实例的metadata配置包含：

metadataOptions:
  httpPutResponseHopLimit: 2
  httpTokens: required

2. 验证节点配置： 通过AWS CLI检查现有节点的IMDS配置：

aws ec2 describe-instances --instance-ids <instance-id> \
  --query 'Reservations[].Instances[].MetadataOptions'

3. Karpenter配置调整： 如果使用Karpenter管理节点，应在Provisioner中明确指定metadata选项：

metadataOptions:
  httpEndpoint: enabled
  httpPutResponseHopLimit: 2
  httpTokens: required

技术原理深入

IMDSv2相比v1版本主要增加了以下安全机制：

1. 会话令牌：必须先PUT请求获取临时令牌才能进行后续查询
2. 跳数限制：控制元数据请求可经过的网络跳数
3. 令牌强制：可选择是否允许回退到v1版本

AWS Load Balancer Controller在初始化阶段需要查询以下元数据：

• VPC ID
• 可用区信息
• 实例类型
• 子网配置

当这些基础网络信息获取失败时，控制器将无法正常建立与AWS API的通信通道，导致整个服务启动失败。

最佳实践建议

1. 生产环境应始终启用IMDSv2并禁用v1回退
2. 跳数限制建议设置为2，以兼容大多数服务网格场景
3. 在Kubernetes集群中统一管理所有节点的IMDS配置
4. 重要组件部署前应验证元数据访问能力

总结

此次故障揭示了云原生组件间配置依赖的重要性。在AWS环境中，IMDS作为基础设施信息交换的关键通道，其配置变更可能产生级联影响。建议企业在升级任何核心组件时，充分评估其对IMDS等基础服务的依赖关系，建立完善的配置审计机制。