Kubernetes Metrics Server 节点IP地址错误问题排查与解决

问题背景

在Kubernetes集群中，Metrics Server作为核心监控组件，负责收集节点和Pod的资源使用指标。但在实际部署中，用户可能会遇到Metrics Server间歇性报错的问题，表现为无法通过特定IP地址获取节点指标数据。这些错误通常与节点多网卡环境下的IP地址选择有关。

错误现象分析

典型的错误日志会显示类似以下内容：

Failed to scrape node err="Get \"https://10.101.3.75:10250/metrics/resource\": dial tcp 10.101.3.75:10250: connect: connection refused"

同时伴随Horizontal Pod Autoscaler的警告信息：

invalid metrics (1 invalid out of 1), first error is: failed to get cpu resource metric value

值得注意的是，虽然出现这些错误，但kubectl top nodes命令仍能正常返回节点指标数据，这表明Metrics Server在部分时间段能够正常工作。

根本原因

经过深入分析，发现问题根源在于：

1. 节点配置了多个网络接口，属于不同子网（如172.18.x.x和10.101.x.x）
2. Calico CNI的IP自动检测机制可能选择了非预期的网络接口
3. Metrics Server通过Kubernetes API获取节点地址时，可能获取到非工作网络接口的IP

解决方案

方案一：调整Calico网络配置

通过修改Calico DaemonSet的配置，明确指定IP检测方法：

env:
- name: NODEIP
  valueFrom:
    fieldRef:
      fieldPath: status.hostIP
- name: IP_AUTODETECTION_METHOD
  value: can-reach=$(NODEIP)
- name: IP
  value: autodetect

此配置确保Calico使用能够到达节点IP的网络接口。

方案二：优化节点网络配置

1. 通过netplan重新配置节点网络
2. 禁用不需要的网络接口（特别是10.x.x.x子网的接口）
3. 重启Calico相关Pod使配置生效

方案三：调整Metrics Server参数

虽然在本案例中效果有限，但在其他场景下可以尝试：

args:
- --kubelet-preferred-address-types=InternalIP
- --kubelet-use-node-status-port

验证与效果

实施上述解决方案后，通过以下方式验证：

1. 检查Metrics Server日志，确认不再出现连接拒绝错误
2. 使用calicoctl get nodes -o wide确认节点IP地址符合预期
3. 观察Horizontal Pod Autoscaler是否恢复正常工作

最佳实践建议

1. 在生产环境中，应为节点配置明确的网络接口优先级
2. 使用kubectl get nodes -o wide定期检查节点IP地址分配情况
3. 考虑为关键网络组件（如Calico、Metrics Server）配置明确的网络选择策略
4. 在多网卡环境中，建议禁用不必要的网络接口以减少潜在问题

总结

Kubernetes集群中Metrics Server的节点指标收集问题往往与底层网络配置密切相关。通过合理配置CNI插件和节点网络，可以有效解决因多网卡环境导致的IP地址选择问题。本案例提供的解决方案不仅适用于Metrics Server，对于其他依赖节点网络通信的Kubernetes组件也具有参考价值。