Kubernetes kubeadm 在动态IP环境下的API服务器探针配置优化

背景介绍

在Kubernetes生产环境中，控制平面节点通常需要稳定的网络连接。然而，某些特殊场景下（如DHCP网络环境），控制平面节点可能会使用动态分配的IP地址。这种情况下，kubeadm自动生成的kube-apiserver.yaml文件中会包含节点的当前IP地址作为健康检查探针的目标地址，当IP地址变更时会导致API服务器pod被标记为不健康状态。

问题分析

kubeadm默认会将节点的IP地址写入API服务器的三个健康检查探针（livenessProbe、readinessProbe和startupProbe）的配置中。在动态IP环境中，这会导致以下问题：

1. 当节点IP变更时，健康检查会失败
2. API服务器pod会被标记为不健康状态
3. 虽然集群最终能恢复，但会经历不必要的服务中断

解决方案

推荐方案：使用kubeadm补丁机制

kubeadm提供了补丁机制，允许用户自定义生成的静态pod清单。我们可以通过创建补丁文件来修改探针配置，使用FQDN（完全限定域名）替代IP地址。

补丁文件示例（保存为patches/<节点名>/kube-apiserver0+strategic.yaml）：

spec:
  containers:
  - name: kube-apiserver
    livenessProbe:
      httpGet:
        host: node1.example.com
    readinessProbe:
      httpGet:
        host: node1.example.com
    startupProbe:
      httpGet:
        host: node1.example.com

在kubespray中配置：

kubeadm_patches:
  enabled: true
  source_dir: "{{ inventory_dir }}/patches/{{ inventory_hostname }}"
  dest_dir: "{{ kube_config_dir }}/patches"

配套配置建议

为了在动态IP环境中获得最佳稳定性，还需要进行以下配置：

1. 将kubelet绑定地址设置为0.0.0.0：

kubelet_address: "0.0.0.0"
kubelet_bind_address: "0.0.0.0"

2. API服务器绑定配置：

kube_apiserver_address: "0.0.0.0"

3. etcd服务配置：

etcd_address: "0.0.0.0"  # 绑定地址
etcd_access_address: "{{ ansible_fqdn }}"  # 访问地址使用FQDN

4. 避免将动态IP写入hosts文件：

populate_inventory_to_hosts_file: false

实现原理

当kubeadm生成静态pod清单时：

1. 默认会使用节点的默认路由IP作为探针目标地址
2. 如果配置了0.0.0.0，kubeadm会自动检测并使用主机的默认路由IP
3. 通过补丁机制可以覆盖这些默认值，使用FQDN替代IP地址

注意事项

1. 确保DNS解析可靠，FQDN能够正确解析到当前节点IP
2. 每个控制平面节点需要单独的补丁文件，包含自己的FQDN
3. 虽然0.0.0.0可以用作绑定地址，但不能直接用作探针目标
4. 此方案已在kubeadm 1.28.8版本验证可用

未来展望

虽然当前需要通过补丁机制实现这一需求，但社区已在考虑在未来的kubeadm v1beta4或更高版本中提供更直接的健康检查探针配置选项。对于大多数静态IP环境，默认配置已经足够，动态IP环境用户目前可以通过补丁机制获得满意的解决方案。

通过这种配置方式，即使在完全动态IP的环境中，Kubernetes控制平面也能保持稳定运行，仅需在IP变更时经历短暂的恢复期，大大提高了在特殊网络环境下的可用性。