Kubernetes集群中Linux工作节点升级指南

概述

在生产环境中，Kubernetes集群的版本升级是运维工作中至关重要的一环。Linux工作节点作为承载业务负载的核心组件，其升级过程需要精心规划和执行。本文将深入探讨Kubernetes集群中Linux工作节点的升级策略、详细步骤、最佳实践以及故障排除方法，帮助您安全高效地完成节点升级。

升级前准备

环境检查清单

在开始升级前，请确保完成以下准备工作：

检查项	要求	验证命令
集群健康状态	所有节点处于Ready状态	kubectl get nodes
版本兼容性	符合Kubernetes版本偏差策略	kubectl version
备份完整性	etcd和数据卷已备份	根据存储方案确定
资源充足性	有足够的节点容量进行滚动升级	kubectl describe nodes
网络连通性	节点间网络通信正常	ping 和 telnet 测试

版本偏差策略要求

Kubernetes强制要求以下版本兼容性规则：

graph TD
    A[控制平面] --> B[kube-apiserver]
    B --> C[kubelet: 最多落后2个minor版本]
    B --> D[kube-controller-manager/kube-scheduler: 最多落后1个minor版本]
    B --> E[cloud-controller-manager: 最多落后1个minor版本]

升级策略选择

滚动升级策略

flowchart TD
    A[开始升级] --> B[选择首个工作节点]
    B --> C[腾空节点 Drain]
    C --> D[升级kubeadm]
    D --> E[执行kubeadm upgrade node]
    E --> F[升级kubelet和kubectl]
    F --> G[重启kubelet服务]
    G --> H[取消腾空 Uncordon]
    H --> I{是否还有未升级节点?}
    I -- 是 --> B
    I -- 否 --> J[升级完成]

批量升级策略

对于大规模集群，可以采用批量升级方式：

# 计算可同时升级的节点数量
MAX_UNAVAILABLE=$(($(kubectl get nodes -l node-role.kubernetes.io/worker= | wc -l) * 20 / 100))

# 确保至少有一个节点可用
if [ $MAX_UNAVAILABLE -lt 1 ]; then
    MAX_UNAVAILABLE=1
fi

详细升级步骤

步骤1：升级kubeadm

根据不同的Linux发行版，执行相应的升级命令：

Ubuntu/Debian系统：

# 确定最新补丁版本
sudo apt update
apt-cache madison kubeadm | grep '1.28'

# 执行升级
sudo apt-mark unhold kubeadm && \
sudo apt-get install -y kubeadm=1.28.4-* && \
sudo apt-mark hold kubeadm

CentOS/RHEL系统：

# 查看可用版本
sudo yum list --showduplicates kubeadm --disableexcludes=kubernetes

# 执行升级
sudo yum install -y kubeadm-1.28.4-* --disableexcludes=kubernetes

步骤2：执行kubeadm升级

# 升级节点配置
sudo kubeadm upgrade node

# 验证升级结果
kubeadm version

步骤3：腾空节点

# 腾空节点，驱逐Pod
kubectl drain <node-name> \
  --ignore-daemonsets \
  --delete-emptydir-data \
  --force \
  --timeout=300s

# 监控Pod驱逐状态
kubectl get pods --all-namespaces --field-selector spec.nodeName=<node-name>

步骤4：升级kubelet和kubectl

Ubuntu/Debian系统：

sudo apt-mark unhold kubelet kubectl && \
sudo apt-get install -y kubelet=1.28.4-* kubectl=1.28.4-* && \
sudo apt-mark hold kubelet kubectl

CentOS/RHEL系统：

sudo yum install -y kubelet-1.28.4-* kubectl-1.28.4-* --disableexcludes=kubernetes

步骤5：重启kubelet服务

# 重新加载systemd配置
sudo systemctl daemon-reload

# 重启kubelet服务
sudo systemctl restart kubelet

# 检查服务状态
sudo systemctl status kubelet
journalctl -u kubelet -f --since "5 minutes ago"

步骤6：取消腾空节点

# 将节点重新标记为可调度
kubectl uncordon <node-name>

# 验证节点状态
kubectl get node <node-name>

升级验证与监控

健康状态检查

# 检查节点状态
kubectl get nodes -o wide

# 检查组件状态
kubectl get componentstatuses

# 检查Pod状态
kubectl get pods --all-namespaces -o wide

# 检查事件日志
kubectl get events --sort-by='.lastTimestamp'

性能监控指标

在升级过程中监控以下关键指标：

指标	正常范围	监控命令
Node CPU使用率	<80%	kubectl top nodes
Node内存使用率	<85%	kubectl top nodes
Pod重启次数	无异常重启	kubectl get pods
网络流量	无异常波动	网络观测工具

常见问题与解决方案

问题1：Pod无法正常驱逐

症状： Pod一直处于Terminating状态

解决方案：

# 强制删除Pod
kubectl delete pod <pod-name> --namespace <namespace> --force --grace-period=0

# 检查Pod依赖的资源
kubectl describe pod <pod-name> --namespace <namespace>

问题2：kubelet启动失败

症状： kubelet服务无法正常启动

解决方案：

# 检查kubelet日志
journalctl -u kubelet -n 100 --no-pager

# 检查证书状态
sudo openssl x509 -in /var/lib/kubelet/pki/kubelet-client-current.pem -noout -dates

# 重置kubelet证书
sudo rm /var/lib/kubelet/pki/kubelet-client-*
sudo systemctl restart kubelet

问题3：节点Not Ready状态

症状： 升级后节点一直处于Not Ready状态

解决方案：

# 检查节点详细状态
kubectl describe node <node-name>

# 检查网络插件状态
kubectl get pods -n kube-system -l k8s-app=cilium  # 或calico、flannel等

# 重启网络插件
kubectl delete pod -n kube-system <network-plugin-pod>

最佳实践

升级窗口规划

timeline
    title 升级时间线规划
    section 准备阶段
        备份集群配置      : 30分钟
        通知相关团队      : 15分钟
        预检查验证       : 45分钟
    section 执行阶段
        控制平面升级      : 60分钟
        工作节点升级      : 2-4小时<br>（取决于集群规模）
    section 验证阶段
        功能验证         : 60分钟
        性能测试         : 30分钟
        监控观察         : 24小时

回滚策略

自动回滚机制：

# 检查当前版本配置备份
ls -la /etc/kubernetes/tmp/

# 手动回滚到之前版本（如需要）
sudo apt install kubeadm=1.27.6-* kubelet=1.27.6-* kubectl=1.27.6-*
sudo kubeadm upgrade apply --force v1.27.6

监控告警设置

在升级期间，建议配置以下告警规则：

• 节点Not Ready状态超过5分钟
• Pod重启次数异常增加
• 资源使用率超过阈值
• 网络连接异常

升级后维护

版本一致性检查

# 检查所有节点版本一致性
kubectl get nodes -o jsonpath='{range .items[*]}{.metadata.name}{"\t"}{.status.nodeInfo.kubeletVersion}{"\n"}{end}'

# 检查核心组件版本
kubectl get deployments -n kube-system -o jsonpath='{range .items[*]}{.metadata.name}{"\t"}{.spec.template.spec.containers[0].image}{"\n"}{end}'

性能基准测试

升级完成后，建议运行性能测试：

# 部署测试负载
kubectl apply -f https://k8s.io/examples/application/nginx/nginx-deployment.yaml

# 进行压力测试
kubectl run stress-test --image=busybox --rm -it --restart=Never -- \
  dd if=/dev/zero of=/tmp/test bs=1M count=100

总结

Kubernetes Linux工作节点升级是一个需要精心规划和执行的过程。通过本文提供的详细指南，您可以：

1. 系统化准备：完成所有必要的预检查工作
2. 策略性执行：选择合适的升级策略和顺序
3. 全面监控：实时监控升级过程中的关键指标
4. 快速响应：掌握常见问题的解决方案
5. 持续优化：建立完善的升级后维护流程

遵循这些最佳实践，您可以确保Kubernetes集群升级过程平稳、可靠，最大限度地减少对业务的影响。记住，在生产环境中进行升级前，务必在测试环境中充分验证升级流程。