解决Calico节点连接Kubernetes数据存储未授权问题

问题背景

在Kubernetes集群中，Calico作为网络插件负责提供容器网络功能。当Calico节点无法正常启动并报错"Connection to the datastore is unauthorized"时，表明Calico组件无法通过认证连接到Kubernetes API服务器。

问题现象

Calico节点Pod处于CrashLoopBackOff状态，日志显示以下关键错误信息：

2025-04-14 03:11:21.332 [WARNING][9] startup/startup.go 462: Connection to the datastore is unauthorized error=connection is unauthorized: Unauthorized

根本原因分析

通过对正常集群和问题集群的对比分析，发现以下关键差异：

1. Calico kubeconfig配置异常：

   • 问题集群中server字段格式不正确，包含多余的方括号[10.233.0.1]
   • certificate-authority-data字段缺少必要的双引号包裹

2. 证书更新后组件重启不彻底：

   • 使用crictl stop命令停止容器后，残留的容器状态影响了新证书的加载
   • 需要完全删除旧容器而非仅停止它们

解决方案

1. 修正Calico kubeconfig配置

检查并修正/etc/cni/net.d/calico-kubeconfig文件：

• 确保server字段格式为https://10.233.0.1:443（无方括号）
• 确保certificate-authority-data字段值被双引号包裹

2. 彻底重启Kubernetes控制平面组件

使用以下命令完全删除而非仅停止相关容器：

crictl ps | grep -E 'kube-apiserver|kube-controller-manager|kube-scheduler' | awk '{print $1}' | xargs crictl rm -f

3. 完整证书更新流程建议

对于Kubernetes CA证书更新操作，建议采用以下完整流程：

1. 备份所有关键配置和证书
2. 停止kubelet服务
3. 删除旧证书和配置文件
4. 生成新证书并分发到所有节点
5. 生成新的kubeconfig文件
6. 彻底删除而非仅停止控制平面组件容器
7. 重启kubelet服务
8. 批准所有待处理的CSR请求
9. 更新集群配置信息

预防措施

1. 证书管理：

   • 定期监控证书过期时间
   • 使用自动化工具管理证书轮换
   • 在非生产环境测试证书更新流程

2. 配置验证：

   • 更新证书后验证所有关键组件的kubeconfig文件格式
   • 检查Calico等关键组件的连接状态

3. 组件重启策略：

   • 对于关键系统组件，使用rm -f而非stop确保完全清理
   • 建立组件重启顺序和依赖关系检查机制

总结

Calico节点连接Kubernetes数据存储未授权问题通常源于证书更新后的配置不一致或组件重启不彻底。通过系统性地分析配置差异、采用彻底的组件重启策略，并建立完善的证书管理流程，可以有效解决和预防此类问题。对于生产环境，建议在变更前进行全面测试，并确保有完整的回滚方案。