K3s集群添加控制平面节点失败问题分析与解决方案

问题背景

在使用K3s构建Raspberry Pi集群时，用户尝试向现有集群添加第二个控制平面节点(master)时遇到了服务启动失败的问题。错误信息显示"etcd disabled"，表明集群数据存储配置存在问题。

错误现象

当执行添加控制平面节点的命令后，k3s服务无法正常启动，systemd日志显示以下关键错误：

level=fatal msg="starting kubernetes: preparing server: etcd disabled"

根本原因分析

K3s支持多种数据存储后端，包括嵌入式etcd、SQLite(默认)以及外部数据库(如MySQL、PostgreSQL等)。要实现高可用(HA)的多控制平面架构，必须使用etcd或外部数据库作为数据存储后端。

在用户案例中，初始集群可能使用了默认的SQLite作为数据存储，这种配置不支持多控制平面节点。当尝试添加第二个控制平面节点时，系统检测到数据存储配置不兼容，因此拒绝启动服务。

解决方案

方案一：迁移到etcd集群

1. 备份现有集群：在进行任何配置变更前，首先备份当前集群状态和重要数据。

2. 停止现有k3s服务：

   sudo systemctl stop k3s
   

3. 修改主节点配置： 编辑/etc/systemd/system/k3s.service文件，在ExecStart行添加：

   --cluster-init
   

   这将启用嵌入式etcd集群。

4. 重启主节点服务：

   sudo systemctl daemon-reload
   sudo systemctl start k3s
   

5. 添加其他控制平面节点： 使用正确的token和API server地址添加节点，命令格式如下：

   curl -sfL https://get.k3s.io | K3S_URL=https://<主节点IP>:6443 K3S_TOKEN=<节点token> sh -s - server --server https://<主节点IP>:6443
   

方案二：使用外部数据库

1. 设置外部数据库： 准备MySQL或PostgreSQL数据库实例，并创建专用数据库。

2. 重新配置主节点： 修改k3s服务配置，指定数据库连接参数：

   --datastore-endpoint="mysql://username:password@tcp(hostname:3306)/database-name"
   

3. 添加其他控制平面节点： 使用相同的数据存储端点配置添加新节点。

注意事项

1. 资源考虑：在Raspberry Pi等资源受限设备上运行etcd需要确保足够的内存和存储空间。

2. 网络稳定性：etcd集群对网络延迟敏感，确保节点间网络连接稳定。

3. 集群规模：对于小型家庭实验室，3节点etcd集群可提供良好的可用性和性能平衡。

4. 数据迁移：从SQLite迁移到etcd可能需要重新部署工作负载，建议在维护窗口期进行。

最佳实践建议

1. 在生产环境使用前，先在测试环境验证配置变更。

2. 使用k3s内置的高可用检查工具验证集群状态：

   k3s check-etcd
   

3. 考虑使用k3s的自动备份功能定期备份etcd数据。

4. 监控集群资源使用情况，特别是内存和磁盘I/O。

通过正确配置数据存储后端，用户可以在Raspberry Pi集群上成功部署多控制平面的K3s高可用架构，提高集群的可靠性和容错能力。