Apache APISIX中etcd集群成员丢失问题的分析与解决方案

问题背景

在Apache APISIX的使用过程中，许多用户遇到了etcd集群成员丢失的问题，具体表现为etcd pod启动时出现"etcdserver: member not found"错误。这个问题通常发生在使用APISIX Helm Chart部署的环境中，特别是当etcd作为APISIX的依赖组件运行时。

问题现象

当etcd pod启动时，日志中会显示以下关键错误信息：

{"level":"warn","ts":"2024-07-02T05:04:22.015Z","logger":"etcd-client","caller":"v3@v3.5.7/retry_interceptor.go:62","msg":"retrying of unary invoker failed","target":"etcd-endpoints://0xc00055c000/accel-apisix-etcd-0.accel-apisix-etcd-headless.accel-apisix.svc.cluster.local:2379","attempt":0,"error":"rpc error: code = NotFound desc = etcdserver: member not found"}
Error: etcdserver: member not found

问题原因分析

1. 数据不一致：etcd集群中的数据状态不一致，导致新启动的成员无法识别现有集群中的成员信息。

2. 持久化卷问题：当etcd pod被重新调度或重启时，原有的持久化卷(PVC)中的数据可能已经损坏或不完整。

3. 集群配置错误：etcd集群的初始配置可能存在问题，特别是在动态扩缩容场景下。

4. 版本兼容性问题：虽然用户已从etcd 8.7升级到9.7，但底层使用的etcd镜像版本(3.5.7)可能存在已知问题。

解决方案

临时解决方案

1. 手动清理并重建成员：

   • 将StatefulSet缩容到2个副本
   • 删除出问题的PVC（如data-apisix-etcd-X）
   • 将StatefulSet扩容回3个副本

2. 完全重新安装：

   • 执行helm uninstall卸载APISIX
   • 手动删除所有相关的PVC
   • 重新安装APISIX

深入解决方案

对于GKE环境，可以采用更精细的数据清理方法：

1. 登录到运行故障pod的节点
2. 找到挂载的PVC路径
3. 进入数据目录删除损坏的成员数据：

   cd /var/lib/kubelet/pods/[POD_ID]/volumes/kubernetes.io~csi/[PVC_ID]/mount
   cd data/member
   rm -rf snap
   rm -rf wal
   

4. 重启pod，系统会自动重建成员数据

预防措施

1. 定期备份etcd数据：建立etcd数据的定期备份机制，以便在出现问题时可以快速恢复。

2. 监控etcd健康状态：部署etcd集群的健康监控，及时发现并处理潜在问题。

3. 考虑独立部署etcd：对于生产环境，建议将etcd与APISIX分开部署，提高稳定性和可维护性。

4. 版本选择：选择经过充分测试的etcd版本组合，避免使用可能存在兼容性问题的版本。

总结

etcd作为APISIX的关键依赖组件，其稳定性直接影响整个系统的可用性。当遇到"member not found"错误时，可以采用文中提供的解决方案进行恢复。对于生产环境，建议采取预防措施，降低此类问题发生的概率。同时，社区也在持续改进APISIX与etcd的集成方案，未来版本可能会提供更稳定的etcd集群管理能力。