Kubernetes kOps在GCE上部署RHEL/Rocky Linux集群的问题分析

背景介绍

Kubernetes Operations (kOps)是一个流行的Kubernetes集群生命周期管理工具，它支持在多种云平台上部署和管理Kubernetes集群。在Google Compute Engine (GCE)平台上，kOps默认使用cloud-init工具来初始化虚拟机实例并完成Kubernetes组件的安装配置。

问题现象

近期发现，当在GCE平台上使用Red Hat Enterprise Linux (RHEL) 9或Rocky Linux 9镜像创建kOps集群时，集群安装过程会失败。具体表现为虚拟机实例能够正常启动，但不会执行任何Kubernetes相关的初始化操作。

通过检查虚拟机日志发现，系统启动时仅执行了Google Cloud的metadata脚本运行器，但没有找到任何启动脚本需要执行。这表明kOps发送的初始化配置没有被虚拟机正确接收和处理。

根本原因分析

经过深入调查，发现这个问题源于kOps项目最近的一个变更。该变更将GCE平台的实例初始化方式从传统的"startup-script"切换到了"user-data"方式，后者依赖于cloud-init工具。

然而，GCE平台上的RHEL 9和Rocky Linux 9官方镜像默认没有预装cloud-init工具。这些镜像仍然支持传统的"startup-script"机制，但不支持cloud-init的"user-data"方式。CentOS和RHEL 8/Rocky 8系列镜像也存在同样的问题。

技术细节

在GCE平台上，虚拟机初始化通常有以下几种方式：

1. startup-script：Google Cloud的传统初始化机制，通过元数据服务提供启动脚本
2. user-data：cloud-init的标准接口，通过元数据服务提供初始化配置
3. google-startup-scripts：Google Cloud的特定初始化机制

RHEL系列镜像在GCE平台上默认只支持第一种方式，而Debian/Ubuntu等发行版则同时支持多种方式。kOps的变更假设所有Linux发行版都支持cloud-init，这与RHEL系列镜像的实际情况不符。

临时解决方案

对于受影响的用户，可以通过以下步骤临时解决问题：

1. 通过SSH连接到未初始化的虚拟机实例
2. 执行命令安装cloud-init工具：yum install -y cloud-init
3. 重启虚拟机：reboot

安装cloud-init后，虚拟机将能够处理kOps通过"user-data"发送的初始化配置，集群安装过程可以继续进行。

长期解决方案建议

从项目维护的角度，建议kOps采取以下改进措施：

1. 为RHEL系列发行版恢复"startup-script"支持，作为回退机制
2. 在实例初始化前检测cloud-init的可用性，根据结果选择适当的初始化方式
3. 在文档中明确说明不同发行版镜像的要求和限制
4. 考虑在kOps中自动安装cloud-init作为初始化的一部分

影响范围评估

这个问题主要影响以下组合：

• kOps 1.30.0-beta.1及以上版本
• GCE平台上的RHEL/Rocky Linux/CentOS镜像
• 特别是9.x系列的新版本镜像

Debian/Ubuntu等发行版不受此问题影响，因为它们默认已安装cloud-init工具。

总结

这个问题展示了云平台和Linux发行版之间初始化机制的差异带来的兼容性挑战。作为集群管理工具，kOps需要考虑不同平台和发行版的特性，提供灵活的初始化机制。对于用户来说，在选择操作系统镜像时需要了解其初始化支持情况，特别是在使用较新的kOps版本时。