Cloud-init中set_passwords模块与sshd服务死锁问题分析

问题背景

在cloud-init 24.4版本中，用户报告了一个严重的系统死锁问题。当用户尝试手动启动cloud-init服务时，系统会陷入cloud-init.service与sshd.service之间的死锁状态，导致服务无法正常启动。这一问题主要出现在RHEL/CentOS等使用systemd的系统上。

问题根源分析

经过深入分析，发现问题源于cloud-init 24.4版本中对set_passwords模块的改动。该模块被移到了cloud-init的网络阶段运行，而这一阶段由cloud-init.service启动。关键问题点在于：

1. 服务依赖关系：cloud-init.service在systemd配置中明确设置了"Before=sshd.service"的依赖关系
2. SSH服务重启：set_passwords模块在运行时，如果检测到sshd配置有变更，会尝试重启sshd服务
3. 死锁形成：当sshd服务已经在运行时，cloud-init尝试重启它，而systemd由于依赖关系会等待cloud-init完成，形成循环等待

技术细节

模块执行流程

set_passwords模块的主要功能是处理用户密码设置和SSH认证配置。当它检测到/etc/ssh/sshd_config文件有修改时，会调用系统命令重启sshd服务。在24.4版本中，这一行为被移到了更早的网络阶段执行。

systemd依赖关系

cloud-init.service的unit文件中包含以下关键配置：

Before=sshd.service

这意味着systemd会确保cloud-init.service在sshd.service之前启动完成。当cloud-init尝试重启已经运行的sshd时，systemd会阻止这一操作，因为它会破坏服务启动顺序。

影响范围

这一问题主要影响以下场景：

1. 在已运行系统中手动安装cloud-init后首次启动服务
2. 某些CI/CD测试环境中手动启动cloud-init服务的情况
3. 任何尝试在sshd服务已运行时手动启动cloud-init的操作

值得注意的是，在正常的云实例启动流程中，这一问题不会出现，因为cloud-init会在系统初始化早期阶段运行，此时sshd尚未启动。

解决方案

开发团队提出了优雅的解决方案，通过在重启sshd时添加systemd的"--job-mode=ignore-dependencies"参数来绕过依赖检查。这一方法既解决了死锁问题，又保持了原有功能的完整性。

解决方案的关键代码修改包括：

1. 修改_restart_ssh_daemon函数以接受额外参数
2. 在systemd环境下调用重启时添加忽略依赖的选项
3. 保持非systemd环境下的原有行为不变

最佳实践建议

为避免类似问题，建议用户和开发者：

1. 避免在生产环境中手动启动cloud-init服务
2. 在CI/CD测试中，考虑使用cloud-init命令行工具而非systemctl
3. 升级到包含修复补丁的版本
4. 理解cloud-init作为一次性初始化工具而非常驻服务的本质

总结

这一问题的出现提醒我们系统服务间依赖关系的重要性。cloud-init团队通过细致的分析和有针对性的修复，既解决了眼前的问题，又为未来版本的设计积累了宝贵经验。对于用户而言，理解工具的正确使用方式和限制同样至关重要。