Incus项目Ceph存储下虚拟机启动失败问题分析与解决

问题背景

在Incus 6.10版本中，用户在使用Ceph存储后端时遇到了虚拟机无法启动的问题。该问题主要出现在aarch64架构的集群环境中，表现为启动虚拟机时出现"Failed adding block device: error connecting: Operation not supported"错误。经过开发团队调查，发现这实际上是一个影响所有架构的普遍性问题，与QEMU权限配置有关。

问题现象

当用户尝试在配置了Ceph存储的Incus集群上启动虚拟机时，会遇到以下典型错误：

1. 虚拟机启动失败，提示块设备添加错误
2. 系统日志显示权限拒绝(Operation not supported/Permission denied)
3. 没有生成虚拟机日志文件

根本原因分析

经过深入调查，开发团队发现了两个关键问题：

1. 权限问题：新版本的实现逻辑要求Ceph keyring文件(/etc/ceph目录下)必须对QEMU进程可读。由于QEMU以非特权用户身份运行，而标准Ceph部署中keyring文件通常具有更严格的权限(如600)，导致访问被拒绝。

2. 集群名称处理问题：代码实现中没有正确处理非标准Ceph集群名称的情况。当用户使用非默认集群名称时，系统无法正确识别和配置。

解决方案

开发团队迅速响应并提供了修复方案：

1. 临时解决方案：将/etc/ceph下的keyring文件权限改为644，使QEMU进程可以读取。但需要注意这会降低安全性，因为系统中的任何用户都将获得Ceph访问权限。

2. 永久修复：开发团队提交了代码修复(commit 62b7ba1)，部分回退到旧逻辑，同时保持代码整洁性。修复内容包括：

   • 恢复提供Ceph配置文件路径的功能
   • 改进集群名称处理逻辑
   • 优化权限检查机制

影响范围

该问题影响：

• 所有使用Ceph存储后端的Incus 6.10部署
• 各种架构环境(aarch64/x86_64等)
• 使用虚拟机功能的场景

最佳实践建议

对于生产环境用户，建议：

1. 及时升级到包含修复的Incus版本(6.10-ubuntu24.04-202503011013或更高)
2. 避免使用临时解决方案修改keyring权限
3. 定期检查存储后端配置的兼容性
4. 测试环境先行验证新版本功能

总结

这次事件展示了开源社区响应问题的效率，从问题报告到修复发布仅用了极短时间。同时也提醒我们存储后端集成需要考虑多方面因素，包括权限管理、不同环境兼容性等。Incus团队通过这次修复不仅解决了眼前问题，还完善了相关代码逻辑，为未来版本奠定了更坚实的基础。