Cloudpods项目中使用Ceph RBD存储创建虚拟机的故障排查指南

问题背景

在Cloudpods 3.11.10版本环境中，当用户尝试使用Ceph RBD作为虚拟机的磁盘存储时，遇到了虚拟机创建失败的问题。系统报错显示无法从DNS SRV获取Ceph monitor信息，并提示"error connecting: No such file or directory"的错误。

错误现象分析

从错误日志中可以提取出几个关键信息点：

1. 系统无法通过DNS SRV记录获取Ceph monitor信息
2. QEMU驱动尝试连接RBD存储时失败
3. 虽然Ceph块存储状态显示正常，但计算节点无法正确访问

根本原因

经过深入分析，这个问题主要由以下两个因素导致：

1. 密钥文件缺失：计算节点上缺少必要的Ceph认证文件(ceph.client.admin.keyring)
2. 配置文件缺失：计算节点上缺少Ceph集群的配置文件(ceph.conf)

解决方案

临时解决方案

1. 将Ceph集群的以下文件复制到所有计算节点的对应位置：

   • /etc/ceph/ceph.client.admin.keyring
   • /etc/ceph/ceph.conf

2. 确保这些文件的权限设置正确，能够被Cloudpods服务访问

永久解决方案

升级Cloudpods的host服务组件到最新版本(3.11.x)或使用特定修复版本：

kubectl patch oc -n onecloud default --type='json' -p='[{op: replace, path: /spec/hostagent/imageName, value: host},{op: replace, path: /spec/hostagent/repository, value: registry.cn-hangzhou.aliyuncs.com/d3lx},{op: add, path: /spec/hostagent/tag, value: v20250616-t1}]'

技术原理

Cloudpods在使用Ceph RBD作为后端存储时，计算节点上的QEMU进程需要直接访问Ceph集群。这需要：

1. 集群配置信息：ceph.conf文件提供了Ceph集群的monitor节点地址等关键配置
2. 认证凭据：keyring文件包含了访问Ceph集群所需的认证密钥

在早期版本中，Cloudpods的host服务没有自动同步这些文件到计算节点，导致虚拟机创建失败。新版本已经修复了这个问题，能够正确处理Ceph存储的认证和连接。

最佳实践建议

1. 对于生产环境，建议始终使用最新稳定版本的Cloudpods组件
2. 在多节点部署时，确保所有计算节点都能访问Ceph集群的配置和认证文件
3. 定期检查Ceph存储的连接状态，特别是在集群配置变更后
4. 考虑使用Cephx认证的权限最小化原则，为Cloudpods创建专用用户而非直接使用admin权限

总结

Ceph RBD与Cloudpods的集成提供了高性能的虚拟化存储解决方案，但在配置过程中需要注意认证和连接细节。通过理解底层原理和采用正确的配置方法，可以确保虚拟机能够稳定地使用Ceph块存储服务。对于遇到类似问题的用户，建议首先检查计算节点上的Ceph配置文件完整性，并考虑升级到已修复该问题的Cloudpods版本。