Apache CloudStack 4.20 在IPv6环境下使用CEPH存储的部署问题分析

问题背景

在使用Apache CloudStack 4.20版本部署云平台时，遇到了在纯IPv6环境下使用CEPH RBD作为主存储时虚拟机创建失败的问题。系统架构包括KVM虚拟化平台、CEPH Squid RBD主存储和NFS EMC辅助存储，网络采用VXLAN架构。

核心问题表现

1. 初始虚拟机创建失败：系统基础设施虚拟机启动后无法完成创建过程，陷入创建-删除的循环中
2. 存储转换异常：Libvirt无法将虚拟机镜像从辅助存储转换为CEPH RBD格式
3. IPv6地址截断：日志显示IPv6地址在传输过程中被截断，导致连接失败
4. 管理服务器集群问题：添加第二台管理服务器后出现证书验证失败

详细错误分析

存储转换失败

从日志中可以看到关键错误信息：

qemu-img: rbd:3cephUserandPool/f32a0f81... error while converting raw: 
invalid conf option 550:5607:fff0::22:24;20XX... No such file or directory

这表明qemu-img工具在处理IPv6地址时出现了问题。IPv6地址中的冒号被错误解析，导致配置选项无效。

Libvirt连接问题

日志中频繁出现以下错误：

invalid argument: Connections from inside daemon must be direct
End of file while reading data: Input/output error

这表明Libvirt守护进程在尝试建立内部连接时遇到了问题，可能与IPv6网络配置有关。

解决方案与验证

单管理服务器验证

经过测试，在仅使用单台管理服务器的情况下，系统能够正常工作：

1. 代理虚拟机(v-154-VM)成功启动并运行
2. CEPH存储能够正常使用
3. 基础架构服务正常运行

多管理服务器配置问题

当尝试添加第二台管理服务器时，出现了证书验证失败的问题：

Certificate ownership verification failed for client: 10.1.1.2
SSL error caught during wrap data: Certificate ownership verification failed

这表明在集群配置过程中，证书信任链可能没有正确建立。

最佳实践建议

1. IPv6地址格式化：确保所有IPv6地址在配置文件中使用方括号包围，如[2001:db8::1]
2. 证书管理：
   • 在设置管理服务器集群前，确保所有节点的系统时间同步
   • 验证证书中的SAN(Subject Alternative Name)包含所有管理节点的IP和主机名
3. 分阶段部署：
   • 首先验证单节点部署
   • 确保基础架构服务正常运行后再添加额外管理节点
4. 日志监控：特别关注qemu-img和Libvirt相关的错误日志，这些通常是存储问题的关键指标

总结

在IPv6环境下部署Apache CloudStack与CEPH存储时，需要特别注意地址格式化和网络配置。多管理节点部署时，证书信任关系的建立是关键。建议采用分阶段部署策略，先验证单节点功能，再逐步扩展集群规模，同时密切监控系统日志以快速定位问题。

对于生产环境，建议在测试环境中充分验证IPv6配置，特别是存储子系统与多节点集群的交互，确保系统稳定性和可靠性。