Longhorn项目中的Ubuntu升级测试失败问题分析

问题背景

在Longhorn项目从v1.8.1升级到v1.9.0-rc1版本的过程中，测试用例test_multiple_volumes_creation_with_degraded_availability在Ubuntu系统上出现了失败情况。该问题表现为Pod无法成功挂载卷，错误信息显示系统认为磁盘设备正在被使用，因此拒绝创建文件系统。

问题现象

测试过程中，Pod在尝试挂载卷时遇到了以下关键错误：

/dev/longhorn/pvc-91ba2b18-c54a-403a-81b5-2ce2828ada78 is apparently in use by the system; will not make a filesystem here!

这个错误发生在文件系统创建阶段，系统认为目标设备已被占用，因此无法执行格式化操作。

根本原因分析

经过深入调查，发现问题根源在于Ubuntu系统中的multipathd服务。该服务会监控和管理多路径设备，在某些情况下会错误地将Longhorn卷识别为多路径设备并占用它们。具体表现为：

1. multipathd.socket和multipathd.service在系统启动时自动运行
2. 这些服务会扫描系统中的块设备
3. 当Longhorn卷设备出现时，它们被错误地识别为多路径设备
4. 导致kubelet无法正常格式化和挂载这些卷

解决方案

要解决这个问题，需要在所有工作节点上执行以下操作：

sudo systemctl stop multipathd.socket
sudo systemctl disable multipathd.socket
sudo systemctl stop multipathd.service
sudo systemctl disable multipathd.service

这些命令将停止并禁用multipathd相关服务，防止它们干扰Longhorn卷的正常使用。

预防措施

为了避免类似问题再次发生，建议：

1. 在Longhorn安装或升级前检查系统中是否启用了multipathd服务
2. 将multipathd服务检查纳入部署文档和自动化脚本
3. 考虑在Longhorn的安装程序中自动检测并处理这个问题

总结

这个问题展示了系统服务与容器存储之间的潜在冲突。在云原生环境中，传统的系统服务有时会与容器化工作负载产生意想不到的交互。作为系统管理员或DevOps工程师，理解这些底层交互机制对于排查和预防类似问题至关重要。通过适当的服务管理和系统配置，可以确保Longhorn存储系统在各种环境下都能可靠运行。