Longhorn 存储卷在虚拟机迁移过程中出现 I/O 异常的深度分析

问题背景

在将 Harvester 集群从 v1.4.1 升级到 v1.4.2-rc1 版本的过程中，用户遇到了一个关键性问题：当虚拟机(VM)从一个节点迁移到另一个节点时，虚拟机最终会陷入暂停状态，原因是底层 Longhorn 存储卷出现了 I/O 异常。这个问题发生在 Longhorn v1.7.2 版本上，影响了生产环境的稳定性。

问题现象

从日志中可以观察到几个关键异常信息：

1. 在快照合并过程中出现了异常行为，系统尝试将 volume-snap-fc94f64a-ed11-4025-8bc4-c864a4c73b7c.img 合并到 volume-snap-7ccd0136-f3ed-4271-b9ff-a9036212b3e9.img 中
2. 随后系统尝试替换磁盘文件，但最终失败
3. 最终导致后端存储不可用，出现 I/O 异常："no backend available"

根本原因分析

经过深入分析，我们发现问题的根源在于 Longhorn 的实时迁移机制与快照清理机制的竞态条件：

1. 迁移检查不完整：虽然实时迁移有一个检查机制来确保没有正在重建的只写(WO)副本，但这个检查存在缺陷。当副本被删除并正在重建时，引擎规范中的副本地址映射(engine.spec.replicaAddressMap)可能显示有三个副本，而引擎状态中的副本模式映射(engine.status.replicaModeMap)可能只显示两个可读写(RW)副本。

2. 状态不一致：这种不一致是因为实例管理器没有实时获取副本模式映射，导致系统错误地判断迁移条件。

3. 快照清理的干扰：如果在添加新副本后但迁移完成前执行快照清理(SnapshotPurge)，新副本会因为节点磁盘上的快照文件被更改而无法列出快照文件，最终导致所有新副本被标记为异常(ERR)状态。

技术细节

在底层实现上，这个问题涉及几个关键组件和流程：

1. 副本管理：Longhorn 维护着副本的状态信息，包括地址映射和模式映射。当副本重建时，这些状态可能暂时不同步。

2. 快照合并机制：系统尝试合并快照文件以提高存储效率，但在迁移过程中这种操作可能导致文件状态不一致。

3. I/O 路径：当后端存储出现问题时，I/O 操作会失败，最终导致虚拟机暂停。

解决方案

针对这个问题，Longhorn 团队提出了以下解决方案：

1. 临时解决方案：在升级 Longhorn 期间，可以禁用 auto-cleanup-system-generated-snapshot 设置，防止在副本重建期间执行快照清理。

2. 长期解决方案：改进迁移检查机制，确保在副本重建期间不会错误地启动迁移操作。这包括：

   • 加强状态一致性检查
   • 优化副本模式映射的实时更新机制
   • 在关键操作期间增加适当的锁机制

影响与启示

这个问题给我们几个重要的启示：

1. 分布式存储系统的复杂性：在分布式环境中，状态管理是一个复杂的问题，需要仔细设计同步机制。

2. 升级过程的敏感性：系统升级过程中往往容易出现边缘情况，需要特别关注。

3. 监控与恢复机制：完善的监控和自动恢复机制可以减轻这类问题的影响。

结论

Longhorn 存储卷在虚拟机迁移过程中出现的 I/O 异常问题揭示了分布式存储系统在状态管理和操作时序方面的挑战。通过深入分析根本原因，我们不仅找到了临时解决方案，也为系统架构的长期改进指明了方向。这类问题的解决需要综合考虑系统设计、状态管理和异常处理等多个方面，是分布式存储系统开发中的典型挑战。