Velero与Longhorn集成备份恢复问题排查指南

问题背景

在使用Velero与Longhorn进行集成备份时，用户遇到了备份恢复部分失败的问题。具体表现为备份操作能够成功创建Longhorn快照并恢复PVC数据，但恢复状态显示为"PartiallyFailed"，并伴随CSI模块未就绪的错误提示。

环境配置

• Velero版本：1.13.x（最初），后升级至1.14
• Kubernetes版本：1.21.12
• Longhorn版本：1.4.0
• 存储后端：MinIO（自托管）
• 操作系统：Rocky Linux 8

问题现象

备份恢复操作完成后，Velero报告状态为"PartiallyFailed"，错误信息显示：

CSI modules are not ready for restore. Check CSI feature is enabled and CSI plugin is installed

尽管有该错误提示，实际数据恢复过程却能够正常完成，PVC和应用数据都能正确恢复。

排查过程

1. 版本兼容性问题

最初用户使用的是Velero 1.13.x版本，该版本存在已知的CSI插件兼容性问题。根据错误信息判断，系统未能正确识别CSI插件状态。

解决方案：将Velero客户端和服务器端统一升级至1.14版本，确保版本一致性。

2. 插件版本配置

升级后发现Velero服务器Pod崩溃，日志显示插件加载失败。这是由于插件版本与新版本Velero不兼容所致。

解决方案：

• 使用AWS插件v1.6.0版本（与MinIO版本兼容）
• 移除不再支持的volumeSnapshotLocation配置参数
• 显式启用CSI功能特性

3. 存储连接问题

在备份过程中遇到MultipartUpload失败错误，表现为连接被重置。这是由于通过Ingress访问MinIO时存在限制。

解决方案：

• 将s3Url和publicUrl配置改为直接使用NodeIP:NodePort方式访问
• 在Ingress配置中添加大文件传输相关参数（虽然在此案例中未生效）

4. 最终有效配置

经过多次调整，确定以下配置组合能够正常工作：

helm upgrade --install velero \
--namespace=velero \
--create-namespace \
--set-file credentials.secretContents.cloud=/root/velero/credentials-velero \
--set configuration.backupStorageLocation[0].provider=aws \
--set configuration.backupStorageLocation[0].name=default \
--set configuration.backupStorageLocation[0].bucket=velero \
--set configuration.backupStorageLocation[0].config.region=client-minio \
--set configuration.backupStorageLocation[0].config.s3ForcePathStyle=true \
--set configuration.backupStorageLocation[0].config.s3Url='http://<NodeIP>:<NodePort>//' \
--set configuration.backupStorageLocation[0].config.publicUrl='http://<NodeIP>:<NodePort>//' \
--set snapshotsEnabled=true \
--set configuration.volumeSnapshotLocation[0].provider=aws \
--set configuration.volumeSnapshotLocation[0].name=default \
--set configuration.volumeSnapshotLocation[0].config.region=client-minio \
--set configuration.features=EnableCSI \
--set "initContainers[0].name=velero-plugin-for-aws" \
--set "initContainers[0].image=velero/velero-plugin-for-aws:v1.6.0" \
--set "initContainers[0].volumeMounts[0].mountPath=/target" \
--set "initContainers[0].volumeMounts[0].name=plugins" \
vmware-tanzu/velero

关键发现

1. 版本匹配至关重要：Velero客户端、服务器端和插件版本必须严格匹配，特别是跨大版本升级时。

2. MinIO兼容性：较新版本的AWS插件可能与旧版MinIO不兼容，需要根据实际情况选择合适的插件版本。

3. 网络连接方式：直接使用NodePort访问存储后端比通过Ingress更可靠，特别是在处理大文件传输时。

4. CSI功能显式启用：必须明确设置configuration.features=EnableCSI参数，否则CSI相关功能无法正常工作。

5. 配置简化：新版本Velero中，Longhorn相关的快照配置已简化，不再需要显式指定bucket等参数。

最佳实践建议

1. 升级策略：升级前仔细阅读版本变更说明，特别是破坏性变更部分。

2. 测试验证：在生产环境部署前，先在测试环境验证备份恢复全流程。

3. 监控配置：定期检查备份作业状态和日志，及时发现潜在问题。

4. 文档参考：保持与官方文档同步，了解最新配置要求和最佳实践。

5. 网络优化：对于大规模备份，考虑优化网络连接方式和传输参数。

通过系统性的排查和配置优化，最终实现了Velero与Longhorn的稳定集成，确保了备份恢复功能的可靠运行。