Velero在Bottlerocket节点上的备份问题分析与解决方案

问题背景

在使用Velero进行Kubernetes集群备份时，我们发现了一个与节点操作系统相关的特殊现象：当集群节点使用Bottlerocket操作系统时，Velero备份会失败；而同样的配置在Amazon Linux 2节点上却能正常工作。这个问题在我们将部分集群从Amazon Linux 2迁移到Bottlerocket后开始出现。

错误现象

备份操作会返回以下错误信息：

error to initialize data path: error to boost backup repository connection default-ffwk-kopia: error to connect backup repo: error to connect repo with storage: error to connect to repository: repository not initialized in the provided storage

在删除backuprepository CR并重试后，出现了更具体的权限错误：

data path backup failed: Failed to run kopia backup: Failed to upload the kopia snapshot for si default@default:snapshot-data-upload-download/kopia/ffwk/grafana-pvc: permission denied

根本原因分析

经过深入调查，我们发现问题的根源在于Bottlerocket操作系统的安全特性：

1. SELinux强制策略：Bottlerocket默认启用了严格的SELinux策略，即使在容器以root权限运行时也会限制危险操作。这种安全机制虽然增强了系统安全性，但也可能阻止Velero的正常操作。

2. 权限限制：Velero的node-agent组件需要执行一些特权操作来访问存储和创建备份，而Bottlerocket的默认安全策略阻止了这些操作。

解决方案

针对这个问题，Velero社区提供了专门的解决方案：

1. 使用特权模式：在安装Velero时添加--privileged-node-agent标志，这将允许node-agent组件以特权模式运行，绕过Bottlerocket的安全限制。

2. 具体实施步骤：

   • 卸载现有的Velero安装（如果已安装）
   • 重新安装Velero时添加--privileged-node-agent参数
   • 验证备份功能是否恢复正常

技术建议

对于需要在Bottlerocket上使用Velero的用户，我们建议：

1. 评估安全影响：虽然特权模式解决了备份问题，但需要评估其对集群安全性的影响。

2. 测试验证：在生产环境应用前，先在测试环境验证备份和恢复功能。

3. 版本兼容性：确认使用的Velero版本与Bottlerocket版本兼容，必要时考虑升级。

总结

Bottlerocket作为一款安全优化的Kubernetes操作系统，其默认的安全策略可能会影响某些需要特权操作的应用程序。通过了解Velero在Bottlerocket上的这一特定行为，管理员可以更好地规划集群部署策略，并在需要时采取适当的配置调整来确保备份功能的正常运行。