Harvester CSI驱动在Kubernetes 1.28版本中的权限问题分析

问题背景

在测试Rancher v2.9.6与Harvester v1.3.2的兼容性过程中，发现了一个与存储卷挂载相关的关键问题。具体表现为：当在Kubernetes 1.28版本的RKE2集群中使用Harvester CSI驱动时，Pod无法成功挂载持久化存储卷(PVC)，而其他Kubernetes版本(1.27、1.29和1.30)则工作正常。

问题现象

从日志中可以清晰地看到，CSI驱动在尝试访问Longhorn管理的存储卷时遇到了权限拒绝错误。错误信息显示，服务账户"system:serviceaccount:default:rke2-10h41m46s294916-02-20-1"没有权限获取longhorn.io API组中的"volumes"资源。

根本原因分析

深入分析后发现，问题的根源在于Harvester CSI驱动所需的ClusterRole权限配置不完整。当前配置仅包含对storage.k8s.io API组中storageclasses资源的访问权限，而缺少对longhorn.io API组中volumes资源的必要权限。

值得注意的是，这个问题仅在Kubernetes 1.28版本中出现，其他版本工作正常。这表明Rancher在不同Kubernetes版本中可能部署了不同配置的Harvester CSI驱动，或者Kubernetes 1.28版本对RBAC权限检查机制进行了某些调整。

解决方案

解决此问题需要扩展Harvester CSI驱动的ClusterRole权限，增加对Longhorn卷资源的访问权限。完整的ClusterRole配置应包含以下规则：

rules:
- apiGroups: ["storage.k8s.io"]
  resources: ["storageclasses"]
  verbs: ["get", "list", "watch"]
- apiGroups: ["longhorn.io"]
  resources: ["volumes", "volumes/status"]
  verbs: ["get", "list"]

注意事项

1. 版本兼容性：在Harvester v1.3.2集群上直接修改ClusterRole可能会影响后续升级到v1.4.0的过程，需要谨慎操作。

2. 权限最小化：虽然问题可以通过扩大权限解决，但仍应遵循最小权限原则，仅授予必要的权限。

3. 版本差异：由于问题仅出现在Kubernetes 1.28版本，建议在混合版本环境中特别注意该版本的配置。

最佳实践建议

对于使用Harvester CSI驱动的生产环境，建议：

1. 在部署前全面验证各Kubernetes版本的兼容性
2. 建立完善的权限监控机制，及时发现类似的权限不足问题
3. 考虑使用准入控制器来确保CSI驱动获得必要的权限
4. 在升级Kubernetes版本前，进行充分的兼容性测试

这个问题提醒我们，在云原生生态系统中，各个组件间的权限交互可能会因版本差异而表现出不同的行为，特别是在涉及跨多个项目的集成时，需要更加细致的权限管理和测试验证。