Crun容器运行时在RHEL 8.10上遇到cgroup v1设备权限问题分析

问题背景

在使用RHEL 8.10操作系统搭配Kubernetes 1.29.0和CRI-O 1.32的环境中，用户报告了容器创建失败的问题。错误信息显示在尝试写入devices.allow文件时出现"Operation not permitted"权限错误。这个问题在系统升级后出现，特别是在crun从1.17版本升级到1.18.2版本后变得明显。

环境特征

受影响的系统具有以下典型特征：

• 操作系统：RHEL 8.10或兼容发行版(如AlmaLinux 8.10)
• 内核版本：4.18.0-553系列
• 容器运行时：crun 1.18.2
• CRI-O版本：1.29.10
• 使用cgroup v1而非cgroup v2

问题表现

当尝试创建任何容器时，系统会报错：

container create failed: writing file `devices.allow`: Operation not permitted

通过strace追踪可以看到，crun尝试在cgroup v1的设备控制器下写入devices.allow文件时被拒绝。这个问题影响所有类型的Pod，包括系统组件如kube-proxy等。

根本原因分析

经过技术专家调查，这个问题与以下因素相关：

1. crun版本变更：从1.17升级到1.18.2后出现，表明新版本对cgroup设备控制器的处理方式有所改变。

2. cgroup版本差异：问题仅出现在使用cgroup v1的环境中，切换到cgroup v2可以解决问题。

3. 系统组件交互：crun 1.18.2与较旧版本的系统组件(如systemd 239)可能存在兼容性问题。

4. 安全模型变化：新版本crun可能采用了更严格的安全策略，在特定环境配置下导致权限问题。

解决方案

目前确认有效的解决方案包括：

1. 降级crun版本：将crun从1.18.2降级回1.17版本可以立即解决问题。

2. 启用cgroup v2：修改系统配置启用cgroup v2可以彻底避免此问题，这也是推荐的长期解决方案。

3. 等待修复更新：关注crun项目的后续更新，可能会发布专门针对此问题的修复版本。

技术建议

对于生产环境，建议采取以下措施：

1. 在升级前充分测试新版本容器运行时与现有环境的兼容性。

2. 考虑逐步迁移到cgroup v2，这不仅是解决当前问题的方法，也是未来的技术方向。

3. 保持Kubernetes组件版本与容器运行时版本的匹配，如Kubernetes 1.29.x应搭配CRI-O 1.29.x系列。

4. 监控容器运行时项目的更新公告，及时获取已知问题的修复信息。

总结

这个问题展示了容器生态系统中组件版本间复杂依赖关系的重要性。系统管理员在升级容器运行时或相关组件时，需要全面考虑内核版本、cgroup配置和依赖组件的兼容性。通过理解这类问题的根本原因，可以更好地规划系统升级路径和维护策略，确保容器环境的稳定运行。