Sysbox容器运行时中解决只读根文件系统下cgroup挂载问题

背景与问题描述

在Kubernetes环境中使用Sysbox容器运行时（一种支持容器内运行容器的特殊运行时）时，安全团队通常会要求将容器的根文件系统设置为只读模式。这种配置可以有效防止容器内root用户随意写入文件导致宿主节点磁盘耗尽的风险。

然而，当Sysbox容器以只读根文件系统启动时，会出现一个关键问题：/sys/fs/cgroup目录会被自动挂载为只读模式。这会导致容器内无法运行Docker等容器运行时，因为这些运行时需要可写的cgroup文件系统来管理资源限制。

问题分析

通过分析Sysbox的挂载行为，我们发现：

1. 默认情况下，Sysbox会严格遵循容器的只读设置，将所有挂载点设置为只读
2. /sys文件系统虽然初始为只读，但可以通过mount -o remount,rw /sys重新挂载为可写
3. /sys/fs/cgroup的重新挂载操作会失败，即使设置了allow-immutable-remounts=true参数

深入研究发现，这实际上是Sysbox的一个设计特性与实现细节问题。Sysbox通过sysbox-fs组件管理这些特殊挂载点，其默认行为会阻止关键系统目录的重新挂载操作。

解决方案

在Sysbox 0.6.5及更高版本中，可以通过以下步骤解决此问题：

1. 修改sysbox-mgr配置： 编辑/lib/systemd/system/sysbox-mgr.service文件，在启动参数中添加--relaxed-read-only选项：

   ExecStart=/usr/bin/sysbox-mgr --disable-inner-image-preload --relaxed-read-only
   

2. 重启Sysbox服务：

   systemctl daemon-reload
   systemctl restart sysbox
   

3. 持久化配置（针对Kubernetes环境）： 修改kube-system命名空间下的sysbox-operational-attributes ConfigMap，在SYSBOX_MGR_CONFIG值中添加--relaxed-read-only参数。

实现原理

--relaxed-read-only参数改变了Sysbox对只读容器的处理方式：

1. 允许特定系统目录（如cgroup）在只读容器中被重新挂载为可写
2. 保持其他文件系统的只读属性，不影响整体安全性
3. 为容器内运行容器运行时（如Docker）提供必要的文件系统可写性

安全考量

虽然此方案放松了部分限制，但仍保持了合理的安全边界：

1. 容器根文件系统保持只读，防止任意文件写入
2. 仅放开必要的系统目录写权限
3. 不影响宿主节点的隔离性
4. 仍比使用privileged模式安全得多

最佳实践建议

对于生产环境，建议：

1. 结合Kubernetes的SecurityContext使用，设置readOnlyRootFilesystem: true
2. 定期审计容器内进程对可写系统目录的访问
3. 监控宿主节点的cgroup资源使用情况
4. 保持Sysbox版本更新，获取最新的安全修复

通过这种配置，可以在保证安全性的同时，获得Sysbox提供的容器内运行容器的强大功能。