Bottlerocket系统cgroup层级配置的技术演进与解决方案

背景介绍

在容器化操作系统Bottlerocket中，系统服务管理器systemd的cgroup层级配置是一个关键的系统参数。cgroup(控制组)是Linux内核提供的一种机制，用于限制、记录和隔离进程组的资源使用。systemd支持两种cgroup层级模式：传统层级(legacy)和统一层级(unified)。

问题发现

在Bottlerocket的开发过程中，团队最初采用了bootconfig方式(一种内核启动配置机制)来动态选择cgroup层级模式。这种方法在新节点启动时工作正常，但在系统原地更新(in-place update)时却遇到了问题。

问题的根源在于：

1. bootconfig数据存储在Bottlerocket的私有分区上，而系统更新过程不会触及这个分区
2. 系统迁移操作在新镜像启动后运行，此时systemd已经完成了cgroup层级的初始化

这导致一个严重后果：原本使用统一层级的系统在更新后会意外回退到传统层级模式。

解决方案的探索

技术团队经过深入分析，提出了以下解决方案：

1. 修改systemd默认行为：将systemd默认配置改为使用统一cgroup层级。这是一个符合长期发展趋势的改动，因为统一层级是cgroupv2的标准模式。

2. 内核命令行参数调整：在rpm2img构建过程中，当未设置统一层级特性标志时，默认内核命令行中添加systemd.unified_cgroup_hierarchy=0参数。这样既保留了新变体切换回传统层级的能力，又解决了更新兼容性问题。

技术细节深入

在进一步测试中，团队发现了一个有趣的技术特性：内核命令行参数分为内核参数和init参数两组。虽然systemd.unified_cgroup_hierarchy是一个init参数，但可以通过以下方式实现灵活控制：

• 内核会将无法识别的参数传递给init进程
• 如果bootconfig中存在同名参数，其优先级会高于传递给init的参数值
• 所有init参数都在内核参数之后处理

这一发现使得即使在较旧的aws-k8s-1.25变体上，也能通过bootconfig动态覆盖内核命令行中的默认设置，实现了更灵活的配置方式。

影响评估

这种解决方案对各个Bottlerocket变体的影响如下：

1. aws-ecs-1：原本就不支持bootconfig，因此不受影响
2. aws-k8s-1.23/1.24：这些版本中kubelet对统一层级的支持尚未达到GA状态，因此影响有限
3. aws-k8s-1.25：只有少数特定场景可能受到影响，实际生产环境中可能很少遇到

技术决策的价值

这一技术演进体现了Bottlerocket团队对系统稳定性和兼容性的高度重视。通过深入理解Linux启动流程和systemd工作机制，团队找到了既满足长期技术方向又保持向后兼容的解决方案。这种对细节的关注和对技术原理的深入理解，正是Bottlerocket能够成为可靠容器操作系统的重要原因。