ChaosBlade 在容器环境中内存实验的 OOM 规避机制解析

背景介绍

ChaosBlade 是一款强大的混沌工程实验工具，其中的内存实验功能可以模拟内存负载场景。在容器化环境中，当进行内存负载实验时，系统会启动一个高内存消耗的进程（chaos_os）来模拟内存压力。然而，在 Kubernetes 或 OCI 运行时环境中，这个进程经常会被系统过早终止，导致实验无法达到预期效果。

问题根源分析

问题的核心在于 Linux 系统的 OOM Killer 机制和容器环境中的 PID 命名空间隔离特性。在传统物理机环境中，ChaosBlade 通过修改当前进程的 oom_score_adj 值来避免被 OOM Killer 选中。具体实现是通过写入 /proc/[pid]/oom_score_adj 文件，将其值设置为 -1000（最低优先级）。

然而在容器环境中，这种机制存在两个关键问题：

1. PID 命名空间隔离：容器内的进程看到的 /proc 文件系统是隔离的，os.Getpid() 获取的是容器命名空间内的 PID，而非宿主机上的真实 PID。

2. 进程树关系：容器中的进程实际上是宿主机上进程树的子进程，需要递归调整整个进程树中所有相关进程的 OOM 优先级。

技术解决方案

针对这一问题，ChaosBlade 采用了以下改进方案：

1. 使用 choom 工具替代直接文件操作：choom 是 Linux 系统提供的专门用于调整 OOM 优先级的工具，可以更可靠地跨命名空间工作。

2. 递归调整子进程优先级：通过读取 /proc/[pid]/task/[pid]/children 文件获取所有子进程 PID，然后递归地为每个子进程设置 OOM 优先级。

3. 在 CRI 执行器中实现：由于需要获取宿主机上的真实 PID，这一功能在更底层的 CRI 执行器中实现更为合适。

实现细节

具体实现包含三个关键函数：

1. 主调整函数：检测到内存实验且 avoid-being-killed 标志为 true 时，使用 choom 工具调整当前进程优先级。

2. 子进程递归调整函数：通过读取 proc 文件系统获取所有子进程 PID，然后为每个子进程递归调用 choom。

3. 子进程获取函数：解析 /proc/[pid]/task/[pid]/children 文件内容，获取所有子进程 PID 列表。

实际效果

改进后的实现能够确保：

1. 在容器环境中正确识别宿主机上的真实进程 PID。

2. 调整整个进程树中所有相关进程的 OOM 优先级。

3. 使内存负载实验进程能够持续运行，不会被系统过早终止。

4. 同时保持实验进程对其他系统进程的最小影响。

最佳实践建议

对于需要在容器环境中使用 ChaosBlade 内存实验的用户，建议：

1. 确保宿主机系统安装了 choom 工具（通常包含在 util-linux 包中）。

2. 检查容器是否有权限访问 /proc 文件系统。

3. 合理设置内存负载大小，避免完全耗尽系统内存。

4. 监控系统整体内存使用情况，确保不会影响其他关键服务。

这一改进显著提升了 ChaosBlade 在容器化环境中的可靠性和实用性，为分布式系统的混沌工程实践提供了更强大的支持。