Apache Mesos 0.28.2 补丁版本发布:关键修复详解与升级指南
Apache Mesos 0.28.2 补丁版本发布:关键修复详解与升级指南
Apache Mesos 0.28.2 是 0.28 系列的一个重要补丁版本(bug fix release),在 0.28.1 基础上集中修复了 Linux perf 性能数据解析、容器销毁与卷供给竞态、Sandbox 挂载命名空间等一系列稳定性问题。本文以官方发布公告为骨架,结合当前仓库源码(CHANGELOG、src/linux/perf.cpp、src/slave/containerizer/mesos/containerizer.cpp 等)逐项拆解这些修复的成因与实现细节,帮助计划部署或正在运行 0.28.x 集群的运维与框架开发者理解该版本的价值并安全完成升级。
版本定位:为什么官方强烈推荐 0.28.2
0.28.0 是 0.28 系列的正式发布版本,引入了多项重要能力,包括:
- 支持
cgroups/net_cls隔离器,为容器提供网络性能隔离与分段(参见 docs/isolators/cgroups-net-cls.md); - 标量资源值改为三位小数的定点精度计算(docs/upgrades.md 中 "Upgrading from 0.27.x to 0.28.x" 一节对此有专门说明);
- 预留资源(reserved resources)可附带 labels 元数据;
- 实验性支持容器镜像(Unified Containerizer / Mesos containerizer 直接启动 Docker/Appc 镜像,无需 docker daemon 或 rkt);
- 实验性支持 v1 Executor HTTP API(详见 docs/executor-http-api.md)。
0.28.1 与 0.28.2 均为在其之上的稳定化补丁版本。0.28.2 共包含 9 项变更:8 个 Bug 修复与 1 项改进,覆盖了 Linux 性能监控、容器生命周期管理、环境变量注入、资源调度器内存管理等关键路径。官方在发布公告中明确建议:如果计划使用 Mesos 0.28,应直接采用 0.28.2,而非更早的 0.28.0/0.28.1。
核心修复逐项拆解
以下按发布公告中的 JIRA 编号顺序,结合当前仓库源码分析每一项修复的背景与实现位置。
1. Linux perf 解析逻辑兼容带 backport 的发行版(MESOS-4705)
问题:部分 Linux 发行版会把较新内核版本的 perf 工具功能 backport 到旧内核上,导致 perf stat 输出的 CSV 格式与内核版本并不严格对应,Mesos 原先基于内核版本推断输出格式的解析逻辑可能失效。
修复:perf 解析逻辑改为不依赖内核版本,直接按输出 token 数量动态识别多种 CSV 格式。在 src/linux/perf.cpp 的 Sample::parse 中可以看到清晰的注释与分支:
value,event,cgroup(3 个字段,自 Linux v2.6.39 起);value,unit,event,cgroup(4 个字段,自 Linux v3.14 起);value,unit,event,cgroup,running,measurement-ratio(6 个字段,自 Linux v4.1 起);- 额外带 aggregate 值的 8 字段格式(自 Linux v4.6 起)。
同时,版本探测函数 parseVersion(src/linux/perf.hpp 中声明为 Try<Version> parseVersion(const std::string& output),供测试直接调用)只取版本号前两个组件,因为 "perf(1) always has a version with least 2 components";supported() 则要求 perf 版本不低于 2.6.39(该版本才支持 cgroup 采样与 CSV 格式化)。perf::version() 通过 internal::Perf 执行 perf --version 并设有 5 秒超时,超时或失败一律按不支持处理。
2. DockerContainerizer 持久卷支持依赖宿主机的挂载传播配置(MESOS-5239)
问题:Docker 容器化(DockerContainerizer,即旧版基于 docker daemon 的容器化方式)对持久卷(persistent volume)的支持,隐式假设宿主机上已经配置了正确的挂载传播(mount propagation)设置;一旦宿主机默认传播行为不符合预期,卷的可见性就会出现问题。
修复:该修复使持久卷支持不再依赖宿主机默认的挂载传播配置。在 src/slave/containerizer/docker.cpp 中,容器化器负责把 sandbox 目录以符号链接(symlink)方式挂载进容器;修复后相关挂载流程显式处理传播语义,避免依赖宿主环境默认值。这属于 Docker 容器化路径的健壮性修正,与 Mesos containerizer(Unified Containerizer)侧对 sandbox 挂载命名空间的治理(见下文 MESOS-5307)形成互补。
3. 未完成 prepare 的 Isolator 不应执行 cleanup(MESOS-5253)
问题:当容器处于 PREPARING(隔离器准备中)状态时被销毁,destroy 流程可能先于 prepare 调用某个隔离器的 cleanup,形成状态倒置的竞态。
修复:在 src/slave/containerizer/mesos/containerizer.cpp 的 _destroy 状态机中,若检测到 previousState == PREPARING,会先 await 所有隔离器的 prepare 结果(container->launchInfos),等准备完成后才进入真正的销毁清理阶段;代码注释明确说明这是 "to prevent a race that the destroy method calls the 'cleanup' method of an isolator before the 'prepare' method is called"。与之对应,src/slave/containerizer/mesos/containerizer.hpp 中为容器记录 launchInfos 与 isolation 两个 future,分别用于保证 cleanup 在所有 prepare、所有 isolate 完成之后才开始。ISOLATING 状态同理,需等隔离完成后才销毁。
4. 卷供给(provisioning)期间销毁容器引发竞态(MESOS-5282)
问题:容器镜像卷供给(provisioning volume images)过程中直接销毁容器,可能与正在进行的供给流程产生竞态,导致目录泄漏或状态不一致。该问题与 0.28.1 中修复的 MESOS-4985(销毁供给中的容器可能泄漏已供给目录)属于同类场景。
修复:容器结构体专门保存 provisioning future(见 src/slave/containerizer/mesos/containerizer.hpp 的注释:"We keep track of the future for 'provisioner->provision' so that we can discard the provisioning for the container which is destroyed when it is being provisioned")。销毁路径中会先 container->provisioning.discard() 丢弃未完成的供给任务,再继续执行 _____destroy(见 containerizer.cpp 中 VLOG(1) << "Discarding the provisioning for container ..." 的 _destroy 分支)。相关测试覆盖可见于 src/tests/containerizer/provisioner_docker_tests.cpp(如 "destroy ... directory still survives" 场景)与 src/tests/containerizer/provisioner_appc_tests.cpp。
5. 改变 rootfs 的命令任务的 MESOS_SANDBOX 环境变量(MESOS-5312)
问题:对于通过命令执行器(command executor)启动、且指定了 rootfs(如 Docker/Appc 镜像)的任务,MESOS_SANDBOX 环境变量指向宿主机命名空间中的路径还是容器内挂载命名空间中的路径如果不一致,任务内部访问 sandbox 就会出现路径错误。
修复:Mesos containerizer 在构造容器环境时显式设置 MESOS_SANDBOX,其取值遵循"容器挂载命名空间中的路径"约定。在 src/slave/containerizer/mesos/containerizer.cpp 中可以看到 variable->set_name("MESOS_SANDBOX") 的注入逻辑,并注明 DEBUG 容器会继承父容器的 MESOS_SANDBOX;containerizer.hpp 则记录了该变量与宿主机命名空间路径(directory 字段)的对应关系。测试方面,src/tests/containerizer/linux_filesystem_isolator_tests.cpp 中通过 shell 断言 $MESOS_SANDBOX 与预期路径一致且目录真实存在;src/tests/containerizer/nested_mesos_containerizer_tests.cpp 验证了嵌套 DEBUG 容器与父容器共享同一 MESOS_SANDBOX。此外 src/docker/docker.cpp 中 Docker 容器化路径同样把 MESOS_SANDBOX 设为映射目录(options.env["MESOS_SANDBOX"] = mappedDirectory)。
6. 解压(unzip)应强制覆盖已存在文件(MESOS-4885)
问题:fetcher 使用解压工具把归档资源解压到 sandbox 时,若目标路径已存在同名文件,默认的解压行为可能因"文件已存在"而失败或产生非预期结果。
修复:fetcher 的解压流程保证强制覆盖。在 src/launcher/fetcher.cpp 的 extract 函数中,归档类型优先交给 libarchive 的 archiver::extract 处理;对于 libarchive 无法处理的裸文件(bare files),则回退到 gunzip -d -c 管道解压,且均以覆盖写入语义为目标。该修复避免了 fetcher 在重复拉取或缓存命中场景下的解压失败,属于 sandbox 资源获取链路的稳定性修正。
7. SchedulerProcess.declineOffer 内存泄漏(MESOS-5449)
问题:调度器驱动侧(scheduler driver)在处理 declineOffer(拒绝资源 Offer)时存在内存泄漏,长时间运行且频繁拒绝 Offer 的框架会持续累积无引用对象。
修复:修复位于 scheduler 驱动的 SchedulerProcess::declineOffer。在 src/sched/sched.cpp 的实现中,declineOffer 会先从 savedOffers 中移除对应 OfferId("Remove the offer. We do not need to save any PIDs when declining an offer"),再构造 Call::DECLINE 请求发送给 master,确保被拒绝 Offer 的本地引用被及时释放;同时保留了对未知 Offer 的告警(LOG(WARNING) << "Attempting to decline an unknown offer")。主流程入口 MesosSchedulerDriver::declineOffer 通过 dispatch 异步委托给 SchedulerProcess 执行。对框架开发者而言,该修复意味着可以放心高频调用 declineOffer(配合 Filters 设置拒绝冷却时间)而无需担心驱动侧内存持续增长。
8. 杀死排队任务后 command executor 永不终止(MESOS-5380)
问题:任务在 agent 侧仍处于排队(queued)状态、尚未投递给 command executor 时被杀死,可能导致对应 command executor 永远收不到退出信号,进程残留。
修复:在 src/slave/slave.cpp 的任务投递逻辑中,建立了明确的处理不变量:向 executor 投递排队任务前会逐任务检查其是否仍留在 executor->queuedTasks 中,已被杀死的任务直接跳过并告警("Ignoring sending queued task ... because the task has been killed");任务组(task group)则保证"要么整组仍在排队、要么因组内某任务被杀死而整组移除"(allQueued/allRemoved 判定)。代码注释明确指出:"Otherwise, the executor state would have been synchronously transitioned to TERMINATING when the queued tasks were killed",即排队任务被杀死时 executor 状态会被同步推进到 TERMINATING,从而保证 executor 能正常退出、不会无限期悬挂。修复后排队任务与执行器生命周期的联动趋于一致。
9. Sandbox 挂载不应进入宿主机挂载命名空间(MESOS-5307,改进项)
问题(改进方向):Mesos containerizer 在容器指定 rootfs 时会把 sandbox bind mount 进容器,但这些挂载点不应反向传播(propagate)到宿主机的挂载命名空间,否则会污染宿主机挂载视图并带来清理与安全方面的隐患。
修复:这是 0.28.2 中唯一被标记为 Improvement 的变更。在 src/slave/containerizer/mesos/isolators/filesystem/linux.cpp 中,sandbox 的 bind mount 逻辑("Bind mount the sandbox if the container specifies a rootfs")与清理时的反序卸载流程相互配合:先卸载容器内挂载,再卸载 sandbox/work 目录挂载,并处理 MS_SLAVE 传播关系;代码注释强调"cleanup operations (i.e., unmount) on the host mount namespace"的注意事项。在 src/slave/containerizer/mesos/launch.cpp 中,挂载执行时通过显式设置传播标志,确保 "the mount won't be propagated to the host mount namespace",避免容器内挂载泄漏到宿主机。这也与 src/slave/containerizer/docker.cpp 中对 sandbox symlink 挂载点清理的同类考虑一致。
升级指南:从 0.28.1 滚动升级到 0.28.2
0.28.2 是纯 Bug 修复版本,未引入 API 变更、flag 变更或模块接口变更,因此从 0.28.1 集群滚动升级(rolling upgrade)是直接且安全的:可以逐台替换 master 与 agent 二进制,新旧节点在升级过程中可以正常混跑。
完整的升级注意事项请参考 docs/upgrades.md,其中对 0.28.x 系列有两个需要留意的既有约束(并非 0.28.2 新增,而是升级到 0.28 系列时就要注意):
- 资源精度:0.28 起标量资源只支持最多三位小数精度(如
"0.001" CPUs),更细粒度的小数会被舍入;资源运算内部改为定点数格式(参见 CHANGELOG 中 0.28.0 部分对 MESOS-4687 的说明)。自行做资源数学运算的框架可能观察到舍入误差差异。 - 授权 ACL 对象变更:
ReserveResources与CreateVolume两条 ACL 的对象从principal改为roles,默认情况下框架或运维可为任意角色预留资源/创建卷;如需收紧,可在 master 侧按 docs/authorization.md 配置 ACL。
获取方式与反馈渠道
0.28.2 的完整修复清单可查阅仓库根目录的 CHANGELOG(对应 "Release Notes - Mesos - Version 0.28.2" 小节),其中将各问题按 Bug / Improvement 分类列出。官方提供源码包与二进制包两种获取途径,构建方式可参考 docs/building.md;若在试用中发现新问题,建议通过官方用户邮件列表与 IRC 反馈(社区入口参见 site/source/community.html.md)。
致谢
0.28.2 由 10 位贡献者共同完成:Fan Du、Tomasz Janiszewski、Vinod Kone、Shuai Lin、Ben Mahler、Dario Rexin、Silas Snider、Gilbert Song、Yongqiao Wang、Jie Yu。
小结
Apache Mesos 0.28.2 虽然不是大版本,但其修复清单精准地覆盖了 0.28 系列在真实生产环境中最容易踩到的几类问题:perf 输出格式的多发行版兼容性、容器销毁与供给/隔离状态机之间的竞态、MESOS_SANDBOX 在 rootfs 场景下的路径语义、调度器驱动的内存泄漏,以及挂载传播对宿主机命名空间的污染。对于已经运行 0.28.x 或准备升级到 0.28 系列的集群,0.28.2 是官方明确推荐的版本;升级路径简单(0.28.1 → 0.28.2 滚动升级即可),风险主要来自 0.28 系列既有的资源精度与 ACL 语义变化,建议升级前对照 docs/upgrades.md 完成评估。