Apache Mesos 1.1.0 版本全解析:任务组、健康检查、分区感知框架与容器能力增强
Apache Mesos 1.1.0 版本全解析:任务组、健康检查、分区感知框架与容器能力增强
Apache Mesos 1.1.0 是该分布式资源管理框架在 2016 年底发布的一个重要里程碑,围绕"任务组(Pod)"、HTTP(S)/TCP 健康检查、资源跨容器共享、Linux capabilities 以及分区感知框架(partition-aware framework)等方向引入了多项实验性能力,并同步清理了一批已弃用接口。本文以官方 1.1.0 发布说明为骨架,结合当前仓库中的 protobuf 定义、master/agent 源码与升级文档,逐项讲解这些特性的设计意图、数据结构、使用方式与升级注意事项,帮助读者在自有集群上安全地评估和采用 1.1.0。
版本概览:下载、发布范围与 CHANGELOG
1.1.0 是继 1.0.0 之后的首个 1.x 特性版本,由 73 位贡献者共同完成。发布说明中的全部特性与缺陷修复清单归档在仓库根目录的 CHANGELOG 中;从 1.0.0 集群滚动升级到 1.1.0 是直截了当的,仅包含少量向后兼容的弃用项,详细升级步骤见 升级指南 的 "Upgrading from 1.0.x to 1.1.x" 一节(对应仓库文件 docs/upgrades.md)。
本版本的核心主题可以概括为:
- 任务组(Pod)能力的初步落地:
LAUNCH_GROUPOffer 操作与新默认 executor; - 健康检查协议扩展:HTTP/HTTPS 与 TCP 两种新检查类型;
- 资源语义扩展:共享资源(shared resources)与持久卷只读挂载;
- 容器安全增强:Linux capabilities 的细粒度控制;
- 框架容错升级:分区感知(PARTITION_AWARE)与新任务状态集合;
- 接口平滑迁移:Java scheduler adapter、v1 Agent API 的嵌套容器调用。
LAUNCH_GROUP:任务组原子交付
1.1.0 最重要的实验性特性是 [MESOS-2449] 支持的 LAUNCH_GROUP Offer 操作:框架可以通过一次操作启动一组任务,Mesos 保证这组任务要么全部、要么全不被投递给 executor。这种"全有或全无"的原子语义正是任务组(后来演化为 Pod 概念)的基础。
在仓库的 include/mesos/mesos.proto 中可以看到该操作的定义:
message Operation {
enum Type {
UNKNOWN = 0;
LAUNCH = 1;
LAUNCH_GROUP = 6;
...
}
// Unlike `Launch` above, all the tasks in a `task_group` are
// atomically delivered to an executor.
message LaunchGroup {
required ExecutorInfo executor = 1;
required TaskGroupInfo task_group = 2;
}
}
与单任务 LAUNCH 不同,LaunchGroup 携带一个 ExecutorInfo 与一个 TaskGroupInfo:整个任务组共享同一个 executor,executor 上设置的 NetworkInfo 会被组内所有任务共享。从 master 源码 src/master/master.cpp 可以看到,LAUNCH_GROUP 与 LAUNCH 一起被归为"启动类"操作统一处理,其任务列表经由 operation.launch_group().task_group().tasks() 取出后继续走授权与资源校验流程;同时它也被明确排除在 offer 操作反馈(operation feedback)之外——在 accept 中设置 id 字段的 LAUNCH_GROUP 会被丢弃,并为每个任务回送 TASK_ERROR(见 src/master/master.cpp)。master 还会确保整个组要么全部授权通过、要么全部拒绝(src/master/master.cpp)。
Executor 侧则通过新的 LAUNCH_GROUP 事件接收整组任务。对应地,include/mesos/v1/mesos.proto 中 v1 Scheduler API 同样定义了 LAUNCH_GROUP 操作枚举,v1/v0 API 保持一致。
健康检查:HTTP/HTTPS 与 TCP
1.1.0 同时引入 HTTP/HTTPS 健康检查([MESOS-2533])与 TCP 健康检查([MESOS-3567]),二者均为实验性。Executors 通过更新后的 HealthCheck protobuf 来声明检查类型。
仓库中的 include/mesos/mesos.proto 完整定义了这三种检查方式:
message HealthCheck {
enum Type {
UNKNOWN = 0;
COMMAND = 1;
HTTP = 2;
TCP = 3;
}
// Describes an HTTP health check. Sends a GET request to
// scheme://<host>:port/path. Note that <host> is not configurable and is
// resolved automatically, in most cases to 127.0.0.1.
message HTTPCheckInfo {
optional NetworkInfo.Protocol protocol = 5 [default = IPv4];
optional string scheme = 3; // 目前支持 "http" 和 "https"
required uint32 port = 1;
optional string path = 2;
repeated uint32 statuses = 4; // 仅对自定义 executor 生效
}
message TCPCheckInfo {
optional NetworkInfo.Protocol protocol = 2 [default = IPv4];
required uint32 port = 1; // 期望开放的端口
}
optional Type type = 1;
optional Command command = 2;
optional Http http = 3;
optional Tcp tcp = 7;
}
公共检查参数
HealthCheck 还携带一组对三种检查方式通用的调参字段,各字段的默认值(见 proto 定义)如下:
| 字段 | 默认值 | 说明 |
|---|---|---|
delay_seconds |
15.0 | 任务进入 TASK_RUNNING(或 TASK_STARTING)后等待多久才开始首次检查 |
interval_seconds |
10.0 | 两次检查之间的间隔(上一次检查结束或超时后再计时) |
timeout_seconds |
20.0 | 单次检查超时时间,0 表示无限;超时后本次检查被中止 |
consecutive_failures |
3 | 连续失败多少次后由 executor 杀掉任务 |
grace_period_seconds |
10.0 | 启动后宽限期内的失败被忽略;一旦首次成功则不再生效(注意它包含 delay_seconds) |
默认 executor 的行为要点
默认的 command executor 与 docker executor 都通过 curl 二进制发送 HTTP(S) 请求,并连接 127.0.0.1。这意味着:
- 任务必须监听所有网络接口(而不能只监听容器内或宿主机上的特定 IP);
- 默认 executor 将 200~399 的返回码视为成功,自定义 executor 可以采用不同的判定策略(如利用
statuses字段); - 在 Linux 上,对于 BRIDGE 和 USER 两种网络模式,docker executor 会进入任务的网络命名空间发起检查。
从源码看,默认 executor 在 src/launcher/default_executor.cpp 中读取 task.health_check() 并构造 checks::HealthChecker;而 src/checks/health_checker.cpp 负责把 HealthCheck::HTTP / HealthCheck::TCP 转换成对应的内部检查类型并执行,HTTP 检查的判定逻辑把返回码小于 400 视为成功(src/checks/health_checker.cpp)。
共享资源:持久卷跨容器共享
[MESOS-3421] 引入实验性的资源共享能力:当前唯一允许共享的资源类型是持久卷。共享资源允许同一 agent 上的多个任务/容器同时使用同一份资源,这与默认的排他分配语义形成对照。
在 include/mesos/mesos.proto 中,Resource 消息新增了 SharedInfo:
// A shared resource, the amount of which is tracked by the Mesos master.
// Note that only persistent volumes can be shared currently.
optional SharedInfo shared = 10;
proto 注释同时强调:不同的共享资源必须可唯一标识——这目前由持久卷必须具有唯一 id 来保证。使用共享资源的前提是框架声明 SHARED_RESOURCES capability(见 include/mesos/mesos.proto)。
值得注意的限制:master 源码在 src/master/master.cpp 中明确写到,当前 LAUNCH_GROUP 操作不会产生资源转换,因为使用 LAUNCH_GROUP 时暂不支持共享资源。
持久卷的只读与读写访问
[MESOS-4324] 允许任务以只读(read-only)或读写(read-write)方式访问持久卷。只读方式可以简化同一 agent 上多个任务对同一卷的共享。
Volume 消息中的挂载模式定义位于 include/mesos/mesos.proto:
message Volume {
enum Mode {
RW = 1; // read-write.
RO = 2; // read-only.
}
...
}
框架在构造任务时,只需在 Volume.mode 中指定 RO 或 RW,即可控制任务对该持久卷的访问权限。
Linux capabilities:容器的细粒度特权控制
[MESOS-5275] 为统一容器化器(unified containerizer)带来实验性的 Linux capabilities 支持。此前"以 root 运行"就意味着拥有 root 的全部特权;现在框架或运维人员可以精确控制容器可持有的 capabilities——例如容器可以以 root 运行,但不具备 CAP_SYS_ADMIN 这类危险特权。
仓库中的 include/mesos/mesos.proto 定义了两个关键消息:
message CapabilityInfo {
enum Capability {
UNKNOWN = 0;
CHOWN = 1000; // 从 1000 起编号,避免 protobuf2 的默认值歧义
DAC_OVERRIDE = 1001;
...
SYS_ADMIN = 1021; // 容器可被剥夺的典型高危 capability
...
}
}
message LinuxInfo {
// 自 1.4.0 起弃用,由 effective_capabilities 取代。
optional CapabilityInfo capability_info = 1 [deprecated = true];
// 允许但不初始授予任务的 capability 集合(bounding set)。
optional CapabilityInfo bounding_capabilities = 2;
// 任务实际执行时持有的 capability 集合。
optional CapabilityInfo effective_capabilities = 3;
...
}
对应能力枚举从 1000 开始编号,是为了规避 Protobuf 2 以枚举第一个值作为默认值的问题,保证向后兼容(见 proto 中 MESOS-4997 的注释)。capabilities 的底层实现位于 src/linux/capabilities.cpp 与 src/linux/capabilities.hpp,负责与 Linux 内核的 capability 系统交互。
分区感知框架与新的任务状态集合
[MESOS-5344] 是本版本另一项影响深远的实验性特性。在 1.1.0 之前,一旦 agent 与 master 之间出现网络分区(partition),当该 agent 重新注册回集群时,其上运行的所有任务都会被终止、agent 被关闭。Mesos 1.1 改变了这一行为:
- 分区 agent 重新注册时不再被关闭;
- 出于向后兼容,默认情况下这类 agent 上的任务仍会被杀掉;
- 框架可通过启用
PARTITION_AWAREcapability 选择退出这种"杀掉"行为,从而自行定义分区任务的处理策略。
PARTITION_AWARE capability 定义在 include/mesos/mesos.proto:
// Indicates that (1) the framework is prepared to handle the
// following TaskStates: TASK_UNREACHABLE, TASK_DROPPED,
// TASK_GONE, TASK_GONE_BY_OPERATOR, and TASK_UNKNOWN, and (2)
// the framework will assume responsibility for managing
// partitioned tasks that reregister with the master.
PARTITION_AWARE = 5;
启用该 capability 会引入一组新的任务状态,它们被设计用来最终取代 TASK_LOST(见 include/mesos/mesos.proto):
| 状态 | 语义 | 是否终态 |
|---|---|---|
TASK_DROPPED |
因瞬时错误未能启动,executor 从未运行;任务描述本身合法,重试可能成功 | 终态 |
TASK_UNREACHABLE |
任务运行在已与 master 失联(如网络分区)的 agent 上,任务可能仍在运行 | 非终态 |
TASK_GONE |
任务已不再运行(agent 被终止、主机重启、容器化器错误或 QoS 抢占等) | 终态 |
TASK_GONE_BY_OPERATOR |
任务运行在 master 无法联系的 agent 上,运维人员断言该 agent 已关闭(若判断正确则为终态,否则任务可能回到 RUNNING) | 视情况 |
TASK_UNKNOWN |
master 对任务无任何记录(从未知情或被 GC 清理) | 视情况 |
值得注意的是,TASK_LOST 在分区感知框架下不会再收到;proto 注释还补充了一个后续版本行为变化:在 Mesos 1.5 之前,启用该 capability 的任务在 agent 重新注册时仍可能被 Mesos 杀掉(除非 master 已故障切换),从 1.5 起无论 master 是否切换都不再杀掉这些任务(见 include/mesos/mesos.proto)。
Java Scheduler Adapter:向 v1 Scheduler API 平滑迁移
[MESOS-5788] 引入实验性的 Java scheduler adapter。该适配器允许框架开发者在旧/新两套 API 实现(driver/scheduler library)之间切换,从而方便地把现有框架逐步迁移到新的 v1 Scheduler API——框架可以继续使用熟悉的 driver 接口,同时享受 v1 API 的能力,而无需一次性重写调度逻辑。
mesos-cni-port-mapper:容器端口经 DNAT 对外暴露
[MESOS-6014] 引入新的 CNI 端口映射插件 mesos-cni-port-mapper。对于 Mesos 容器,借助该插件可以通过宿主机端口上的 DNAT 规则把容器端口暴露出去。这在容器接入隔离的 CNI 网络(如私有 bridge 网络)时尤其有用——当运行在容器中的服务需要被隔离网络之外访问时,端口映射成为必要手段。
插件的实现位于 src/slave/containerizer/mesos/isolators/network/cni/plugins/port_mapper/port_mapper.cpp,其核心逻辑是构造 iptables DNAT 规则([src/slave/containerizer/mesos/isolators/network/cni/plugins/port_mapper/port_mapper.cpp#L275-L280]),例如:
iptables -t nat -A <chain> -p tcp --dport <host_port> -j DNAT --to-destination <container_ip>:<container_port>
插件要求 CNI 配置中提供 chain 字段(指定 DNAT 规则链),并据此安装/清理端口映射规则。相关测试见 src/tests/containerizer/cni_isolator_tests.cpp。
新的默认(任务组)executor 与嵌套容器
弃用项与迁移路径
指标重命名(面向 1.4 移除)
以下指标在 1.1.0 中被弃用,并将在 Mesos 1.4 中移除:
master/slave_shutdowns_scheduledmaster/slave_shutdowns_canceledslave_shutdowns_completed
自 1.1.0 起这些指标恒为零,由一组新指标取代(见 src/master/metrics.cpp):
master/slave_unreachable_scheduledmaster/slave_unreachable_canceledmaster/slave_unreachable_completed
这一变化与分区感知特性一脉相承:语义从"关闭(shutdown)分区 agent"转变为"标记不可达(unreachable)"。
移除 mesos-health-check 二进制(MESOS-5955)
独立的健康检查命令行工具 mesos-health-check 被移除,健康检查能力整体收敛到 HealthCheck protobuf 与 executor 内建的检查器中。
移除 ContainerLogger::recover()(MESOS-6371)
ContainerLogger 接口中的 recover() 方法被移除。原因在于该接口对"有状态实现"的设计并不完整,移除不完整的部分以避免在容器化器中积累技术债。升级指南 docs/upgrades.md 明确提示:任何自定义 ContainerLogger 模块在升级到 1.1.0 时必须同步删除 recover() 的实现。
其他 API 变更
agent 新参数 --runtime_dir(MESOS-6204)
1.1.0 为 agent 新增 --runtime_dir 标志,用于与 --work_dir 区分两类持久化数据:
--work_dir:跨重启持久保存数据(executor 沙箱、failover 检查点状态等),生产环境不应放在/tmp这类会被自动清理的位置,典型值为/var/lib/mesos/agent;--runtime_dir:保存 agent 需要跨崩溃(crash)持久、但**无需跨重启(reboot)**保存的运行时数据,该目录在重启时会被清空。
参数解析逻辑见 src/slave/flags.cpp,其默认值规则为:
- 以 root 运行时默认
/var/run/mesos; - 非 root 运行时,若系统变量目录可写则为其下的
mesos子目录,否则回退到os::temp()/mesos/runtime(即/tmp/mesos/runtime一类路径)。
mesos-agent --runtime_dir=/var/run/mesos --work_dir=/var/lib/mesos/agent
顺带一提,--runtime_dir 在后续版本中成为 agent 域套接字(<runtime_dir>/agent.sock)等运行时构件的默认存放位置(见 src/slave/flags.cpp)。
HTTP handler 失败返回 500 而非 503(MESOS-6220)
master 与 agent 的 HTTP 端点在处理失败时,响应码由 503 Service Unavailable 改为 500 Internal Server Error。依赖端点状态码进行监控或容错判断的客户端需要相应调整。
v1 Agent API 的嵌套容器管理调用(MESOS-6241)
v1 Agent API 新增三个调用用于在 executor 容器内管理嵌套容器:
LAUNCH_NESTED_CONTAINERKILL_NESTED_CONTAINERWAIT_NESTED_CONTAINER
对应枚举在 include/mesos/v1/agent/agent.proto 中定义。这三个调用与新的任务组默认 executor(MESOS-6077)共同构成嵌套容器管理的完整闭环。需要说明的是,当前仓库中的 agent.proto 已将这些枚举标记为 deprecated,并引入了更细粒度的 LAUNCH_NESTED_CONTAINER_SESSION 等演进版本——这属于 1.1.0 之后 API 的后续发展,实际使用请以目标版本为准。
未解决的关键问题(Unresolved Critical Issues)
发布说明同时披露了 1.1.0 仍存在的一组关键问题,涉及框架可靠性、资源安全与容器镜像处理等方向,主要包括:
- 关于 ExecutorInfo 数据大小的滥用(MESOS-3794);
- 分区 agent 重注册后 master 未能清理同 UPID 的旧 agent(MESOS-5396);
- 框架可为任意角色预留资源(MESOS-6142);
- 大 Docker 镜像导致的 "Too many levels of symbolic links" 启动失败(MESOS-6327);
- provisioner 对 whiteout 文件的处理不正确(MESOS-6360);
- 分配了配额的角色可能"操纵"系统获得过量资源(MESOS-6432)等。
对部署 1.1.0 的用户而言,这些是评估时需要注意的已知风险点。
从 1.0.x 升级到 1.1.x 的注意事项
根据 docs/upgrades.md,从 1.0.x 滚动升级到 1.1.x 需要注意两点:
ContainerLogger接口变更:必须移除自定义模块中的recover()方法(MESOS-6371);Allocator::updateAllocation()签名变更:该方法新增了offeredResources参数,用于指示传入的操作所作用的资源集合(MESOS-4431),任何自定义 allocator 模块都需要同步适配。
集群滚动升级的通用步骤为:先重建并安装自定义模块 → 依次升级 master、agent 二进制并重启 → 升级并重启 schedulers → 按需升级 executors(见 docs/upgrades.md)。
总结
Apache Mesos 1.1.0 是一次以"任务组原子交付"和"容器能力精细化"为主线的版本:LAUNCH_GROUP 与新的默认 executor 为后续 Pod 语义铺路,HTTP(S)/TCP 健康检查与 Linux capabilities 提升了容器可观测性与安全粒度,分区感知特性配合新的任务状态集合重新定义了分区场景下的任务生命周期,Java scheduler adapter 则降低了向 v1 Scheduler API 迁移的门槛。版本同时通过指标重命名与接口清理明确了技术演进方向。生产用户升级前应重点评估上述实验性特性的稳定性边界、ContainerLogger/allocator 的接口适配,以及文档中列出的未解决关键问题。