Apache Mesos 任务健康检查(Health Check)与广义检查(Check)完全指南
Apache Mesos 任务健康检查(Health Check)与广义检查(Check)完全指南
导读
本文基于 Apache Mesos 官方文档 docs/health-checks.md 与仓库源码(include/mesos/mesos.proto、src/checks 等)编写,系统讲解 Mesos 1.2.0 引入的 Mesos 原生健康检查(Health Check)与 1.4.0 引入的广义检查(Check)机制。你将掌握 CheckInfo 与 HealthCheck 两种 protobuf 的定义与区别、Command / HTTP(S) / TCP 三种检查类型的配置方法与完整示例、内置执行器(executor)背后的 checker 库实现原理,以及当前版本的一系列限制与规避手段,从而为你的框架任务配置可靠的存活探针。
一、为什么需要 Mesos 原生任务检查:从“调度器健康检查”说起
在 Mesos 提供原生机制之前,许多框架(如 Marathon、Apache Aurora)都自行实现任务健康检查逻辑:通常由框架调度器向任务所在主机发送一次 HTTP "ping",并安排任务或执行器响应这次 ping。
虽然这种"调度器健康检查"模式非常实用,但它普遍存在以下缺点:
- 每个 Mesos 框架使用各自独立的 API 与协议,互不通用;
- 框架开发者不得不反复实现相同的公共功能;
- 当任务与调度器运行在不同节点上(通常如此)时,来自调度器的健康检查会产生额外网络流量;更糟的是,任务与调度器之间的网络故障会让调度器误判任务不健康;
- 在调度器中实现健康检查可能成为性能瓶颈:当一个框架管理大量任务时,为每个任务执行健康检查会拖垮调度器性能。
Mesos 1.2.0 起引入的 Mesos 原生健康检查设计(Mesos-native check design)正是为了解决上述问题:它为命令、HTTP(S)、TCP 三类健康检查定义了公共 API,并为所有内置执行器提供了参考实现。Mesos 1.4.0 起又引入了广义检查(generalized check),将检查结果的解释权委托给框架——例如可用于可靠跟踪任务内部状态迁移,而无需 Mesos 对其采取任何动作。
注意:1.2.0 之前也存在与健康检查相关的部分功能,但当时被视为实验性功能。
注意:Mesos 使用等价于
waitpid()系统调用的方式监控每个基于进程的任务(包括 Docker 容器)。该技术可以检测并上报进程崩溃,但无法处理"进程仍在运行却已无响应"的情况——这正是健康检查要补充的。
二、Mesos 原生任务检查的设计与数据通路
2.1 检查在 Agent 侧执行,而非调度器
与上述"调度器健康检查"模式相反,Mesos 原生检查运行在 agent 节点上:由执行器而非调度器执行检查。这提升了可扩展性,但也意味着"从外部世界检测网络故障或任务可达性"变成了一个独立关注点。例如,任务运行在一个被网络分区(partitioned)的 agent 上时,它仍然会被检查,若健康检查失败甚至会被终止——而由于网络分区,这一切发生时调度器可能根本收不到通知。
2.2 承载检查定义的 protobuf:CheckInfo 与 HealthCheck
Mesos 的检查与健康检查分别由 CheckInfo 和 HealthCheck 两个 protobuf 消息描述。目前只有任务可以被(健康)检查,任意进程或执行器不可以——即只有 TaskInfo protobuf 才带有可选的 CheckInfo 和 HealthCheck 字段。值得注意,所有内置执行器都把任务映射为一个进程。
2.3 状态更新通路与去重策略
检查与健康检查状态通过任务状态更新(task status update)传递给 Mesos master,再转发给框架调度器,从而获得"至少一次"(at-least-once)的投递保证。为降低性能开销,状态更新仅在满足特定条件时触发——例如检查状态中某字段的值或存在性发生变化。
当内置执行器因检查或健康检查状态变化而发送任务状态更新时,会将 TaskStatus.reason 分别置为 REASON_TASK_CHECK_STATUS_UPDATED 或 REASON_TASK_HEALTH_CHECK_STATUS_UPDATED(见 mesos.proto)。发送此类更新时,执行器会避免遮蔽先前注入的其他数据,例如检查更新会携带上一次已知的健康检查更新。
解释 CheckInfo 与 HealthCheckInfo 并按需执行检查是执行器的职责。所有内置执行器都支持对其任务进行健康检查;除 docker executor 外,其余内置执行器都支持广义检查(详见下文实现细节与限制)。
注意:执行器如何(以及是否)遵循
TaskInfo中的CheckInfo和HealthCheck字段,完全取决于执行器自身,不同实现差异可能很大,取决于TaskInfo所代表的具体实体。本文仅讨论内置执行器的参考实现。自定义执行器可以使用 checker 库(即所有内置执行器依赖的健康检查参考实现)。
2.4 检查(Check)与健康检查(Health Check)的区别
可以用人类读传感器数据的类比来理解:读取空气温度(检查)→ 解读读数判断冷热(解释)→ 根据解读采取行动如涂防晒霜(行动)。
Mesos 健康检查做了上述全部三步(1+2+3):执行检查、判定任务健康与否、在连续失败 consecutive_failures 次后杀掉任务。虽然高效可扩展,但这种策略对某些框架而言过于僵化——它们可能只想运行任意检查、让 Mesos 不做任何解释,例如为了传递任务内部状态迁移并做全局决策。
概念上,健康检查 = 带解释 + 带杀掉策略的检查。 二者在规范与实现上的具体差异如下:
| 维度 | Check(广义检查) | Health Check(健康检查) |
|---|---|---|
| 结果解释 | 内置执行器不(自定义执行器也不应)解释检查结果 | 由执行器解释为健康 / 不健康 |
| 失败概念 | 没有"检查失败"概念,因此 grace_period、consecutive_failures 仅适用于健康检查;检查仍会超时(健康检查将超时视为失败),超时时向调度器发送空结果 |
有失败概念,超时算一次失败 |
| 结果传播 | 把底层检查结果(退出码、HTTP 状态码、TCP 连接结果)传给调度器 | 只传播解释结果:healthy 或 unhealthy(未来可能改变) |
| 更新去重 | 基于检查结果本身去重 | 基于解释结果而非底层检查结果去重 |
以去重为例:假定只有 HTTP 4xx 状态码被视为失败,若第一次 HTTP 检查返回 200、第二次返回 202,则健康检查只在第一次成功之后发送一次状态更新;而广义检查会为这两种情况生成两次状态更新。
注意:Docker executor 当前支持健康检查但不支持广义检查。
注意:protobuf 消息命名与结构上的细微差异是出于向后兼容考虑;未来
HealthCheck消息将基于CheckInfo构建。
三、解剖一个广义检查(Anatomy of a Check)
检查状态通过向任务状态更新中追加 CheckStatusInfo 消息来传达。目前检查状态信息仅附加在 TASK_RUNNING 状态更新中。
内置执行器借助任务状态更新向调度器投递检查更新。为最小化性能开销,仅当 CheckStatusInfo 中任何字段的值或存在性发生变化时,才触发一次与检查相关的任务状态更新。随着 CheckStatusInfo 消息演进,未来可能只针对其中的特定字段去重,以尽可能少发更新。注意自定义执行器可以采用不同策略。
为支持无法访问原始 TaskInfo 规范的第三方工具,内置执行器生成的 TaskStatus.check_status 遵循以下约定:
- 若原始
TaskInfo未指定检查,则TaskStatus.check_status不存在; - 若指定了检查,
TaskStatus.check_status.type指明检查类型; - 若检查结果因故不可用(检查尚未运行或已超时),对应结果字段为空,例如
TaskStatus.check_status.command存在但为空。
注意:强烈建议使用自定义执行器的框架遵循内置执行器的这些原则,以保持一致性。
CheckStatusInfo 的完整字段定义见 mesos.proto:它包含 type(对应 CheckInfo.Type),以及 command.exit_code、http.status_code、tcp.succeeded 三个可选子消息。其中命令退出码在 POSIX 上是 WEXITSTATUS() 对 waitpid() 终止信息的调用结果,在 Windows 上是 GetExitCodeProcess() 的调用结果。
3.1 命令检查(Command Checks)
命令检查由包装在 CheckInfo.Command 消息中的 CommandInfo protobuf 描述;其中 CommandInfo.user 与 CommandInfo.uris 字段会被忽略。命令检查指定一个任意命令用于检查任务的特定条件,检查结果即该命令的退出码。
注意:Docker executor 当前不支持广义检查。对于其他所有任务——包括由 mesos containerizer 启动的 Docker 容器——命令将从任务的挂载命名空间(mount namespace)中执行。
配置示例(C++):
TaskInfo task = [...];
CheckInfo check;
check.set_type(CheckInfo::COMMAND);
check.mutable_command()->mutable_command()->set_value(
"ls /checkfile > /dev/null");
task.mutable_check()->CopyFrom(check);
在源码层面,命令检查最终通过 CheckerProcess::commandCheck()(见 checker_process.cpp)执行:若 shell == true 则通过 shell 启动命令,否则以 exec 方式启动 value + arguments;命令超时后会对该进程树发送 SIGKILL 并上报失败。命令退出码通过 WIFEXITED / WEXITSTATUS 提取并写入 CheckStatusInfo.command.exit_code。
3.2 HTTP 检查(HTTP Checks)
HTTP 检查由带 port 与 path 字段的 CheckInfo.Http protobuf 描述。执行器使用 curl 命令向 http://<host>:port/path 发送一次 GET 请求。注意 <host> 当前不可配置,自动设置为 127.0.0.1(见限制一节),因此被检查任务必须监听回环(loopback)接口,以及它可能监听的任何其他可路由接口。port 字段必须指定任务实际监听的端口,而非映射后的端口。检查结果即响应的 HTTP 状态码。
内置执行器会跟随 HTTP 3xx 重定向;自定义执行器可以采用不同策略。必要时,执行器会在启动 curl 前进入任务的网络命名空间。
注意:当前不支持 HTTPS 检查(但支持 HTTPS 健康检查)。
配置示例(C++):
TaskInfo task = [...];
CheckInfo check;
check.set_type(CheckInfo::HTTP);
check.mutable_http()->set_port(8080);
check.mutable_http()->set_path("/health");
task.mutable_check()->CopyFrom(check);
从源码看,httpCheck() 构造的 curl 参数为(见 checker_process.cpp):-s(静默)、-S(失败时显示错误)、-L(跟随 3xx 重定向)、-k(https 时忽略 SSL 校验)、-w "%{http_code}"(把响应码输出到 stdout)、-o /dev/null(忽略响应体)、-g(关闭 URL globbing)。URL 形如 scheme://127.0.0.1:port/path。curl 退出码非零视为检查失败,成功时解析 stdout 中的 HTTP 状态码写入 CheckStatusInfo.http.status_code。
3.3 TCP 检查(TCP Checks)
TCP 检查由只有一个 port 字段的 CheckInfo.Tcp protobuf 描述,port 必须是任务实际监听的端口而非映射端口。执行器使用 Mesos 自带的 mesos-tcp-connect 命令探测任务:尝试向 <host>:port 建立 TCP 连接。<host> 同样不可配置、固定为 127.0.0.1,因此任务需监听回环接口。检查结果是一个布尔值,表示 TCP 连接是否成功。
必要时,执行器会在启动 mesos-tcp-connect 前进入任务的网络命名空间。
配置示例(C++):
TaskInfo task = [...];
CheckInfo check;
check.set_type(CheckInfo::TCP);
check.mutable_tcp()->set_port(8080);
task.mutable_check()->CopyFrom(check);
mesos-tcp-connect 是一个随 Mesos 一起打包的简单命令行工具(源码见 tcp_connect.cpp),接受 --ip 与 --port 两个必选参数:TCP 三次握手成功则返回 EXIT_SUCCESS,否则返回 EXIT_FAILURE。checker 库中非零退出码一律视为连接失败(无法区分配置错误、系统错误还是连接失败),并把 CheckStatusInfo.tcp.succeeded 置为布尔结果。
3.4 公共选项(Common Options)
CheckInfo protobuf 包含三个公共选项,用于规定执行器如何执行检查(默认值见 mesos.proto):
| 字段 | 默认值 | 含义 |
|---|---|---|
delay_seconds |
15.0 |
等待多长时间后开始检查任务(自任务进入 TASK_RUNNING 起) |
interval_seconds |
10.0 |
两次检查尝试之间的间隔(上次检查结束或超时后开始计时) |
timeout_seconds |
20.0 |
等待单次检查完成的时间;超时后该次检查被中止,并上报一个空的检查更新(即缺少检查结果)。0 表示无限超时 |
注意:由于每次执行检查都会启动一个辅助命令(见限制一节),将
timeout_seconds设得过小(如<5s)可能导致间歇性失败。注意:启动检查并非零开销操作。为避免 agent 负载出现不可预测的尖峰(例如大量任务同时执行检查),应避免把
interval_seconds设为 0。
下面的完整示例定义了一个 Docker 容器任务:内部运行一个监听 8080 端口的简易 HTTP 服务器,并配置 HTTP 检查——自任务启动起每 5 秒执行一次,响应时间需在 1 秒以内:
TaskInfo task = createTask(...);
// Use Netcat to emulate an HTTP server.
const string command =
"nc -lk -p 8080 -e echo -e \"HTTP/1.1 200 OK\r\nContent-Length: 0\r\n\"";
task.mutable_command()->set_value(command)
Image image;
image.set_type(Image::DOCKER);
image.mutable_docker()->set_name("alpine");
ContainerInfo* container = task.mutable_container();
container->set_type(ContainerInfo::MESOS);
container->mutable_mesos()->mutable_image()->CopyFrom(image);
// Set `delay_seconds` here because it takes
// some time to launch Netcat to serve requests.
CheckInfo check;
check.set_type(CheckInfo::HTTP);
check.mutable_http()->set_port(8080);
check.set_delay_seconds(15);
check.set_interval_seconds(5);
check.set_timeout_seconds(1);
task.mutable_check()->CopyFrom(check);
四、解剖一个健康检查(Anatomy of a Health Check)
布尔字段 healthy 用于传达健康状态,在某些场景下可能不够用(见限制一节)。这意味着一个健康检查失败的任务会处于 RUNNING 状态且 healthy == false。目前 healthy 字段仅在 TASK_RUNNING 状态更新中设置(对应 mesos.proto 中 TaskStatus.healthy 的可选字段)。
当任务转为不健康时,会向 Mesos master 发送一条 healthy=false 的任务状态更新,再转发给调度器。执行器预期在连续失败次数达到 HealthCheck protobuf 中 consecutive_failures 字段定义的值后杀死任务。
注意:调度器目前无法取消因健康检查失败而触发的任务杀死,但可以自行发出
killTask命令。这对于模拟处理健康检查失败任务的"全局"策略可能有帮助(见限制一节)。作为替代,调度器可以使用广义检查。
内置执行器会转发所有不健康的状态更新,以及任务转为健康时的第一次健康更新(即任务启动时,或出现一次或多次不健康更新之后)。自定义执行器可能采用不同策略。
4.1 命令健康检查(Command Health Checks)
命令健康检查由 CommandInfo protobuf 描述(CommandInfo.user 与 CommandInfo.uris 会被忽略)。它指定一个任意命令用于验证任务健康。执行器启动命令并检查其退出状态:0 视为成功,其他任何状态视为失败。
注意:如果任务是 docker executor 启动的 Docker 容器,检查命令会被包装进
docker run中执行;对其他所有任务——包括 mesos containerizer 启动的 Docker 容器——命令将从任务的挂载命名空间执行。
配置示例(C++):
TaskInfo task = [...];
HealthCheck healthCheck;
healthCheck.set_type(HealthCheck::COMMAND);
healthCheck.mutable_command()->set_value("ls /checkfile > /dev/null");
task.mutable_health_check()->CopyFrom(healthCheck);
4.2 HTTP(S) 健康检查
HTTP(S) 健康检查由带 scheme、port、path、statuses 字段的 HealthCheck.HTTPCheckInfo protobuf 描述。执行器使用 curl 向 scheme://<host>:port/path 发送 GET 请求。<host> 当前不可配置、固定为 127.0.0.1,故被健康检查的任务必须监听回环接口。scheme 仅支持 "http" 与 "https"。port 必须是任务实际监听的端口而非映射端口。
内置执行器跟随 HTTP 3xx 重定向,并把 200 到 399 之间的状态码视为成功;自定义执行器可以采用不同策略,例如利用 statuses 字段。
注意:对内置执行器而言,设置
HealthCheck.HTTPCheckInfo.statuses不会产生任何效果(该字段语义由自定义执行器自行解释,见 mesos.proto 中的注释)。
必要时,执行器会先进入任务的网络命名空间再启动 curl。
配置示例(C++):
TaskInfo task = [...];
HealthCheck healthCheck;
healthCheck.set_type(HealthCheck::HTTP);
healthCheck.mutable_http()->set_port(8080);
healthCheck.mutable_http()->set_scheme("http");
healthCheck.mutable_http()->set_path("/health");
task.mutable_health_check()->CopyFrom(healthCheck);
从源码看,interpretCheckStatusInfo()(见 health_checker.cpp)把 HTTP 状态码 < 200 或 >= 400 判定为健康检查失败——这与文档中"200–399 视为成功"一致。另外,健康检查在构造 checker 时会把 HealthCheck 的 scheme 透传给底层 HTTP 检查(见 health_checker.cpp),从而支持 https://;同时支持 NetworkInfo.Protocol 为 IPv6 时使用 ::1 作为目标地址(checks_types.hpp)。
4.3 TCP 健康检查
TCP 健康检查由只有一个 port 字段的 HealthCheck.TCPCheckInfo protobuf 描述,port 必须是任务实际监听的端口。执行器使用 mesos-tcp-connect 探测 127.0.0.1:port(<host> 不可配置),连接建立成功即视为健康检查通过。必要时执行器会先进入任务网络命名空间。
配置示例(C++):
TaskInfo task = [...];
HealthCheck healthCheck;
healthCheck.set_type(HealthCheck::TCP);
healthCheck.mutable_tcp()->set_port(8080);
task.mutable_health_check()->CopyFrom(healthCheck);
4.4 公共选项
HealthCheck protobuf 包含以下公共选项(默认值见 mesos.proto),它们既控制执行器如何执行健康检查,也控制如何解释其结果:
| 字段 | 默认值 | 含义 |
|---|---|---|
delay_seconds |
15.0 |
自任务启动(进入 TASK_RUNNING)后等待多久才开始健康检查 |
interval_seconds |
10.0 |
两次健康检查之间的间隔 |
timeout_seconds |
20.0 |
单次健康检查的完成时限;超时则中止并视为一次失败。0 表示无限超时 |
consecutive_failures |
3 |
连续失败多少次后由执行器杀死任务 |
grace_period_seconds |
10.0 |
任务启动后的一段宽限期,期间健康检查失败被忽略;一旦健康检查首次成功,宽限期不再适用。注意该值包含 delay_seconds,即 grace_period_seconds < delay_seconds 设置无效 |
注意:由于每次健康检查都会启动一个辅助命令(见限制一节),
timeout_seconds设得过小(如<5s)可能导致间歇性失败。
完整的 Docker + HTTP 健康检查示例——每 5 秒检查一次,允许启动后前 15 秒内连续失败,单次响应须在 1 秒内完成:
TaskInfo task = createTask(...);
// Use Netcat to emulate an HTTP server.
const string command =
"nc -lk -p 8080 -e echo -e \"HTTP/1.1 200 OK\r\nContent-Length: 0\r\n\"";
task.mutable_command()->set_value(command)
Image image;
image.set_type(Image::DOCKER);
image.mutable_docker()->set_name("alpine");
ContainerInfo* container = task.mutable_container();
container->set_type(ContainerInfo::MESOS);
container->mutable_mesos()->mutable_image()->CopyFrom(image);
// Set `grace_period_seconds` here because it takes
// some time to launch Netcat to serve requests.
HealthCheck healthCheck;
healthCheck.set_type(HealthCheck::HTTP);
healthCheck.mutable_http()->set_port(8080);
healthCheck.set_delay_seconds(0);
healthCheck.set_interval_seconds(5);
healthCheck.set_timeout_seconds(1);
healthCheck.set_grace_period_seconds(15);
task.mutable_health_check()->CopyFrom(healthCheck);
4.5 健康检查的源码级工作流程
在 health_checker.cpp 中可以看到健康检查的完整生命周期:
HealthChecker::create()首先调用common::validation::validateHealthCheck()校验配置(校验规则见 validation.cpp:必须设置type;COMMAND 必须提供command.value;HTTP 的scheme只能是"http"/"https",path必须以/开头;各秒数字段必须非负等)。- 构造时通过
toCheckInfo()把HealthCheck转换为底层的CheckInfo(见 health_checker.cpp),即"健康检查 = 检查 + 解释"这一概念的代码实现。 - 底层
CheckerProcess按delay_seconds调度首次检查,之后按interval_seconds周期执行;每次结果经interpretCheckStatusInfo()解释(命令退出码非 0、HTTP 状态码越界、TCP 连接失败均为失败)。 failure()中:若仍处于宽限期(initializing && (now - startTime) <= grace_period),失败被忽略;否则累计consecutiveFailures,当达到HealthCheck.consecutive_failures时在TaskHealthStatus中置kill_task = true,执行器据此杀死任务。success()中:仅当是首次成功(initializing)或失败后的首次成功时才回调发送 healthy 更新,并清零连续失败计数——这正是文档所说"转发所有不健康更新与首次健康更新"的实现。
五、Under the Hood:checker 库的实现细节
所有内置执行器都依赖位于 src/checks 的 checker 库。执行器为每个任务创建一个 Checker 或 HealthChecker 类实例,并把检查/健康检查定义连同额外参数传入;作为回报,库在任务检查或健康状态变化时通知执行器。对于健康检查,定义在真正执行前会被转换为检查定义,检查结果再按健康检查定义解释。
该库依赖 curl(HTTP(S) 检查)与 mesos-tcp-connect(TCP 检查,Mesos 自带的简易命令)。
5.1 命名空间处理:最不平凡的部分
库最不平凡的工作之一,是在 Linux agent 上进入任务合适的命名空间(mnt、net):
- 命令检查:checker 必须与目标进程处于同一挂载命名空间。对于 docker containerizer 场景,通过
docker exec包装检查命令实现;对于 mesos containerizer 场景,则显式对mnt命名空间调用setns()(详见 containerization in Mesos)。 - HTTP(S) / TCP 检查:最可靠的方案是与目标进程共享同一网络命名空间。docker containerizer 场景下显式对
net命名空间调用setns();mesos containerizer 则保证执行器与其任务处于同一网络命名空间。
在代码层面,checker_process.cpp 通过 cloneWithSetns() 在 fork 出的子进程中先调用 ns::setns(taskPid, ns) 进入指定命名空间再执行检查命令;对嵌套容器(nested container),命令检查改为通过 Agent API(LAUNCH_NESTED_CONTAINER_SESSION / WAIT_NESTED_CONTAINER / REMOVE_NESTED_CONTAINER)委托 agent 在嵌套容器中执行(见 checker_process.cpp)。performCheck() 中的注释把检查执行路径概括为一张 "3 种检查类型(CMD/HTTP/TCP)× 3 种运行时(PLAIN/DOCKER/NESTED)× 2 种 OS(Linux/Windows)" 的实现矩阵(见 checker_process.cpp)。
注意:自定义执行器可以选择使用或不使用该库,请查阅对应框架的文档。
5.2 检查也会消耗任务资源配额
无论执行器为何,所有检查与健康检查都会消耗任务资源分配(resource allocation)中的资源。因此,如果任务配置了 Mesos 原生检查和/或健康检查,建议在任务定义中额外预留一些资源,例如 0.05 CPU 与 32MB 内存。
5.3 Windows 实现差异
在 Windows 上,mesos containerizer 与 docker containerizer 的实现有所不同:
- mesos containerizer 不提供网络或挂载命名空间隔离,因此
curl、mesos-tcp-connect或命令健康检查直接以普通进程形式运行在宿主机上; - docker containerizer 提供网络与挂载隔离:命令健康检查通过
docker exec进入容器命名空间;网络健康检查则由 docker executor 启动一个使用mesos/windows-health-check镜像的容器,并通过docker run的--network=container:<ID>参数进入原容器的网络命名空间(对应 checker_process.cpp 中dockerNetworkRunCommand()的实现)。
六、当前限制与注意事项(Current Limitations and Caveats)
基于官方文档与源码现状,以下限制需要在实际使用中特别留意:
- Docker executor 不支持广义检查(相关 issue:MESOS-7250);其集成代码也印证了这一点——docker/executor.cpp 仅创建
HealthChecker。 - 不支持 HTTPS 检查,但支持 HTTPS 健康检查(MESOS-7356)。
- 短轮询(short-polling)会漏掉部分状态迁移:例如任务状态迁移为
Init [111] → Join [418] → Ready [200]时,检查状态中观察到的 HTTP 状态码可能是111 → 200。 - 由于短轮询特性,状态频繁振荡的检查可能产生大量任务状态更新,引发可扩展性问题。
- 任务转不健康后,会在
HealthCheck.consecutive_failures次失败后被判定杀死。该决定由执行器本地作出,调度器无法介入并以不同方式响应。变通方案是把consecutive_failures设为一个足够大的值,让调度器有时间反应。更彻底的方案是引入处理不健康任务的"全局"策略(MESOS-6171)。 - HTTP(S) 与 TCP 健康检查使用
127.0.0.1作为目标 IP,因此任务如需支持此类检查,除了所需接口外还必须监听回环接口(MESOS-6517)。 - HTTP(S) 健康检查依赖
curl命令:若所需命令不可用,健康检查将被判为失败。 - Windows 上执行 HTTP(S)/TCP Docker 健康检查时,最好预先拉取
mesos/windows-health-check镜像,否则 Docker 会在健康检查期间尝试拉取镜像,而这会计入健康检查超时时间。 - 每个任务只允许一个健康检查(MESOS-5962)。
- 每次健康检查都会启动一个辅助命令(见上文实现细节),引入一定运行时开销(MESOS-6766)。
- 没有健康检查的任务可能与"处于宽限期的有健康检查任务"无法区分,需要引入额外的状态来区分(MESOS-6417)。
- 任务的健康状态无法从外部赋值,例如操作员无法通过某个端点手动设置。
七、测试与验证
仓库提供了完善的测试来验证上述机制,可作为你配置健康检查时的行为参考:
- src/tests/health_check_tests.cpp 覆盖了
HealthCheckProtobufValidation(配置校验)、HealthyTask、HealthStatusChange(状态变更与更新去重)、ConsecutiveFailures(连续失败杀任务)、GracePeriod(宽限期)、CheckCommandTimeout(超时)、HealthyTaskViaHTTP、HealthyTaskViaTCP等用例。其中HealthyTaskViaHTTPWithoutType验证了 HTTP 健康检查类型推断的兼容行为。 - src/tests/check_tests.cpp 则聚焦广义检查相关场景。
- 校验逻辑本身位于 src/common/validation.cpp,
validateHealthCheck与validateCheckInfo会在执行器创建 Checker/HealthChecker 时被调用(见 health_checker.cpp)。
内置执行器与 checker 库的集成点在 src/launcher/default_executor.cpp(default executor 为每个任务分别创建 Checker 与 HealthChecker,将状态变化通过 taskCheckUpdated / taskHealthUpdated 回调转换为任务状态更新)以及 src/launcher/executor.cpp、src/docker/executor.cpp 中,可供自定义执行器参考。
总结
Mesos 原生检查体系把"执行检查、解释结果、采取行动"拆成了可组合的两层:广义检查(CheckInfo + CheckStatusInfo)负责把命令退出码、HTTP 状态码、TCP 连通性原样上报给调度器;健康检查(HealthCheck + TaskStatus.healthy)则在 agent 侧完成解释与连续失败杀任务。配置时请牢记:目标地址固定为回环接口、端口必须是实际监听端口、检查会消耗任务资源配额、timeout_seconds 不宜过小、每任务仅支持一个健康检查。结合 docs/health-checks.md、src/checks 与 src/tests/health_check_tests.cpp 中的实现与测试,你可以为自己的框架选择最合适的检查策略,并在不同容器运行时(mesos/docker containerizer、嵌套容器、Windows)下正确配置探针。