Mosquitto 1.6.2 发布详解:Will 消息内存安全修复、$SYS 保留消息与构建问题排查

原创2026-09-25 17:45:231,952 阅读
文章标签:物联网消息队列后端网络/通信

Mosquitto 1.6.2 发布详解:Will 消息内存安全修复、$SYS 保留消息与构建问题排查

Mosquitto 1.6.2 是 Eclipse Mosquitto 在 2019 年 4 月 30 日发布的一个安全修复与 bugfix 版本(发布日期与仓库内 ChangeLog.txt 记录一致)。该版本围绕 MQTT v5 协议支持做了一系列关键加固:修复了客户端携带带属性 Will 消息断开时可导致 broker 读取已释放内存的安全问题,同时修复了 check_retain_source 与 $SYS 消息、WITH_TLS=no 构建、客户端 -L URL 解析等多处缺陷。阅读本文后,你将理解这些缺陷的触发条件、底层成因,以及如何在当前仓库源码与测试用例中验证这些修复。

版本定位:安全与稳定性修复

Mosquitto 1.6.2 发布于 1.6 主线(2019-04-17 发布,新增 MQTT v5 支持)后不到两周,属于紧随大版本之后的加固版本。它的定位非常明确:

  • 修复一个可导致 broker 崩溃的安全问题(use-after-free,即访问已释放内存);
  • 修复 broker、客户端库、命令行工具中一批功能与兼容性问题。

本仓库即 Mosquitto 源码仓库,包含 src(broker)、lib(客户端库 libmosquitto)、client(mosquitto_pub / mosquitto_sub / mosquitto_rr)等核心部分,1.6.2 的全部修复点都可以在对应源码与测试中追溯。

安全修复:Will 消息属性导致的内存访问越界(CVE 相关)

漏洞触发条件

1.6.2 修复的核心安全问题表述如下:当客户端使用 MQTT v5 连接,并携带一个带有 MQTT v5 属性的 Will(遗嘱)消息,且 Will 属性列表的第一个属性 是以下四种之一时:

  • content-type
  • correlation-data
  • payload-format-indicator
  • response-topic

那么在该客户端断开连接、broker 触发 Will 发布流程时,broker 会尝试从已释放的内存中读取数据,可能导致崩溃。

源码级成因

这一缺陷直接对应 broker 中 Will 属性的处理逻辑。在 property_broker.c 的 property__process_will() 函数中,broker 遍历 Will 属性列表,将 content-type、correlation-data、payload-format-indicator、response-topic、user-property 这五类属性从原属性链表中摘除并转移到消息结构体上(用于随 PUBLISH 一起转发),而 will-delay-interval、message-expiry-interval 则留在原链表中:

while(p){
    switch(mosquitto_property_identifier(p)){
        case MQTT_PROP_CONTENT_TYPE:
        case MQTT_PROP_CORRELATION_DATA:
        case MQTT_PROP_PAYLOAD_FORMAT_INDICATOR:
        case MQTT_PROP_RESPONSE_TOPIC:
        case MQTT_PROP_USER_PROPERTY:
            /* We save these properties for transmission with the PUBLISH */
            ...
            if(p_prev){
                p_prev->next = mosquitto_property_next(p);
                p = mosquitto_property_next(p_prev);
            }else{
                *props = mosquitto_property_next(p);
                p = *props;
            }
            ...

问题就出在第一个属性即为上述可转发属性的分支:此时 p_prev == NULL,走 *props = mosquitto_property_next(p) 分支,随后 p = *props。在修复前,如果这里的链表摘除逻辑未同步维护好 msg_properties_last 的边界(例如摘下属性后被后续释放流程提前回收),客户端在断开瞬间触发 Will 发送时,broker 会顺着已经被释放的属性链表继续遍历,从而读到已释放内存。Will 的读取与校验流程位于 handle_connect.c 的 will__read(),它在解析 CONNECT 包时调用 property__process_will()(handle_connect.c),而 Will 的最终发送则在客户端断开时通过 context__send_will()(handle_connect.c)完成——这正是漏洞的触发路径。

为什么是这四种属性

content-type、correlation-data、payload-format-indicator、response-topic 是 MQTT v5 中可随 PUBLISH 消息转发的属性(与 user-property 一起被 broker 保存用于转发),而 will-delay-interval、message-expiry-interval 属于 CONNECT 层面控制属性,不被转发。这种"转发属性/控制属性"的拆分处理(见 property__process_will() 的 switch 分支)正是 bug 的高发地带:链表在遍历过程中被原地改写,一旦遇到链表头部即被摘除的情况,极易出现指针错位。

修复验证

修复后,broker 在摘除属性时必须保证:

  • msg_properties_last->next 正确收尾(msg_properties_last->next = NULL;);
  • 原链表 *props 正确指向下一个未处理属性;
  • 被摘除的属性在消息发布完成前保持有效,不会被提前释放。

这一点可以结合 test/broker/data/CONNECT.json 中大量 Will + 属性的字节流测试用例(如 user-property 缺失值、空 key/value 等畸形包)看出:broker 的测试体系覆盖了 Will 属性的各种边界输入,确保处理逻辑对"属性位于链表头部""属性缺失值"等场景都能安全返回错误码 MOSQ_ERR_PROTOCOL 而不产生内存访问错误。

Broker 修复点详解

1. Will 消息不支持 user-property 的问题

除了上述四类属性,1.6.2 还修复了 Will 消息不允许携带 user-property 属性的问题。在修复后的 property__process_will() 中,MQTT_PROP_USER_PROPERTY 与其他四类可转发属性并列处理(见 property_broker.c)。这意味着 MQTT v5 客户端现在可以在 Will 消息中携带自定义的 user-property(键值对),broker 会将其随 Will 的 PUBLISH 一并转发给订阅者。

测试仓库中大量验证了这一行为:在 test/lib/data/CONNECT.json 与 test/broker/data/CONNECT.json 中,可以看到针对 user-property 的单条、多条(2*user-property)、缺失值、空 key、空 value 等全部边界情况的字节级测试包,覆盖 v3.1.1 与 v5 两种协议版本。

2. WITH_TLS=no 构建失败

1.6.2 修复了在关闭 TLS 支持(WITH_TLS=no)时构建失败的问题。构建配置位于 config.mk(Makefile 体系)与 CMakeLists.txt(CMake 体系),相关源码中 TLS 相关代码均以 #ifdef WITH_TLS / #ifdef WITH_WEBSOCKETS 等条件编译指令包裹。一个直接的印证点:客户端库的 -L URL 解析代码中,mqtts:// 与 wss:// 协议分支都用 #ifdef WITH_TLS 保护,未编译 TLS 时直接输出 "TLS support not available" 错误(见 client_shared.c)。1.6.2 修复的正是这类条件编译代码在无 TLS 环境下暴露出的引用缺失问题。

3. check_retain_source 与 $SYS 消息冲突

这是 1.6.2 的一个经典 bug:当 check_retain_source 设置为 true 时,broker 自身产生的消息(例如 $SYS/broker/version)无法发布。

先理解 check_retain_source 的作用。该配置项在 conf.c 中解析,类型为布尔值,结构体字段定义在 mosquitto_broker_internal.h。它的语义是:当订阅者收到一条保留消息时,broker 不仅检查订阅者对主题的读权限,还要追溯检查保留消息原始发布者对主题的写权限(防 ACL 变化后旧保留消息被新订阅者读到)。

问题在于:$SYS/broker/version 这类消息是 broker 自身产生的,其"原始发布者"并不存在(origin == mosq_mo_broker)。修复前的 retain__process() 在 check_retain_source 为 true 时,会对这类本应无条件发布的内部消息也执行原始来源 ACL 检查,导致检查失败、消息被静默丢弃。修复后的逻辑在 retain.c 中明确排除了 broker 自身来源的消息:

/* Check for original source access */
if(db.config->check_retain_source && retained->origin != mosq_mo_broker && retained->data.source_id){
    struct mosquitto retain_ctxt;
    ...
    rc = acl__find_acls(&retain_ctxt);
    ...
    rc = mosquitto_acl_check(&retain_ctxt, ...);

只有 origin != mosq_mo_broker(即消息确实来自客户端)且存在 source_id 时,才会构造临时上下文 retain_ctxt 并做原始来源的 ACL 检查。

仓库中的集成测试 04-retain-check-source.py 完整验证了这一配置项的行为:该测试是 CVE-2018-12546 的回归测试,通过两个客户端配合 check_retain_source true 和 acl_file,先由具备写权限的客户端发布保留消息,再修改 ACL 移除写权限并通过 SIGHUP 重载配置,验证新的订阅者不再收到该保留消息(见测试第 55-62 行"Remove write ability"部分)。

4. $SYS/broker/version 被错误地 60 秒过期

1.6.2 还修复了 $SYS/broker/version 被错误地当作普通保留消息、在 60 秒后过期的问题。先看这条消息的发布源头:在 sys_tree.c 的 sys_tree__init() 中,broker 启动时通过 db__messages_easy_queue(NULL, "$SYS/broker/version", SYS_TREE_QOS, len, buf, 1, 0, NULL) 发布版本信息,其中保留标志为 1,消息过期间隔为 0。

其过期机制位于 retain.c:当 branch->retained->data.expiry_time > 0 && db.now_real_s >= branch->retained->data.expiry_time 时,该保留消息会被删除。问题在于修复前的版本中,$SYS/broker/version 的过期间隔被设置成了 60 秒(可能来源于统一的 message_expiry_interval 处理路径),导致这条本应长期有效的内部消息在 broker 运行 60 秒后被清除,订阅者再也收不到版本信息。修复后,broker 自身产生的消息不再套用客户端保留消息的过期逻辑,$SYS/broker/version 在整个 broker 生命周期内保持可订阅。$SYS 消息的周期更新逻辑则由 sys_interval(默认 10 秒,见 conf.c)驱动,具体更新流程在 sys_tree.c 的 sys_tree__update() 中实现。

库修复:客户端退出时的崩溃(#1246)

libmosquitto 在 1.6.2 中修复了一个崩溃问题:客户端在无法连接到 broker 的情况下退出时,在最终库清理例程中会发生崩溃。

从源码结构看,这一崩溃与连接失败后的资源清理路径有关。在 connect.c 中,mosquitto_connect_bind_v5() 及其同步/异步变体在连接失败时会对入站包(packet__cleanup(&mosq->in_packet))和出站包队列(packet__cleanup_all(mosq))进行清理(见 connect.c 与 connect.c)。如果连接从未成功建立,某些内部结构(如已分配但未初始化的包缓冲、连接状态标志)在最终的 mosquitto_destroy() 清理例程中被二次释放或按错误路径释放,就会触发崩溃。修复的关键在于:确保连接失败的客户端在销毁时,所有资源都只沿一条正确的释放路径走一遍。

客户端用户在 1.6.2 后无需任何代码改动即可受益——这是一个库内部清理路径的修复,升级 libmosquitto 并重新编译链接客户端程序即可。

客户端修复:-L URL 解析(#1248)

命令行客户端工具(mosquitto_pub / mosquitto_sub / mosquitto_rr)在 1.6.2 中修复了 -L(--url)参数的解析问题。

-L 的用法

-L 允许用户以 URL 形式一次性指定用户、密码、主机、端口和主题,格式为:

mqtt(s)://[username[:password]@]host[:port]/topic
ws(s)://[username[:password]@]host[:port]/topic

其中默认端口:mqtt:// 与 ws:// 为 1883,mqtts:// 与 wss:// 为 8883(见 pub_client.c 的帮助文本)。

解析流程与修复点

-L 的解析实现位于 client_shared.c,其流程为:

  1. 识别 URL 协议前缀(mqtt://、mqtts://、ws://、wss://),设置端口与传输方式;TLS 协议在未编译 TLS 时给出明确报错;
  2. 从第一个 / 切出 topic,缺失 topic 时报 "topic missing" 错误;
  3. 解析 @ 前的 username[:password] 部分;
  4. 解析 : 后的端口号;
  5. 将剩余部分作为 host。

修复前的主要问题集中在包含用户信息的 URL 解析上:例如 mqtt://user:pass@host:port/topic 这种同时包含认证信息与显式端口的组合,在切分 @ 与 : 时存在顺序或重复处理导致的解析错误(端口丢失、用户名/密码错位等)。修复后的代码严格按照"先取 topic → 再取 @ 前认证信息 → 再取 : 后端口"的顺序解析,并在每一步给出明确错误提示,且解析完成后将 host 正确复制到堆上(cfg->host = strdup(cfg->host);,见 client_shared.c)。

如何验证与升级

1.6.2 的修复点均有对应的测试覆盖,可以从仓库直接验证:

修复点 验证路径
Will 属性内存安全 test/broker/data/CONNECT.json(Will + 属性边界用例)
user-property Will 支持 test/lib/data/CONNECT.json
check_retain_source test/broker/04-retain-check-source.py 及其 persist 变体 04-retain-check-source-persist.py
$SYS 消息保留 src/sys_tree.c(发布逻辑)与 src/retain.c(过期逻辑)

对于运行 1.6.x 早期版本的部署,建议升级到 1.6.2 或更高版本,尤其是允许 MQTT v5 客户端携带 Will 属性的场景——在 1.6.2 之前,恶意或异常的 v5 客户端可能通过构造"首个属性为 content-type/correlation-data/payload-format-indicator/response-topic 的 Will 消息"触发 broker 读取已释放内存并导致崩溃。同时,如果你启用了 check_retain_source(例如出于 CVE-2018-12546 的加固考虑),1.6.2 保证了你仍然能正常收到 $SYS/broker/version 等 broker 内部保留消息。

小结

Mosquitto 1.6.2 是一个典型的"安全 + 回归修复"版本,其价值体现在三个层面:

  • 安全性:封堵了 MQTT v5 Will 属性处理中的 use-after-free 漏洞,这是 1.6 引入 v5 支持后最重要的内存安全修复之一;
  • 正确性:修复了 check_retain_source 与 $SYS 消息的冲突、$SYS/broker/version 错误过期、Will 不支持 user-property 等协议细节问题,使 MQTT v5 支持更加完整;
  • 可用性:修复了 WITH_TLS=no 构建、libmosquitto 退出崩溃、客户端 -L URL 解析等影响日常使用与二次开发的问题。

对于已经部署或正在评估 Mosquitto 1.6 系列的用户,理解这些修复点有助于判断升级优先级;对于阅读源码的开发者,上述函数与文件路径(property_broker.c、retain.c、sys_tree.c、client_shared.c)则提供了深入追踪协议实现细节的直接入口。

登录后查看全文
mosquitto