WuKongIM 消息编辑(Message Edit)三节点有界压测深度解析:从突变持久化到通知收敛

原创2026-10-13 12:50:221,997 阅读
文章标签:即时通讯后端WebSocket微服务高可用前端可观测性

WuKongIM 消息编辑(Message Edit)三节点有界压测深度解析:从突变持久化到通知收敛

本文以 WuKongIM 仓库内的 docs/reports/2026-09-15-message-edit-pressure.md 验证报告为主线,结合 internal/runtime/messageupdates、internal/usecase/message、internal/app 与 test/e2e 的源码实现,完整解读消息编辑功能在真实三节点集群下的正确性、并发收敛、大群公平性与延迟表现,并给出可直接复现的压测命令。读者读完可掌握:消息编辑的底层读写模型、就绪队列与耐久修复的调度边界、队列溢出的诊断方法,以及如何区分"已完成的有限验证"与"尚未获得的生产容量资格"。

报告背景:这是一次"有界验证"而非容量取证

2026-09-15 的记录属于 bounded three-node validation(有界三节点验证):它合并了 SDK 与 Server 端消息编辑能力的 CI 验证,全程未购买云资源、未发布 SDK/Server 版本。整篇报告反复强调同一件事——这些实验是有限正确性与延迟实验,不是生产容量认证:

  • Server 提交 111bdee669e402f2c6dd0c285fbea315ea77007d(合并 #960),Server 二进制 SHA-256 为 b47105463afb2bed4d52c4006b333b6361e7ff47b99103a08787fdbe52bc43dc;
  • SDK 提交 a038f874230a6fe5201c2faae61b6f2b20cb9ebc(合并 #28),重建后的 UMD 产物 SHA-256 为 df3c2d8fa30d4113ac328f5b0969a1ea26445ed3622f535d33b184e61b784599;
  • 同一台 Darwin/ARM64 主机,10 个逻辑 CPU,Go 1.25.11、Node 22.12.0,工作负载串行执行;
  • 进程场景每 Server 使用 GOMAXPROCS=2;app 集成 fixture 三个节点与驱动共用一个 Go 进程,GOMAXPROCS=6;
  • 所有集群均为 256 个 Hash Slot、3 副本;恢复场景使用 12 个物理 Slot,压测场景使用 8 个。

在进入具体实验前,务必先看清各 fixture 的边界(这是报告与原文一致强调的):

  • app fixture 在同一 Go 进程内运行真实的 Raft、存储、权威订阅者分页、Presence 查询与通知推进,HTTP handler 延迟不含网络,CPU/内存包含测试驱动;
  • SDK 实验使用 3 个真实 Server 进程、32 个隔离的 SDK VM 客户端、真实 WebSocket、token 认证与示例 BFF,不含浏览器渲染时间;
  • 10 万成员群 fixture 的成员均为离线成员,不代表 10 万在线 socket;payload 是微型合成文本,不是大 payload 容量组合。

配套的原始 JSON 收据位于 2026-09-15-message-edit-pressure.json,其中包含 source/context 摘要,并区分"完成验证"与"预算失败"。

一、消息编辑的底层模型:不可变日志 + 独立替换存储

要理解后续所有压测现象,先看消息编辑在 WuKongIM 中的存储模型。核心实现在 internal/usecase/message/update.go,注释开宗明义:

UpdateStore persists latest replacements independently from immutable logs.

即:消息的原始身份与内容日志保持不可变,编辑产生的最新替换内容独立持久化。UpdateMessageCommand 是后端入口的命令结构,携带登录 UID、频道、消息 ID、ExpectedVersion(用户实际看到的版本)、ExpectedContentEpoch(restore 之后用内容纪元做围栏)、RequestID 与完整 Payload。

编辑提交的核心调用链如下(UpdateMessage,update.go):

  1. 入参校验:频道 ID、类型、消息 ID、RequestID(≤128 字符)、Payload(非空且 ≤ metadb.MaxMessageUpdatePayload)任一不合法即返回 ErrUpdateInvalid;命令频道返回 ErrNotUpdatable;
  2. 单人频道归一化:ChannelType == 1 时通过 runtimechannelid.NormalizePersonChannel 归一化;
  3. 内容纪元校验:ExpectedContentEpoch 与当前 epoch 不一致返回 content_epoch_conflict,用于围栏 restore 之前发起的编辑;
  4. 读取不可变原消息:通过 lookupReader.ReadCommittedMessages 只读一条已提交原消息,校验 MessageID/MessageSeq/ChannelID/ChannelType;SyncOnce、NoPersist 或 legacy stream 消息不可编辑;
  5. 幂等摘要:对 {Version, Payload} 做 SHA-256 摘要(排除生成的时间戳与路由守卫),连同 RequestID、ExpectedChannelEpoch、ExpectedRouteGeneration 一起提交 CAS 突变 ApplyMessageUpdate;
  6. 提交后通知:成功后调用 a.updateCommitted(metadb.MessageUpdate{...}),把无 body 的提交标识交给通知调度层——这正是后面消息更新 Worker 的入口。

从源码结构看,UpdateMessageResult 特意保留"幂等重试时即使后续编辑已成功,也返回最初提交结果"的语义,这解释了恢复场景中 864 次幂等重试全部收敛的现象。

二、通知调度层:有界的就绪队列与耐久修复循环

编辑提交后,通知不再逐消息开 goroutine,而是进入 internal/runtime/messageupdates 包内单一有界修复循环。该包的设计约束(见 FLOW.md)可概括为:没有 HTTP、gateway 帧、具体集群构造或消息体存储;组合根负责启停与 join。

1. 就绪队列(ready queue):1,024 项合并队列

readyCapacity = 1024(ready.go)。NotifyCommitted 不等待存储或投递,队列只保留提交标识(channel/type/message_id/version),不保留 payload 或订阅者列表,且仅合并同一条消息的更新(新版本覆盖旧版本)。

队列溢出的设计语义非常关键:溢出、Worker 停止、超大身份都会回退到耐久扫描(durable scan),即"就绪队列只是加速提示,耐久扫描才是恢复的主权"(见 worker.go 的注释)。

// readyEntry keeps one scheduling-budget retry with the queued identity/version.
// It retains no delivery state; durable progress remains authoritative.
type readyEntry struct {
	metadb.MessageUpdate
	budgetRetried bool
}

2. 调度预算(scheduling budget)

一次 ready 唤醒在 1 秒 deadline 内最多执行 8 次访问、4 个订阅者页,同时最多重叠 4 个独立身份(四个 lane 先 join 再取下一批,保证同一身份不会并发分派两次)。dispatchReady 的实现(ready.go)用 context.WithTimeout(ctx, time.Second) 圈定一轮 wave:

  • 每次调用 DispatchMessageUpdate 在返回时捕获是否因共享 1 秒 deadline 过期而失败(budgetExpired);
  • 因 wave 尾部过期且该身份尚未消耗预算重试机会时,保留一次 ready 重试;依赖失败与重复过期则走耐久修复;
  • 这解释了报告中"把 blocked attempts 从所有节点的 distinct commits 中扣除,仍能证明溢出"的保守算法。

3. 耐久修复循环(worker)

Worker.run(worker.go)以 200ms tick 轮询,修复轮次有 4 秒 turn deadline,按 Hash Slot 选择器轮转:每轮最多选 4 个 slot、每 slot 最多 8 个 pending/cleanup 候选、每轮最多分派 32 个订阅者页、每个目标 16 页后让出。即使只拥有 2 个 Slot 也保留冷 slot 的后台容量,避免热 slot 长期遮蔽冷 slot 的清理/通知工作。

值得注意的失败语义:失败工作保持耐久并随后续轮次重试;过期版本的任务不能清掉更新的通知工作;错误计数每分钟至多上报一次,且 label 中不含消息内容或身份。

4. 源码级验证

ready_integration_test.go 中有直接对应的测试:

  • TestReadyWaveOverlapsBoundedIdentityDispatch 验证 8 个已提交身份同时入队时,分派 lane 恰好为 4、Worker 保持单例;
  • TestReadyWaveDeadlinePreservesOneRetryWithoutDiscovery 验证 wave deadline 只保留一次预算重试、不会把已知工作丢弃进冷 slot 扫描;
  • TestContinuousReadyWorkDoesNotStarveRepair 验证持续就绪流量不会饿死耐久扫描;
  • TestReadyWorkerWakeStopRestartAndRepair 验证重启后易失队列清空、只有耐久修复能重新发现目标——与报告中"重启保留内容纪元、未读计数与会话顺序"的结论一一对应。

三、实验一:突发 Leader 终止与恢复

该场景验证的是进程被 SIGKILL 后,频道权威(Channel authority)与物理 Slot 权威从节点 3 迁移到节点 1,期间所有读写者持续推进。整体 E2E 在 293.24 秒内通过(TestMessageUpdateConcurrentRecovery,见 message_updates_test.go),覆盖:

  • 历史读取、精确查找、两个会话接口、增量分页、旧幂等重试,最终排空到精确最终版本;
  • 重启后内容纪元、未读计数与会话顺序保持不变。

关键数字:

指标 数值
成功编辑 2,575
成功幂等重试 864
成功读取(历史/精确/列表/legacy sync/delta) 4,445
失败/恢复期显式计数的瞬时尝试 502(健康窗口内为 0)
最终消息版本收敛 12/12(版本 215–218),最终空 delta 已验证

该场景不断言崩溃期间的在线通知投递。测试代码中的 wireUint 同时兼容 legacy 数字身份与新的十进制字符串 DTO;读写校验包含内容纪元头 X-WK-Content-Epoch,任何一次 restore 导致 epoch 变化都会直接报错。

四、实验二:SDK 并发编辑(32 个在线客户端,512 次编辑)

SDK 实验由 message-edit-sdk-pressure.cjs 驱动:3 个真实 Server 进程 + 32 个隔离 SDK VM 客户端(16 对),16 个频道并发,每个频道一个编辑者 + 一个连接到不同节点的接收者;每对完成 32 次编辑,并等待接收者真实收到 message-update 监听事件后才进行下一次编辑(闭合回路,非固定 offered-QPS 饱和测试)。全部 512 个版本匹配、最终会话预览匹配版本 32、未读/顺序不变、无 SDK 后台错误。

第一次(无 profile)20.02 秒测量窗口:

测量项 p50 p95 p99 最大
BFF 编辑 HTTP 往返 84.5 ms 182.0 ms 263.7 ms 288.4 ms
编辑调用 → 接收端 SDK 缓存更新 499.9 ms 753.4 ms 850.5 ms 7,899.9 ms

报告明确要求保留最大值,p99 不得掩盖它。HTTP 计时包含 BFF 的作者/时间策略精确查找;可见延迟包含 SDK 合并、EVENT 投递、增量读取与 merge。该窗口内 Server CPU 合计增加约 1.76/1.76/1.83 CPU 秒(约 0.27 核),采样单进程峰值 RSS 约 173–174 MiB——但不证明稳态内存上界。

第二次未 profile 运行在 18.76 秒内完成 512 次编辑:BFF p95/p99 为 199.9/254.3 ms;SDK 可见 p95/p99 为 775.0/912.2 ms,最大 1,069.9 ms。新增的有界 EVENT/feed 追踪捕获未发现超过两秒的样本;首个 7.9 秒样本没有相位追踪且未复现,根因保持未解决——报告特意警告"不要把这第二次运行描述为修复"。

五、实验三:队列溢出诊断(1,280 条 distinct 编辑)

这是整份报告最有诊断价值的部分:把通知分派全部门控(blocked)后,通过一个 API 节点提交 1,280 条 distinct 原文的编辑,持久化状态与正常编辑提交保持活跃。所有 1,280 条 pending 行在释放前就已存在。由于快速弹出必然是一次分派尝试,将三个节点上所有 blocked 尝试从 distinct commits 中扣除,再减去源队列 1,024 容量,即可保守证明溢出。释放后的分派调用使用生产 usecase 与存储端口。

Attempt 1(未 profile,失败)

未能在原始 90 秒排空预算内完成,至少证明 237 个溢出身份。fixture 未记录最终剩余数,因此仅凭该失败不能证明工作永久丢失;收据保持 complete:false,且不被后续成功的诊断替代。

Attempt 1 HTTP handler 计时 p50 p95 p99 样本数
16 频道 × 64 编辑 215.5 ms 303.6 ms 339.5 ms 1,024
1 频道 × 1,280 distinct 编辑(分派被门控) 380.7 ms 424.7 ms 439.7 ms 1,280

Attempt 2(有界观测 180 秒,成功)

增加了有界 backlog 采样与分派计数、捕获 CPU profile,并把观测延长到 180 秒,同时单独记录"原始 90 秒预算是否达标"。这不改变生产队列上限或调度预算;重复的权威 pending 读取计入诊断负载。

Attempt 2 至少证明 230 个溢出身份,随后在 105.19 秒内排空全部 1,280 条 pending 行,仍然未命中 90 秒预算。Backlog 曲线:25.7 秒降到 1,023 → 56.6 秒降到 625 → 87.5 秒降到 225 → 105.2 秒归零。这在本轮运行中区分了"缓慢恢复"与"永久停滞队列",但不排除观测者引发的竞争。

整个 profile 运行中,真实分派调用平均约 52 ms(含健康/诊断相位、重复工作与 9 次分派失败);CPU profile 由 runtime/system 调用主导,未发现明确的 message-body CPU 热点,也未隔离 Raft/存储等待延迟。app 进程加驱动在 361.63 秒内使用 160.09 CPU 秒、峰值 RSS 636 MiB(含其后未完成的 10 万成员创建尝试)。

六、实验四:大收件人公平性与建群限制

Attempt 2 通过完整 /channel 创建 10 万成员频道,耗尽了 fixture 六分钟整体 context,返回 HTTP 400 context deadline exceeded,通知公平性部分从未开始。报告明确区分:这是成员建群供应的单独限制,不是编辑通知分页失败的证明,两个 complete:false 收据与成功的排空证据都予以保留。

最终通知 fixture 修正了建群方式,其隔离原则值得单独记录(实现见 message_update_pressure_integration_test.go):

  • 频道/作者成员与原消息通过公开 HTTP 创建;
  • 其余 99,999 条订阅者行以每批至多 1,000 条,通过真实权威路由、计数的集群突变端口(AddChannelSubscribersCounted)提交,并校验每个 changed count;
  • 离线收件人的 UID 会话目录行有意省略;通知枚举读取真实持久化订阅者;
  • 不使用假收件人来源或直接本地 DB 写入——以此隔离通知分页,且不认证完整 10 万成员建群、成员历史访问或 UID 目录投影。

该 fixture 有八分钟 context 与独立的 240 秒大通知排空观测上限。最终未 profile 运行在 344.66 秒内通过:

指标 结果
再次证明队列溢出 ≥239 个 distinct 身份
全部 pending 通知排空 99.37 秒(再次超出 90 秒预算)
健康 handler p95/p99 294.6 / 334.5 ms
门控单频道 handler p95/p99 423.0 / 436.0 ms
10 万订阅者记录准备 8.95 秒
16 个小频道通知检查点 大编辑开始后 2.07 秒全部完成(此时大目标仍 pending)
小编辑 HTTP 最大延迟 157.2 ms
大目标 pending 状态最终清除 144.75 秒

关键解读:大目标的 144.75 秒是离线收件人订阅者遍历/检查点的完成时间,不是 10 万客户端 ack;分派失败被重试;wrapper 的 incomplete-success 调用计数不是精确的订阅者页总数(因为操作可能在调用者看到超时之前就已提交)。小频道在大负载下 2.07 秒完成、HTTP 最大 157.2 ms,证明了跨频道推进——但"小频道快"并不等于"大频道完成得快"。

内存快照:整进程峰值 RSS 约 647 MiB;大阶段后 Go heap 在用 259 MiB,goroutine 1,117(健康负载前 986)。这些快照不建立峰值 goroutine 数或长期泄漏自由的结论。

七、评估结论与后续行动

报告给出的最终评估是明确的:有界正确性、队列收敛与跨频道公平性检查完成,但通知延迟尚未获得广泛发布的资格:

  1. 1,280 条单频道 backlog 在该 fixture 中恢复约需 100 秒,原始 90 秒观测预算反复失败;
  2. 10 万离线收件人的完整遍历约需 145 秒;小频道快进不改变大频道完成慢的事实;
  3. 一个 SDK 样本耗时 7.9 秒而 p99 远小于此;重复运行未复现,根因仍然开放;
  4. 首个 fixture 的剩余 context 内,完整 10 万成员 HTTP 建群未能完成;隔离 fanout 测试不能解决该发现。

后续行动路线(报告原话):

Next, add bounded phase timing for ready-queue wait, durable discovery wait, authoritative reads, recipient lookup, progress commit and EVENT-to-SDK merge. Use it to isolate the slow path, test reduced pending-observation load, and verify an optimization without enlarging the queue or hiding earlier failed windows.

即:为就绪队列等待、耐久发现等待、权威读取、收件人查找、进度提交、EVENT 到 SDK 合并分别加入有界相位计时,用于隔离慢路径、测试降低 pending 观测负载,并在不扩大队列、不隐藏此前失败窗口的前提下验证优化。同时,部署代表性的 Linux 运行、真实 payload 与在线大收件人仍是发布容量/声明的必要条件。

本次验证还通过了 GOWORK=off go test -tags=integration ./internal/runtime/messageupdates -count=1 与 JavaScript 语法检查;所有 app 节点与 Server 进程在运行后均已停止。SDK CI PR #28 的 clean worktree 与原本地任务分支在合并包含性验证后已移除。本分支只改动诊断测试、实验资产与文档;生产代码、API 与 CMD 行为均未变化,因此无需产品 Changelog 条目。

八、复现指南:完整命令与解读

所有实验均自带集群的创建与销毁。以下命令从 Server worktree 执行,报告给出了四组可复制命令。

1. 构建 Server 二进制(一次)

GOWORK=off go build -o /absolute/output/wukongim ./cmd/wukongim

2. 恢复场景(现有 E2E 场景)

WK_E2E_BINARY=/absolute/output/wukongim \
WK_E2E_MESSAGE_UPDATE_STABILITY=1 \
WK_E2E_MESSAGE_UPDATE_STABILITY_REPORT=/absolute/output/recovery.json \
GOWORK=off go test -tags=e2e ./test/e2e/message/message_updates -count=1 -timeout=8m -v

环境变量解读:WK_E2E_BINARY 指定 Server 二进制;WK_E2E_MESSAGE_UPDATE_STABILITY=1 显式开启稳定性场景(默认跳过,见 message_updates_test.go 的 t.Skip);WK_E2E_MESSAGE_UPDATE_STABILITY_REPORT 指定 JSON 收据输出路径。测试内部通过 WK_CLUSTER_HASH_SLOT_COUNT=256、WK_CLUSTER_INITIAL_SLOT_COUNT=12、WK_CLUSTER_CHANNEL_REPLICA_N=3 等环境覆盖构建三节点集群。

3. app 压测(opt-in,默认 integration 运行跳过)

WK_MESSAGE_UPDATE_PRESSURE=1 \
WK_MESSAGE_UPDATE_PRESSURE_REPORT=/absolute/output/pressure.json \
GOMAXPROCS=6 GOWORK=off go test -tags=integration ./internal/app \
  -run '^TestMessageUpdateThreeNodePressure$' -count=1 -timeout=10m -v

该命令对应 message_update_pressure_integration_test.go 的 TestMessageUpdateThreeNodePressure。注意 fixture 内部固定 hash_slots=256, physical_slots=8, replicas=3,HTTP handler 计时通过 httptest 排除客户端网络。

4. 整进程 CPU profile

go test -tags=integration -c
# 之后用编译出的测试二进制,加参数运行:
./app.test -test.cpuprofile=/absolute/output/pressure.pprof -test.run '^TestMessageUpdateThreeNodePressure$' ...

报告明确警告:不要把 profile 结果混入未 profile 的延迟声明中。

5. SDK 实验

重建合并后的 SDK(npm run build)后运行:

WK_EDIT_SERVER_BIN=/absolute/output/wukongim \
WK_EDIT_SDK_ROOT=/absolute/path/to/WuKongIMJSSDK \
WK_EDIT_PRESSURE_REPORT=/absolute/output/sdk-pressure.json \
node docs/reports/assets/message-edit-sdk-pressure.cjs

对应脚本 message-edit-sdk-pressure.cjs 还支持可选 WK_EDIT_MIN_INTERVAL_MS(0–5000ms,限制每个闭合回路频道的编辑节拍)。脚本内部生成三节点 TOML 配置(hash_slot_count=256、initial_slot_count=8、slot_replica_n=3、token_auth_on=true),等待三节点就绪后建立 16 对客户端,并在收尾时 SIGTERM 所有进程。它通过 ps 采样 CPU/RSS,输出包含 bff_edit_roundtrip、sdk_visible_latency、slow_samples、stale_ack_replacements 等字段。

附:报告与源码对照索引

整体来看,这份报告为 WuKongIM 消息编辑功能的"当前验证边界"提供了精确画像:正确性与收敛性经受了崩溃恢复、并发 SDK 客户端与 1,280 条溢出 backlog 的考验,但通知延迟与 10 万在线大群的容量结论仍被明确留待部署代表性环境验证。任何引用本报告的结论,都应同时引用这四个未决项,而不是把它描述为生产容量认证。

登录后查看全文
WuKongIM