WuKongIM 发送路径 Group Commit 设计:用 leader 侧机会式批量聚合击穿 durable send 吞吐瓶颈

原创2026-10-16 11:33:471,868 阅读
文章标签:即时通讯后端WebSocket微服务高可用前端可观测性

WuKongIM 发送路径 Group Commit 设计:用 leader 侧机会式批量聚合击穿 durable send 吞吐瓶颈

导读

本文深入解读 WuKongIM 发送路径(send path)性能优化第二轮的核心设计——leader 侧机会式 group commit(opportunistic group commit)。该方案在不改变 durable send 成功语义、不降低 MinISR、不引入绕过集群语义的前提下,将多个并发 Append() 请求在一个极短窗口内聚合为一次 durable 日志写入,从而把多次 Pebble sync 摊薄为一次。读者将掌握:durable send 瓶颈的定位方法(pprof 证据链)、三类优化方案的取舍逻辑、owner 驱动的 pending queue 设计细节、barrier/取消/配置的边界处理,以及如何用 focused 测试与三节点 send stress 验证收益。

背景:从 30 QPS 到 48 QPS,瓶颈还剩什么

WuKongIM 的发送链路在 durable commit 路径上经历了持续的性能优化。在 第一轮优化设计 中,团队完成了两类保守改动:

  • data-plane 并发限制从 Cluster.PoolSize 解耦:原来 PoolSize 一个配置同时隐式决定连接池大小、MaxFetchInflightPeer 与 MaxPendingFetchRPC,导致测试与运行时装配被一个连接池配置绑死,fetch RPC 并发过低;
  • pkg/replication/isr 中 Fetch / ApplyFetch / Append 的部分锁范围收缩:将日志读写与状态更新从同一把 r.mu 下拆开,避免 append 与 fetch 互相串行化。

在同样的三节点 durable send 压测参数下,第一轮带来了可量化收益:

指标 优化前 优化后
吞吐(QPS) 约 30.30 约 48.00
p50 延迟 约 311ms 196.618ms
p99 延迟 约 916ms 398.198ms

这说明第一轮消除了"异常低并发 + 明显锁串行化"的一部分工程性问题。但 48 QPS 距离目标数量级仍然遥远,且 fresh pprof 表明主瓶颈已进一步集中到 durable append / checkpoint / transport 往返,而不是 gateway 编解码或 fetch 锁竞争。正是在这一结论之上,第二轮 group commit 设计 被提出。

现状与关键证据:成本到底花在哪

基于 fresh 压测与 fresh pprof,设计文档确认了四个事实,它们是整个方案成立的依据:

  1. pkg/storage/channellog.(*Store).appendPayloads、(*stateStore).CommitCommittedWithCheckpoint、Pebble Batch.Commit / flushPending / sync 已成为主要成本——即单条消息同步写盘的代价主导了发送路径。
  2. pkg/replication/isrnode.(*runtime).sendEnvelope 与 pkg/replication/isrnodetransport.(*peerSession).Send 占比上升——复制 transport 成为第二梯队瓶颈。
  3. pkg/replication/isr.(*replica).Append 仍是 durable send 的同步入口,但真正的 durable 成本发生在 LogStore.Append() 内部,而不是 LogStore.Sync():
    • appendPayloads 直接执行 batch.Commit(pebble.Sync),即 Sync 语义内嵌在 Append 内部;
    • LogStore.Sync() 当前是 no-op 兼容接口。
  4. 因此,继续打磨 Sync() 调用点没有意义,核心是把多个并发 append 请求合并为更少的 durable Append() 次数。

这一证据链的关键洞察是:Pebble 的 fsync 代价是"按次计费"的,每次 batch.Commit(pebble.Sync) 无论写入多少条记录都要付出一次磁盘同步。如果能让 N 个并发请求共享一次物理写入与一次同步,吞吐就有望随并发聚合度线性改善。

仓库中的实现佐证

虽然设计文档规划的 pkg/replication/isr、pkg/storage/channellog 路径在当前的仓库快照中已随架构演进发生变化,但"把多个逻辑请求聚合成一次物理提交"的 group commit 理念,已经在当前仓库的 pkg/db/internal/commit/coordinator.go 中落地为通用提交协调器(Coordinator):

  • Config 提供 FlushWindow、QueueSize、Shards、MaxRequests、MaxRecords、MaxBytes 等批量控制字段,其中 defaultFlushWindow = 500 * time.Microsecond、defaultQueueSize = 1024——与设计文档"低流量场景额外等待控制在 1ms 级别"的思路一脉相承;
  • Request 携带 Build / Publish / Finalize 三段回调:Build 把请求写入物理 batch,Publish 在物理提交成功后发布 committed 状态,Finalize 负责资源终态释放;
  • Outcome 三态(DefinitelyNotCommitted / Committed / Unknown)精确区分"提交前已知失败"与"提交后结果不明",正是设计文档中 cancel 语义(pre-flush / post-flush)需要处理的场景;
  • 其测试 coordinator_test.go 中的 TestCoordinatorFlushWindowBatchesConcurrentRequests、TestCoordinatorPublishesAfterCommit、TestCoordinatorFinalizesPreAdmissionCancellationOnce 等用例,覆盖了并发聚合、提交后发布、取消与终结语义等核心行为。

从源码结构看,这条通用提交协调器路径正是设计文档中"leader append 聚合"思想在数据库层的一个工程化形态,可作为理解本文设计目标的参照实现。

目标与非目标:守住语义红线

目标

  • 在 leader 侧把多个并发 Append() 请求聚合成一次 durable log append;
  • 继续保持现有 durable send 成功条件:只有 committed 后才返回成功;
  • 保持现有 offset 分配顺序与 CommitResult 语义;
  • 让低流量场景的额外等待保持很小,可控在 1ms 级别;
  • 为下一轮 batch replication / checkpoint batching 提供更干净的对比基线。

非目标(本轮明确不做)

  • 不修改 SendAck 语义;
  • 不降低 MinISR;
  • 不修改 fetch RPC 协议;
  • 不实现 follower 侧 batch apply;
  • 不实现 checkpoint store 的独立批量刷盘器;
  • 不增加新的 app 级公开配置项——第一版先在 pkg/replication/isr 内使用保守默认值。

这些非目标的共同点是:把风险面压到最小。复制协议、follower 语义、checkpoint 刷盘都保持原样,唯一改动集中在 leader append 入口的聚合逻辑。

方案对比:为什么选 B

设计文档给出了三条候选路径:

方案 A:只扩大 data-plane / fetch 并发

继续增加 pool、fetch inflight、pending fetch RPC。

  • 优点:改动小、风险低;
  • 缺点:无法减少 durable Append() 次数,不能摊薄 Pebble sync / checkpoint 成本,继续优化的收益会快速递减。

方案 B:leader 侧 opportunistic group commit

把多个并发 Append() 请求在很短窗口内聚合,一次写入、一次 durable commit,再按原有 committed 语义分别返回。

  • 优点:直接命中当前主瓶颈;不需要改 fetch / apply 协议;风险可控,容易做 focused regression;
  • 缺点:仍然保留复制往返和 follower apply 的单批推进模型,不能单独保证达到最终目标数量级。

方案 C:Append + replication + apply 全链路批量

  • 优点:理论上最接近目标吞吐;
  • 缺点:语义与实现改动过大、很难隔离收益归因、第一版回归风险过高。

推荐方案是 B,第一版使用保守参数:max_wait = 1ms、max_records = 64、max_bytes = 64KB,只在 leader append 路径引入 opportunistic batching,不改复制协议与 follower 语义。

这里体现了典型的工程取舍:先用风险最小的方案验证"批量摊薄"假设,再决定是否向全链路批量化演进。

核心设计:owner 驱动的机会式批量

1. 仅在 pkg/replication/isr 内增加 leader append 聚合

replica.Append(ctx, batch) 不再"每个请求独立写一次",而是:

  1. 调用先进入 replica 本地 pending queue;
  2. 第一个进入队列的调用成为当前 batch owner;
  3. owner 在很短窗口内收集更多 append 请求;
  4. 满足以下任一条件即 flush:
    • 等待达到 1ms;
    • 累积记录数达到 64;
    • 累积字节数达到 64KB;
  5. flush 时将多个请求的记录拼成一个大的 []Record;
  6. 执行一次 durable log.Append(merged);
  7. 按请求顺序为每个请求分配自己的 BaseOffset / RecordCount;
  8. 复用现有 advanceHWLocked() / waiter 通知机制,在 committed 后分别返回。

这一流程把"等待窗口"、"批大小上限"和"字节上限"三者做成了 flush 触发条件,任何一条满足都立即落盘,避免高流量下延迟被窗口白白拉高。

2. 不引入常驻 goroutine,每个 batch 使用 owner 驱动

第一版不为每个 replica 增加常驻 batch worker goroutine,原因有二:

  • channel group 数量可能很多,"一 goroutine 一 replica"的 steady-state 成本不划算;
  • owner 驱动模型更容易保持最小改动。

具体方式:

  • pending queue 由 replica 内部状态维护;
  • 当前没有 owner 时,新的 Append() 调用成为 owner;
  • owner 负责 collect / flush / 继续接管下一批;
  • 队列清空后 owner 退出。

这样只在真正有 append 流量时做聚合,不增加长期后台负担——低流量时几乎没有额外常驻开销,高流量时由并发调用自然轮换 owner。

3. append barrier 只包住 flush,不包住 collect 窗口

批量收集窗口需要允许其它并发 Append() 加入当前 pending queue,所以 collect 期间不能长期占住队列锁。但真正开始 flush 后,需要防止控制面状态变更与 durable append 交叉,这些变更包括:

  • ApplyMeta
  • BecomeLeader
  • BecomeFollower
  • Tombstone
  • InstallSnapshot

因此第一版约束为:

  • collect 窗口允许控制面继续运行;
  • flush 开始后,append barrier 持有到 durable append 与 post-append state publish 完成;
  • 控制面变更路径也通过同一个 barrier 串行化。

关键保障:如果控制面在 collect 窗口内先发生变化,queued append 会在 flush 前重新校验并失败,而不是错误地落到新角色/新 epoch 上。这防止了"批量窗口"成为语义漏洞。

4. durable 成本落在 log.Append(),不是 log.Sync()

这轮实现必须按真实 store 行为设计:

  • pkg/storage/channellog.(*Store).appendPayloads 已经在 Append() 内执行 pebble.Sync;
  • LogStore.Sync() 目前只是兼容接口,不是主成本来源。

因此 flush 的核心收益来自三处压缩:

  • 把 N 个并发请求合成 1 次 log.Append();
  • 把 N 次 Pebble sync 压缩成 1 次;
  • 把 N 次 leader 本地 LEO publish / waiter 安装过程压缩成 1 次批次处理。

5. 语义约束

第一版必须保持这些语义不松动:

  • committed 前不能返回成功;
  • 每个请求得到的 BaseOffset 必须与合并后日志顺序一致;
  • CommitResult.RecordCount 仍然是单请求自己的记录数,不是整批大小;
  • NextCommitHW 仍表示该请求成功返回时看到的 committed HW;
  • MinISR、lease、leader/follower 校验保持不放松;
  • 空 batch 行为保持不变。

注意 RecordCount 与 NextCommitHW 这两条:即使请求共享了一次物理写入,其逻辑可见语义仍按单请求隔离,这是"聚合写入、分别返回"的核心。

6. context cancel 语义:三段处理

取消要分三段处理,核心是不能破坏批次里其它请求的 durable 结果,也不能留下泄漏 waiter:

  1. 进入 pending queue 之前 / 期间取消:直接从 pending queue 移除,返回 context.Canceled;
  2. 已经进入 flush,但 durable append 尚未发布结果:请求可能已被写入日志,仍允许调用方返回 context.Canceled,但不能破坏整批其它请求的 durable commit;
  3. 已经注册 commit waiter 后取消:与当前语义一致,从 waiter 集合中移除后返回 context.Canceled。

这与当前仓库中 coordinator.go 的 SubmitWithOutcome 设计高度吻合:请求在物理提交前取消返回 OutcomeDefinitelyNotCommitted,在提交已发生但结果未发布时取消返回 OutcomeUnknown,finalizeOnce 保证每个请求只终结一次、不会重复通知。

7. 默认值放在 ReplicaConfig 层,app 暂不开放配置

为了让单元测试可控、同时避免先把 app 配置面做大,第一版方案是:

  • 在 pkg/replication/isr.ReplicaConfig 增加 group-commit 相关字段;
  • NewReplica() 在零值时使用默认值:1ms / 64 / 64KB;
  • pkg/storage/channellog.NewReplica() 暂时不显式传值,直接吃默认值。

好处:测试可以精确覆盖阈值与等待窗口,app / config 层不需要先引入新的公开参数;后续需要调优时再向上层配置暴露。这也是设计文档"不增加新的 app 级公开配置项"非目标的具体落地方式。

影响边界:改什么,不改什么

本轮允许修改:

  • pkg/replication/isr/types.go
  • pkg/replication/isr/replica.go
  • pkg/replication/isr/append.go
  • pkg/replication/isr/progress.go
  • pkg/replication/isr/recovery.go
  • pkg/replication/isr/*_test.go
  • 如有必要,少量 pkg/storage/channellog/*test.go 或 internal/app/send_stress_test.go 验证代码

本轮不应修改:

  • internal/usecase/message 的 durable send 定义;
  • internal/access/gateway 的协议语义;
  • fetch / apply RPC schema;
  • follower apply 行为语义。

影响边界把"发送成功语义"、"网关协议"、"复制协议"三条线全部冻结,改动被严格限制在 ISR 包内部——这与 实现计划 中"保持公开 isr.Replica API 不变"的架构约束一致。

测试策略:focused 测试锁语义,压测验证收益

focused 单元测试(至少覆盖 7 类场景)

  1. 多个并发 append 可以共享一次 durable append / sync;
  2. batched append 的 BaseOffset 顺序正确;
  3. batched append 仍然只在 committed 后返回成功;
  4. pre-flush cancel 不会进入 durable batch;
  5. post-flush cancel 不会破坏其它请求返回;
  6. lease / role 变化发生在 collect 窗口时,queued append 会在 flush 前失败;
  7. flush 期间不再把 replica 状态锁压在真实 durable append 兼容路径上。

实现计划中给出了具体测试形态,例如用 MinISR=1 的 leader env 配合显式 group-commit test config(maxWait=20ms, maxRecords=2)验证 TestConcurrentAppendsShareSingleDurableAppend,断言 fake log 的 durable append / sync 只发生一次;再以三副本、MinISR=3 验证 TestBatchedAppendRetainsCommitWaitSemantics,确认 follower ack 之前两个 append 都不能提前返回。

现有语义回归

继续要求这些已有语义测试保持通过:

  • AppendWaitsUntilMinISRReplicasAcknowledgeViaFetch
  • AppendCommitsUsingReturnedBaseOffsetWhenLEOReadLags
  • 第一轮锁范围回归测试(Fetch / ApplyFetch / Append 不跨日志读写持有 replica 锁)

集成与性能验证

# 1. broader regression:ISR 与复制链路的全量回归
go test ./internal/app ./pkg/replication/isr ./pkg/replication/isrnode ./pkg/replication/isrnodetransport -count=1

# 2. 三节点真实 send stress:验证 QPS 是否明显高于 48
WK_SEND_STRESS=1 WK_SEND_STRESS_DURATION=30s WK_SEND_STRESS_MESSAGES_PER_WORKER=100000 \
  go test ./internal/app -run '^TestSendStressThreeNode$' -count=1 -v

# 3. 抓 fresh CPU / block / mutex profile(实现计划中的完整命令形态)
WK_SEND_STRESS=1 WK_SEND_STRESS_DURATION=30s WK_SEND_STRESS_MESSAGES_PER_WORKER=100000 \
  go test ./internal/app -run '^TestSendStressThreeNode$' -count=1 \
  -cpuprofile /tmp/wukongim-send-profile-group-commit/send.cpu.pprof \
  -memprofile /tmp/wukongim-send-profile-group-commit/send.mem.pprof \
  -blockprofile /tmp/wukongim-send-profile-group-commit/send.block.pprof \
  -mutexprofile /tmp/wukongim-send-profile-group-commit/send.mutex.pprof

验证重点:

  • QPS 是否继续明显高于 48 QPS;
  • appendPayloads / Batch.Commit 占比是否下降或被更高层批量摊薄;
  • replica.Append 的 block/mutex 热点是否继续下降。

风险与应对策略

风险 应对策略
collect 窗口中的控制面变更可能让 queued append 在 flush 前批量失败 所有关键路径先写 focused failing tests;barrier 只包 flush,不包 collect
批量 offset 计算出错会破坏 committed 可见性语义 用 batched append 的 BaseOffset 顺序测试锁定
cancel 竞态容易造成 waiter 泄漏或重复通知 三段式 cancel 处理 + 终结语义测试(只终结一次)
batch 边界选择不当,低流量尾延迟被不必要拉高 第一版窗口严格控制在 1ms,默认值保守

整体策略是:不在本轮同时改 replication / apply / checkpoint batching,把变量隔离到最小,让性能收益可以干净归因。

后续决策点:下一轮去哪

如果这一轮完成后仍然显示:

  • Pebble checkpoint / committed-state 写入仍是显著热点;
  • durable send 仍远低于目标数量级;

则下一轮直接进入三个方向:

  1. checkpoint / committed state batching:解决 CommitCommittedWithCheckpoint 与 Pebble checkpoint 写入的成本;
  2. batch replication / envelope coalescing:解决 sendEnvelope / peerSession.Send 的第二梯队瓶颈(当前仓库 pkg/channel/replication/peer_batcher.go 已出现 MaxBatchItems / MaxBatchBytes / MaxTargetFlight 等批量复制参数,可以推断该方向后续确实被持续推进);
  3. follower apply batching:把 follower 侧的单批推进模型也批量化为最终形态。

总结:一条清晰的分阶段性能演进路径

WuKongIM 的 durable send 优化遵循"先清串行化与隐式背压、再上批量聚合"的分阶段路线:第一轮(并发解耦 + ISR 拆锁)把 QPS 从约 30 提升到 48,p99 从约 916ms 降到 398ms;第二轮(leader 侧 group commit)用 1ms / 64 / 64KB 的保守窗口把多个并发 append 聚合成单次 durable 写入,进一步摊薄 Pebble sync 成本。整个设计始终把"committed 后才返回成功"、"offset 顺序一致"、"MinISR 不放松"三条语义红线放在首位,并通过影响边界、focused 测试与三节点真实压测三重手段控制风险——这是分布式系统性能优化中"语义安全优先、收益可归因"的典型实践。感兴趣的读者可以继续阅读 原始设计文档、实现计划 以及当前仓库中 group commit 的落地实现 pkg/db/internal/commit/coordinator.go 与其 测试。

登录后查看全文
WuKongIM