WuKongIM 发送路径 Group Commit 设计:用 leader 侧机会式批量聚合击穿 durable send 吞吐瓶颈
WuKongIM 发送路径 Group Commit 设计:用 leader 侧机会式批量聚合击穿 durable send 吞吐瓶颈
导读
本文深入解读 WuKongIM 发送路径(send path)性能优化第二轮的核心设计——leader 侧机会式 group commit(opportunistic group commit)。该方案在不改变 durable send 成功语义、不降低 MinISR、不引入绕过集群语义的前提下,将多个并发 Append() 请求在一个极短窗口内聚合为一次 durable 日志写入,从而把多次 Pebble sync 摊薄为一次。读者将掌握:durable send 瓶颈的定位方法(pprof 证据链)、三类优化方案的取舍逻辑、owner 驱动的 pending queue 设计细节、barrier/取消/配置的边界处理,以及如何用 focused 测试与三节点 send stress 验证收益。
背景:从 30 QPS 到 48 QPS,瓶颈还剩什么
WuKongIM 的发送链路在 durable commit 路径上经历了持续的性能优化。在 第一轮优化设计 中,团队完成了两类保守改动:
- data-plane 并发限制从
Cluster.PoolSize解耦:原来PoolSize一个配置同时隐式决定连接池大小、MaxFetchInflightPeer与MaxPendingFetchRPC,导致测试与运行时装配被一个连接池配置绑死,fetch RPC 并发过低; pkg/replication/isr中Fetch/ApplyFetch/Append的部分锁范围收缩:将日志读写与状态更新从同一把r.mu下拆开,避免 append 与 fetch 互相串行化。
在同样的三节点 durable send 压测参数下,第一轮带来了可量化收益:
| 指标 | 优化前 | 优化后 |
|---|---|---|
| 吞吐(QPS) | 约 30.30 |
约 48.00 |
| p50 延迟 | 约 311ms |
196.618ms |
| p99 延迟 | 约 916ms |
398.198ms |
这说明第一轮消除了"异常低并发 + 明显锁串行化"的一部分工程性问题。但 48 QPS 距离目标数量级仍然遥远,且 fresh pprof 表明主瓶颈已进一步集中到 durable append / checkpoint / transport 往返,而不是 gateway 编解码或 fetch 锁竞争。正是在这一结论之上,第二轮 group commit 设计 被提出。
现状与关键证据:成本到底花在哪
基于 fresh 压测与 fresh pprof,设计文档确认了四个事实,它们是整个方案成立的依据:
pkg/storage/channellog.(*Store).appendPayloads、(*stateStore).CommitCommittedWithCheckpoint、PebbleBatch.Commit/flushPending/sync已成为主要成本——即单条消息同步写盘的代价主导了发送路径。pkg/replication/isrnode.(*runtime).sendEnvelope与pkg/replication/isrnodetransport.(*peerSession).Send占比上升——复制 transport 成为第二梯队瓶颈。pkg/replication/isr.(*replica).Append仍是 durable send 的同步入口,但真正的 durable 成本发生在LogStore.Append()内部,而不是LogStore.Sync():appendPayloads直接执行batch.Commit(pebble.Sync),即 Sync 语义内嵌在 Append 内部;LogStore.Sync()当前是 no-op 兼容接口。
- 因此,继续打磨
Sync()调用点没有意义,核心是把多个并发 append 请求合并为更少的 durableAppend()次数。
这一证据链的关键洞察是:Pebble 的 fsync 代价是"按次计费"的,每次 batch.Commit(pebble.Sync) 无论写入多少条记录都要付出一次磁盘同步。如果能让 N 个并发请求共享一次物理写入与一次同步,吞吐就有望随并发聚合度线性改善。
仓库中的实现佐证
虽然设计文档规划的 pkg/replication/isr、pkg/storage/channellog 路径在当前的仓库快照中已随架构演进发生变化,但"把多个逻辑请求聚合成一次物理提交"的 group commit 理念,已经在当前仓库的 pkg/db/internal/commit/coordinator.go 中落地为通用提交协调器(Coordinator):
Config提供FlushWindow、QueueSize、Shards、MaxRequests、MaxRecords、MaxBytes等批量控制字段,其中defaultFlushWindow = 500 * time.Microsecond、defaultQueueSize = 1024——与设计文档"低流量场景额外等待控制在 1ms 级别"的思路一脉相承;Request携带Build/Publish/Finalize三段回调:Build把请求写入物理 batch,Publish在物理提交成功后发布 committed 状态,Finalize负责资源终态释放;Outcome三态(DefinitelyNotCommitted/Committed/Unknown)精确区分"提交前已知失败"与"提交后结果不明",正是设计文档中 cancel 语义(pre-flush / post-flush)需要处理的场景;- 其测试 coordinator_test.go 中的
TestCoordinatorFlushWindowBatchesConcurrentRequests、TestCoordinatorPublishesAfterCommit、TestCoordinatorFinalizesPreAdmissionCancellationOnce等用例,覆盖了并发聚合、提交后发布、取消与终结语义等核心行为。
从源码结构看,这条通用提交协调器路径正是设计文档中"leader append 聚合"思想在数据库层的一个工程化形态,可作为理解本文设计目标的参照实现。
目标与非目标:守住语义红线
目标
- 在 leader 侧把多个并发
Append()请求聚合成一次 durable log append; - 继续保持现有 durable send 成功条件:只有 committed 后才返回成功;
- 保持现有 offset 分配顺序与
CommitResult语义; - 让低流量场景的额外等待保持很小,可控在
1ms级别; - 为下一轮 batch replication / checkpoint batching 提供更干净的对比基线。
非目标(本轮明确不做)
- 不修改
SendAck语义; - 不降低
MinISR; - 不修改 fetch RPC 协议;
- 不实现 follower 侧 batch apply;
- 不实现 checkpoint store 的独立批量刷盘器;
- 不增加新的 app 级公开配置项——第一版先在
pkg/replication/isr内使用保守默认值。
这些非目标的共同点是:把风险面压到最小。复制协议、follower 语义、checkpoint 刷盘都保持原样,唯一改动集中在 leader append 入口的聚合逻辑。
方案对比:为什么选 B
设计文档给出了三条候选路径:
方案 A:只扩大 data-plane / fetch 并发
继续增加 pool、fetch inflight、pending fetch RPC。
- 优点:改动小、风险低;
- 缺点:无法减少 durable
Append()次数,不能摊薄 Pebble sync / checkpoint 成本,继续优化的收益会快速递减。
方案 B:leader 侧 opportunistic group commit
把多个并发 Append() 请求在很短窗口内聚合,一次写入、一次 durable commit,再按原有 committed 语义分别返回。
- 优点:直接命中当前主瓶颈;不需要改 fetch / apply 协议;风险可控,容易做 focused regression;
- 缺点:仍然保留复制往返和 follower apply 的单批推进模型,不能单独保证达到最终目标数量级。
方案 C:Append + replication + apply 全链路批量
- 优点:理论上最接近目标吞吐;
- 缺点:语义与实现改动过大、很难隔离收益归因、第一版回归风险过高。
推荐方案是 B,第一版使用保守参数:max_wait = 1ms、max_records = 64、max_bytes = 64KB,只在 leader append 路径引入 opportunistic batching,不改复制协议与 follower 语义。
这里体现了典型的工程取舍:先用风险最小的方案验证"批量摊薄"假设,再决定是否向全链路批量化演进。
核心设计:owner 驱动的机会式批量
1. 仅在 pkg/replication/isr 内增加 leader append 聚合
replica.Append(ctx, batch) 不再"每个请求独立写一次",而是:
- 调用先进入 replica 本地 pending queue;
- 第一个进入队列的调用成为当前 batch owner;
- owner 在很短窗口内收集更多 append 请求;
- 满足以下任一条件即 flush:
- 等待达到
1ms; - 累积记录数达到
64; - 累积字节数达到
64KB;
- 等待达到
- flush 时将多个请求的记录拼成一个大的
[]Record; - 执行一次 durable
log.Append(merged); - 按请求顺序为每个请求分配自己的
BaseOffset/RecordCount; - 复用现有
advanceHWLocked()/ waiter 通知机制,在 committed 后分别返回。
这一流程把"等待窗口"、"批大小上限"和"字节上限"三者做成了 flush 触发条件,任何一条满足都立即落盘,避免高流量下延迟被窗口白白拉高。
2. 不引入常驻 goroutine,每个 batch 使用 owner 驱动
第一版不为每个 replica 增加常驻 batch worker goroutine,原因有二:
- channel group 数量可能很多,"一 goroutine 一 replica"的 steady-state 成本不划算;
- owner 驱动模型更容易保持最小改动。
具体方式:
- pending queue 由 replica 内部状态维护;
- 当前没有 owner 时,新的
Append()调用成为 owner; - owner 负责 collect / flush / 继续接管下一批;
- 队列清空后 owner 退出。
这样只在真正有 append 流量时做聚合,不增加长期后台负担——低流量时几乎没有额外常驻开销,高流量时由并发调用自然轮换 owner。
3. append barrier 只包住 flush,不包住 collect 窗口
批量收集窗口需要允许其它并发 Append() 加入当前 pending queue,所以 collect 期间不能长期占住队列锁。但真正开始 flush 后,需要防止控制面状态变更与 durable append 交叉,这些变更包括:
ApplyMetaBecomeLeaderBecomeFollowerTombstoneInstallSnapshot
因此第一版约束为:
- collect 窗口允许控制面继续运行;
- flush 开始后,append barrier 持有到 durable append 与 post-append state publish 完成;
- 控制面变更路径也通过同一个 barrier 串行化。
关键保障:如果控制面在 collect 窗口内先发生变化,queued append 会在 flush 前重新校验并失败,而不是错误地落到新角色/新 epoch 上。这防止了"批量窗口"成为语义漏洞。
4. durable 成本落在 log.Append(),不是 log.Sync()
这轮实现必须按真实 store 行为设计:
pkg/storage/channellog.(*Store).appendPayloads已经在Append()内执行pebble.Sync;LogStore.Sync()目前只是兼容接口,不是主成本来源。
因此 flush 的核心收益来自三处压缩:
- 把 N 个并发请求合成 1 次
log.Append(); - 把 N 次 Pebble sync 压缩成 1 次;
- 把 N 次 leader 本地 LEO publish / waiter 安装过程压缩成 1 次批次处理。
5. 语义约束
第一版必须保持这些语义不松动:
- committed 前不能返回成功;
- 每个请求得到的
BaseOffset必须与合并后日志顺序一致; CommitResult.RecordCount仍然是单请求自己的记录数,不是整批大小;NextCommitHW仍表示该请求成功返回时看到的 committed HW;MinISR、lease、leader/follower 校验保持不放松;- 空 batch 行为保持不变。
注意 RecordCount 与 NextCommitHW 这两条:即使请求共享了一次物理写入,其逻辑可见语义仍按单请求隔离,这是"聚合写入、分别返回"的核心。
6. context cancel 语义:三段处理
取消要分三段处理,核心是不能破坏批次里其它请求的 durable 结果,也不能留下泄漏 waiter:
- 进入 pending queue 之前 / 期间取消:直接从 pending queue 移除,返回
context.Canceled; - 已经进入 flush,但 durable append 尚未发布结果:请求可能已被写入日志,仍允许调用方返回
context.Canceled,但不能破坏整批其它请求的 durable commit; - 已经注册 commit waiter 后取消:与当前语义一致,从 waiter 集合中移除后返回
context.Canceled。
这与当前仓库中 coordinator.go 的 SubmitWithOutcome 设计高度吻合:请求在物理提交前取消返回 OutcomeDefinitelyNotCommitted,在提交已发生但结果未发布时取消返回 OutcomeUnknown,finalizeOnce 保证每个请求只终结一次、不会重复通知。
7. 默认值放在 ReplicaConfig 层,app 暂不开放配置
为了让单元测试可控、同时避免先把 app 配置面做大,第一版方案是:
- 在
pkg/replication/isr.ReplicaConfig增加 group-commit 相关字段; NewReplica()在零值时使用默认值:1ms / 64 / 64KB;pkg/storage/channellog.NewReplica()暂时不显式传值,直接吃默认值。
好处:测试可以精确覆盖阈值与等待窗口,app / config 层不需要先引入新的公开参数;后续需要调优时再向上层配置暴露。这也是设计文档"不增加新的 app 级公开配置项"非目标的具体落地方式。
影响边界:改什么,不改什么
本轮允许修改:
pkg/replication/isr/types.gopkg/replication/isr/replica.gopkg/replication/isr/append.gopkg/replication/isr/progress.gopkg/replication/isr/recovery.gopkg/replication/isr/*_test.go- 如有必要,少量
pkg/storage/channellog/*test.go或internal/app/send_stress_test.go验证代码
本轮不应修改:
internal/usecase/message的 durable send 定义;internal/access/gateway的协议语义;- fetch / apply RPC schema;
- follower apply 行为语义。
影响边界把"发送成功语义"、"网关协议"、"复制协议"三条线全部冻结,改动被严格限制在 ISR 包内部——这与 实现计划 中"保持公开 isr.Replica API 不变"的架构约束一致。
测试策略:focused 测试锁语义,压测验证收益
focused 单元测试(至少覆盖 7 类场景)
- 多个并发 append 可以共享一次 durable append / sync;
- batched append 的
BaseOffset顺序正确; - batched append 仍然只在 committed 后返回成功;
- pre-flush cancel 不会进入 durable batch;
- post-flush cancel 不会破坏其它请求返回;
- lease / role 变化发生在 collect 窗口时,queued append 会在 flush 前失败;
- flush 期间不再把 replica 状态锁压在真实 durable append 兼容路径上。
实现计划中给出了具体测试形态,例如用 MinISR=1 的 leader env 配合显式 group-commit test config(maxWait=20ms, maxRecords=2)验证 TestConcurrentAppendsShareSingleDurableAppend,断言 fake log 的 durable append / sync 只发生一次;再以三副本、MinISR=3 验证 TestBatchedAppendRetainsCommitWaitSemantics,确认 follower ack 之前两个 append 都不能提前返回。
现有语义回归
继续要求这些已有语义测试保持通过:
AppendWaitsUntilMinISRReplicasAcknowledgeViaFetchAppendCommitsUsingReturnedBaseOffsetWhenLEOReadLags- 第一轮锁范围回归测试(
Fetch/ApplyFetch/Append不跨日志读写持有 replica 锁)
集成与性能验证
# 1. broader regression:ISR 与复制链路的全量回归
go test ./internal/app ./pkg/replication/isr ./pkg/replication/isrnode ./pkg/replication/isrnodetransport -count=1
# 2. 三节点真实 send stress:验证 QPS 是否明显高于 48
WK_SEND_STRESS=1 WK_SEND_STRESS_DURATION=30s WK_SEND_STRESS_MESSAGES_PER_WORKER=100000 \
go test ./internal/app -run '^TestSendStressThreeNode$' -count=1 -v
# 3. 抓 fresh CPU / block / mutex profile(实现计划中的完整命令形态)
WK_SEND_STRESS=1 WK_SEND_STRESS_DURATION=30s WK_SEND_STRESS_MESSAGES_PER_WORKER=100000 \
go test ./internal/app -run '^TestSendStressThreeNode$' -count=1 \
-cpuprofile /tmp/wukongim-send-profile-group-commit/send.cpu.pprof \
-memprofile /tmp/wukongim-send-profile-group-commit/send.mem.pprof \
-blockprofile /tmp/wukongim-send-profile-group-commit/send.block.pprof \
-mutexprofile /tmp/wukongim-send-profile-group-commit/send.mutex.pprof
验证重点:
- QPS 是否继续明显高于
48 QPS; appendPayloads/Batch.Commit占比是否下降或被更高层批量摊薄;replica.Append的 block/mutex 热点是否继续下降。
风险与应对策略
| 风险 | 应对策略 |
|---|---|
| collect 窗口中的控制面变更可能让 queued append 在 flush 前批量失败 | 所有关键路径先写 focused failing tests;barrier 只包 flush,不包 collect |
| 批量 offset 计算出错会破坏 committed 可见性语义 | 用 batched append 的 BaseOffset 顺序测试锁定 |
| cancel 竞态容易造成 waiter 泄漏或重复通知 | 三段式 cancel 处理 + 终结语义测试(只终结一次) |
| batch 边界选择不当,低流量尾延迟被不必要拉高 | 第一版窗口严格控制在 1ms,默认值保守 |
整体策略是:不在本轮同时改 replication / apply / checkpoint batching,把变量隔离到最小,让性能收益可以干净归因。
后续决策点:下一轮去哪
如果这一轮完成后仍然显示:
- Pebble checkpoint / committed-state 写入仍是显著热点;
- durable send 仍远低于目标数量级;
则下一轮直接进入三个方向:
- checkpoint / committed state batching:解决
CommitCommittedWithCheckpoint与 Pebble checkpoint 写入的成本; - batch replication / envelope coalescing:解决
sendEnvelope/peerSession.Send的第二梯队瓶颈(当前仓库 pkg/channel/replication/peer_batcher.go 已出现MaxBatchItems/MaxBatchBytes/MaxTargetFlight等批量复制参数,可以推断该方向后续确实被持续推进); - follower apply batching:把 follower 侧的单批推进模型也批量化为最终形态。
总结:一条清晰的分阶段性能演进路径
WuKongIM 的 durable send 优化遵循"先清串行化与隐式背压、再上批量聚合"的分阶段路线:第一轮(并发解耦 + ISR 拆锁)把 QPS 从约 30 提升到 48,p99 从约 916ms 降到 398ms;第二轮(leader 侧 group commit)用 1ms / 64 / 64KB 的保守窗口把多个并发 append 聚合成单次 durable 写入,进一步摊薄 Pebble sync 成本。整个设计始终把"committed 后才返回成功"、"offset 顺序一致"、"MinISR 不放松"三条语义红线放在首位,并通过影响边界、focused 测试与三节点真实压测三重手段控制风险——这是分布式系统性能优化中"语义安全优先、收益可归因"的典型实践。感兴趣的读者可以继续阅读 原始设计文档、实现计划 以及当前仓库中 group commit 的落地实现 pkg/db/internal/commit/coordinator.go 与其 测试。