Apache Pulsar PIP-427 解读:让 pulsar-admin set-persistence 的 mark-delete 限流默认值对齐 broker 配置
Apache Pulsar PIP-427 解读:让 pulsar-admin set-persistence 的 mark-delete 限流默认值对齐 broker 配置
Apache Pulsar 通过 pulsar-admin namespaces set-persistence 命令管理命名空间的持久化策略(ensemble/write quorum/ack quorum 与 mark-delete 限流速率)。PIP-427 修复了一个隐蔽却危险的行为:当管理员仅想修改其中某一项策略而省略 --ml-mark-delete-max-rate 参数时,命令会隐式写入默认值 0.0,从而意外关闭该命名空间已配置的 mark-delete 限流,可能引发 BookKeeper 写入风暴。本文基于 pip/pip-427.md 与仓库源码,完整讲解该问题根因、修复方案、兼容性影响,并深入剖析从 CLI 到 broker 再到 managed-ledger 的完整调用链与测试验证方式,帮助读者理解如何安全、明确地配置 mark-delete 限流。
背景:什么是 mark-delete 限流,为什么默认值 0 很危险
在 Pulsar 的存储模型中,消费者确认(ack)消息后,broker 会通过 ManagedLedger 的 cursor 将删除位置(mark-delete position)持久化到 BookKeeper。在高频 ack 场景下,这一写操作可能变成高频的"状态写入风暴":大量 cursor 状态写入会显著增加 BookKeeper 的 I/O 负载、网络流量,甚至诱发集群不稳定。
为防止这种情况,Pulsar 在 broker 与命名空间两级都提供了 mark-delete 速率限制:
- broker 级默认值:
managedLedgerDefaultMarkDeleteRateLimit,默认1.0,定义于 ServiceConfiguration.java(字段注释为 "Rate limit the amount of writes per second generated by consumer acking the messages"),对应 broker.conf 中的managedLedgerDefaultMarkDeleteRateLimit=1.0; - 命名空间级覆盖值:通过
set-persistence的--ml-mark-delete-max-rate参数写入命名空间策略。
问题的关键在于 0 这个值的语义:在 Pulsar 中,managedLedgerMaxMarkDeleteRate 为 0 表示不限制(no throttle)。修复前的 CLI 帮助文本与实现均以 0.0 作为默认值:
-r, --ml-mark-delete-max-rate=<managedLedgerMaxMarkDeleteRate>
Throttling rate of mark-delete operation (0 means no
throttle)
Default: 0.0
也就是说,管理员只要用 set-persistence 修改任意一项策略(例如调整 backlog 配额或 ensemble 大小)而忘记显式传入 --ml-mark-delete-max-rate,命令就会把命名空间的 mark-delete 限流悄悄重置为 0(不限制),之前配置的任何限流立即失效。这是一个反直觉且危险的副作用:本意是修改一项策略,结果却无意中关闭了关键限流机制,导致不可预期的性能下降。
修复目标:broker 成为默认值的唯一权威来源
PIP-427 的目标非常明确:当调用 set-persistence 且用户未显式提供 --ml-mark-delete-max-rate 时,命令不得将 mark-delete 速率重置为 0,而应由 broker 应用其在 broker 级配置的默认限流(managedLedgerDefaultMarkDeleteRateLimit)。
修复后保证:
- 命令拥有安全、可预期的默认值;
- 用户若想显式关闭限流,必须主动传入
--ml-mark-delete-max-rate 0,使这一危险操作成为有意的行为; - 显式设置任意具体速率(包括
0.0)的能力完全保留。
实现方案:CLI 默认值改为"未设置"哨兵值
PIP 提出的改动分两处:pulsar-admin CLI 工具与 broker 的 Admin REST API。
第一步:CLI 参数默认值从 0.0 改为 -1
在 CmdNamespaces.java 中,SetPersistence 命令的 --ml-mark-delete-max-rate 参数实现为:
@Option(names = { "-r",
"--ml-mark-delete-max-rate" },
description = "Throttling rate of mark-delete operation "
+ "(0 means no throttle, -1 means unset which will use the default configuration from broker)")
private double managedLedgerMaxMarkDeleteRate = -1;
可以看到当前仓库中的实现正是 PIP-427 落地后的状态:
- 参数默认值已从
0.0改为-1,作为"未设置"(unset)哨兵值; - 帮助文本明确写明:
0表示不限制,-1表示未设置、将使用 broker 的默认配置; - 在
run()中,该值与其他策略一起被封装为PersistencePolicies对象,通过getAdmin().namespaces().setPersistence(...)提交(校验逻辑要求--bookkeeper-ensemble、--bookkeeper-write-quorum、--bookkeeper-ack-quorum均大于 0)。
同样的"unset"哨兵约定也出现在 --ml-mark-delete-max-rate 的其他使用位置,如 CmdTopicPolicies.java 与 CmdTopics.java。
第二步:数据模型对 -1 的承载
PersistencePolicies 是承载命名空间持久化策略的 POJO,定义于 PersistencePolicies.java。它包含 bookkeeperEnsemble、bookkeeperWriteQuorum、bookkeeperAckQuorum、managedLedgerMaxMarkDeleteRate(double 类型)与 managedLedgerStorageClassName 五个字段,并提供了完整构造器、equals/hashCode 与 clone。无参构造器默认构造为 (2, 2, 2, -1, null),即默认 mark-delete 速率同样取 -1,与 CLI 的哨兵约定一致,保证 REST 层能够区分"未设置"与"显式设置的 0"。
第三步:REST 端点接收与判断
broker 侧对应的 REST 端点为 Namespaces.java 中的 POST /{tenant}/{namespace}/persistence(setPersistence),它将接收到的 PersistencePolicies 请求体交给 internalSetPersistenceAsync() 处理,成功返回 204。处理逻辑的判定原则为:
- payload 中显式携带了
managedLedgerMaxMarkDeleteRate(包括 0.0):broker 直接使用该值,保留原有"设置任意速率"的能力; - payload 中速率为"未设置"(-1):broker 从自身配置读取
ServiceConfiguration.getManagedLedgerDefaultMarkDeleteRateLimit()作为默认值应用到命名空间策略。
这使得 broker 成为默认值的唯一权威来源,从机制上杜绝了意外重置策略的可能。
底层原理:从命名空间策略到 cursor 限流器的完整链路
理解 PIP-427 的价值,需要看清这条策略最终如何作用于实际的写入限流。
broker 装配 ManagedLedgerConfig
在 BrokerService.java 中,getManagedLedgerConfig 将命名空间的 PersistencePolicies 翻译为 managed-ledger 的配置:
managedLedgerConfig.setThrottleMarkDelete(persistencePolicies.getManagedLedgerMaxMarkDeleteRate() >= 0
? persistencePolicies.getManagedLedgerMaxMarkDeleteRate()
: serviceConfig.getManagedLedgerDefaultMarkDeleteRateLimit());
这段三元表达式正是 PIP-427 的核心语义落地:速率为负数(-1)时回退到 broker 配置的 managedLedgerDefaultMarkDeleteRateLimit;非负值(含 0)则原样采用。
ManagedLedger 与 ManagedCursor 中的限流器
ManagedLedgerConfig 通过 getThrottleMarkDelete()(ManagedLedgerConfig.java)暴露速率。在 ManagedCursorImpl.java 中,cursor 初始化时若配置速率大于 0 则创建 Guava RateLimiter:
if (getConfig().getThrottleMarkDelete() > 0.0) {
markDeleteLimiter = RateLimiter.create(getConfig().getThrottleMarkDelete());
}
setThrottleMarkDelete(ManagedCursorImpl.java)则支持动态调整:速率大于 0 时创建或更新限流器,否则(即 0 或负数)将 markDeleteLimiter 置为 null,表示禁用 mark-delete 限流——这正是 0 的语义来源。此外,ManagedLedgerImpl.java 在配置变化时会遍历所有 cursor 并调用 setThrottleMarkDelete,确保已有 topic 的限流也随策略更新而动态生效。
策略更新的触发
命名空间策略变更后,PersistentTopic.checkPersistencePolicies() 会重新拉取 ManagedLedgerConfig 并调用 this.ledger.setConfig(config),注释明确写道"update managed-ledger config and managed-cursor.markDeleteRate",从而把新速率同步到既有 topic 的 managed-ledger 与 cursor。
兼容性影响:修复视角下的前后兼容
PIP-427 将本次行为变更定性为"对不安全默认行为的 bug 修复",并给出了明确的兼容性分析。
向后兼容
修复前,依赖 set-persistence 顺带把 mark-delete 速率重置为 0 的脚本(例如仅传入 --backlog-quota-limit-size 的用法),修复后将改为应用 broker 的默认限流(如 1.0)。这正是期望的结果。若脚本需要保留"关闭限流"的旧行为,必须显式改为:
pulsar-admin namespaces set-persistence <tenant/namespace> --ml-mark-delete-max-rate 0
这一改动把原本可能造成危害的隐式行为变得显式、有意图。
向前兼容
新代码运行在集群上时,由于"显式设置值"的既有逻辑完全不变,旧版本客户端发来的 API 调用仍会被正确解释,预计不存在向前兼容问题。
对既有命名空间的影响
该变更不会影响任何已存在的命名空间——只有调用 set-persistence 时才会涉及默认值的重新判定。
备选方案:为什么不做"硬编码 1.0"或"只改文档"
PIP 文档还记录了被否决的两个备选方案,理解它们有助于把握设计取舍:
- 将 CLI 默认硬编码为 1.0:被否决,因为这样无法尊重管理员在
broker.conf中自定义的默认值(如managedLedgerDefaultMarkDeleteRateLimit=5.0)。必须由 broker 作为其默认配置的唯一权威来源,CLI 不应擅自假定数值; - 只更新文档说明:被否决,因为这会把不直观且有害的默认行为保留在一个功能强大的多用途命令上。"最小惊讶原则"(principle of least surprise)要求工具行为本身更安全,而非靠文档提醒用户规避。
测试验证:-1 回退 broker 默认值的完整用例
仓库中的 AdminApi2Test.java 提供了 testNamespacePersistencePoliciesWithManagedLedgerMaxMarkDeleteRate 集成测试,逐层验证 PIP-427 的行为,覆盖以下场景:
- 设置初始策略:
setPersistence写入managedLedgerMaxMarkDeleteRate=25.0,并通过getPersistence与 managed-ledger 配置(getThrottleMarkDelete())双向校验; - 新 topic 生效:创建 topic 后验证
ManagedLedgerImpl的 config 与 cursor 的getThrottleMarkDelete()均为 25.0; - 策略更新:改为 75.0 后,
retryStrategically等待配置与 cursor 限流同步更新; - 新 topic 沿用更新策略:再次创建 topic,验证使用最新速率;
- -1 回退 broker 默认(PIP-427 核心场景):设置
managedLedgerMaxMarkDeleteRate=-1.0后创建新 topic,断言 managed-ledger 与 cursor 的getThrottleMarkDelete()均等于pulsar.getConfiguration().getManagedLedgerDefaultMarkDeleteRateLimit(),即 broker 级默认值; - 删除策略回退默认:
removePersistence后验证新 topic 的 ensemble/write/ack quorum 与 mark-delete 速率全部回落 broker 默认; - 既有 topic 同步回退:验证最初创建的 topic 与 cursor 在删除策略后同样应用 broker 默认限流。
该测试从"命名空间策略 → managed-ledger config → cursor 限流器"三个层面交叉断言,直观印证了 -1 哨兵值回退 broker 默认值的设计。
实操指南:安全使用 set-persistence 管理 mark-delete 限流
结合 PIP-427 的语义,管理员在实际运维中应遵循以下规范。
完整命令示例
显式设置 mark-delete 限流为每秒 100 次:
pulsar-admin namespaces set-persistence my-tenant/my-namespace \
--bookkeeper-ensemble 3 \
--bookkeeper-write-quorum 2 \
--bookkeeper-ack-quorum 1 \
--ml-mark-delete-max-rate 100
只修改其他策略(如 ensemble 大小)而希望保留 mark-delete 限流的 broker 默认值,可省略该参数(此时 CLI 默认 -1,broker 回退 managedLedgerDefaultMarkDeleteRateLimit):
pulsar-admin namespaces set-persistence my-tenant/my-namespace \
--bookkeeper-ensemble 5 \
--bookkeeper-write-quorum 3 \
--bookkeeper-ack-quorum 2
显式关闭限流(高风险操作,需有明确意图):
pulsar-admin namespaces set-persistence my-tenant/my-namespace \
--bookkeeper-ensemble 3 \
--bookkeeper-write-quorum 2 \
--bookkeeper-ack-quorum 1 \
--ml-mark-delete-max-rate 0
参数语义速查
| 参数值 | 语义 | 说明 |
|---|---|---|
> 0 |
限流开启 | 以每秒次数为单位的 mark-delete 写限流,对应 cursor 的 Guava RateLimiter 速率 |
0 |
限流关闭 | 不限制 mark-delete 写入,可能引发 BookKeeper 写入风暴,需显式指定 |
-1 |
未设置(默认) | 回退使用 broker 配置 managedLedgerDefaultMarkDeleteRateLimit(默认 1.0),即 conf/broker.conf |
查看与移除策略
# 查看命名空间当前持久化策略(含 mark-delete 速率)
pulsar-admin namespaces get-persistence my-tenant/my-namespace
# 移除命名空间级持久化策略,回退 broker 默认
pulsar-admin namespaces remove-persistence my-tenant/my-namespace
运维建议
- 若需调整全集群默认限流,应修改 broker 配置
managedLedgerDefaultMarkDeleteRateLimit(支持在 ServiceConfiguration.java 中查看其默认值 1.0)并滚动重启/动态刷新 broker; - 在脚本化调用
set-persistence时,建议显式声明--ml-mark-delete-max-rate的取值(哪怕是-1),使策略意图在脚本中可见、可审计; - 升级到包含 PIP-427 的 Pulsar 版本后,应审计历史脚本:凡是依赖"省略该参数即关闭限流"旧行为的脚本,都需要改为显式传
--ml-mark-delete-max-rate 0。
总结
PIP-427 是一次典型的"修复危险默认值"的设计改进:它把 pulsar-admin namespaces set-persistence 中 --ml-mark-delete-max-rate 的默认值从 0.0(关闭限流)改为 -1(未设置,回退 broker 默认),并让 broker 成为默认限流配置的唯一权威来源。从 CmdNamespaces.java 的 CLI 定义、BrokerService.java 的装配逻辑,到 ManagedCursorImpl.java 的限流器实现,再到 AdminApi2Test.java 的端到端验证,整个链路清晰可查。对运维人员而言,核心收获是:省略 mark-delete 参数不再意味着"关闭限流",而是"采用 broker 默认限流";任何关闭限流的操作都必须显式、有意图地完成。