Apache Pulsar中Broker错误日志问题的分析与解决
问题背景
在Apache Pulsar消息系统的使用过程中,开发人员发现当使用Reader接口读取消息并关闭后,Broker端会出现一些令人困惑的错误日志。这些错误日志虽然不影响功能正常运行,但会给运维人员带来不必要的困扰,可能掩盖真正的问题。
问题现象
当Reader客户端执行以下操作序列时会出现问题:
- 创建Reader并连接到主题
- 读取所有可用消息
- 关闭Reader连接
在此过程中,Broker日志中会出现错误信息:"Error reading entries at X:X : Cursor was already closed - Retrying to read in 1.0 seconds",随后又记录"Skipping read retry: Current Consumer null, havePendingRead false"。
技术分析
根本原因
这个问题源于Pulsar内部对非持久化游标(NonDurableCursor)的处理逻辑。当Reader执行readNext()然后关闭时,如果hasMoreEntries()返回false,系统会进入checkForNewEntries()流程并设置默认10ms的延迟检查。在这10ms延迟期间,非持久化游标的状态可能已经变为关闭。当延迟结束后执行检查时,就会抛出CursorAlreadyClosedException异常。
执行时序问题
具体的问题时序如下:
- asyncReadEntriesWithSkipOrWait被调用
- 游标状态变为已关闭
- 10ms延迟后执行checkForNewEntries
- 抛出CursorAlreadyClosedException异常
日志记录问题
PersistentDispatcherSingleActiveConsumer会记录两条日志:
- 错误日志:游标已关闭,将在1秒后重试
- 信息日志:跳过重试,因为当前消费者为null且没有待处理读取
解决方案
针对这个问题,社区提出了以下改进措施:
- 当非持久化游标已关闭时,不应记录错误日志
- 游标关闭后不应再调度读取操作
- 需要同时考虑持久化游标的处理逻辑是否合理
技术影响
这个问题的修复不仅解决了错误日志的困扰,还优化了Pulsar内部对游标状态的管理逻辑,提高了系统的健壮性。对于使用Reader接口的客户端应用来说,现在可以获得更清晰、更有意义的日志信息,便于问题排查和系统监控。
总结
Apache Pulsar作为一个成熟的消息系统,其内部状态管理非常复杂。这个问题的发现和解决展示了开源社区如何不断完善系统细节,提升用户体验。开发人员在遇到类似问题时,应当关注:
- 异步操作与状态变化的时序问题
- 错误日志的合理记录
- 资源关闭后的清理逻辑
通过这些最佳实践,可以构建更稳定、更易维护的分布式消息系统。
kernelopenEuler内核是openEuler操作系统的核心,既是系统性能与稳定性的基石,也是连接处理器、设备与服务的桥梁。C086
baihu-dataset异构数据集“白虎”正式开源——首批开放10w+条真实机器人动作数据,构建具身智能标准化训练基座。00
mindquantumMindQuantum is a general software library supporting the development of applications for quantum computation.Python057
PaddleOCR-VLPaddleOCR-VL 是一款顶尖且资源高效的文档解析专用模型。其核心组件为 PaddleOCR-VL-0.9B,这是一款精简却功能强大的视觉语言模型(VLM)。该模型融合了 NaViT 风格的动态分辨率视觉编码器与 ERNIE-4.5-0.3B 语言模型,可实现精准的元素识别。Python00
GLM-4.7GLM-4.7上线并开源。新版本面向Coding场景强化了编码能力、长程任务规划与工具协同,并在多项主流公开基准测试中取得开源模型中的领先表现。 目前,GLM-4.7已通过BigModel.cn提供API,并在z.ai全栈开发模式中上线Skills模块,支持多模态任务的统一规划与协作。Jinja00
agent-studioopenJiuwen agent-studio提供零码、低码可视化开发和工作流编排,模型、知识库、插件等各资源管理能力TSX0137
Spark-Formalizer-X1-7BSpark-Formalizer 是由科大讯飞团队开发的专用大型语言模型,专注于数学自动形式化任务。该模型擅长将自然语言数学问题转化为精确的 Lean4 形式化语句,在形式化语句生成方面达到了业界领先水平。Python00