Apache Pulsar 项目升级 protobuf-java 以解决安全漏洞问题
Apache Pulsar 作为一款高性能的分布式消息系统,其安全性一直是开发团队关注的重点。近期,项目组发现其依赖的 protobuf-java 库存在一个被标记为高风险的 CVE-2024-7254 安全问题,这促使团队立即采取了升级措施。
背景分析
Protocol Buffers(简称 protobuf)是 Google 开发的一种高效的数据序列化工具,广泛应用于分布式系统的通信协议中。protobuf-java 是其 Java 实现版本,Apache Pulsar 在多个组件中都使用了这个库进行数据序列化和反序列化操作。
CVE-2024-7254 虽然被标记为高风险问题,但经过技术团队评估,实际上对 Pulsar 用户的威胁有限。不过出于安全最佳实践的考虑,团队仍然决定尽快升级到修复版本 3.25.5。
技术挑战
在解决这个问题的过程中,开发团队面临几个关键技术挑战:
-
版本兼容性问题:protobuf 生成的存根类(stub classes)对版本有严格要求,不同版本间可能存在兼容性问题。这意味着升级需要谨慎处理,确保不会破坏现有功能。
-
依赖传递问题:Pulsar 的多个子项目(包括 BookKeeper)都依赖 protobuf-java,需要协调一致升级。
-
客户端灵活性:考虑到客户端应用可能使用不同版本的 protobuf 生成代码,需要提供机制让客户端能够选择适合的 protobuf-java 版本。
解决方案
技术团队采取了以下措施来解决这些问题:
-
统一升级:将 Pulsar 主项目和 BookKeeper 子项目都升级到 protobuf-java 3.25.5 版本,确保整个系统使用相同的修复版本。
-
客户端灵活性设计:修改依赖管理方式,使客户端应用能够根据需要选择 protobuf-java 版本,而不被 Pulsar 客户端库强制绑定特定版本。
-
兼容性保障:选择 3.25.5 版本作为基础升级目标,因为这个版本对客户端应用的冲击最小,且提供了良好的向后兼容性。
实施细节
在实际升级过程中,团队特别注意了以下几点:
- 确保所有 protobuf 生成的代码与新版本兼容
- 测试所有依赖 protobuf 的功能模块
- 验证跨版本的通信能力
- 更新相关文档说明版本要求变化
总结
这次安全升级不仅解决了 CVE-2024-7254 安全问题,还改进了 Pulsar 的依赖管理机制,为客户端应用提供了更大的灵活性。这体现了 Apache Pulsar 项目对安全问题的快速响应能力,以及对系统稳定性和兼容性的高度重视。
对于使用 Pulsar 的开发者和运维人员来说,建议尽快升级到包含这个修复的版本,以获得更好的安全性和稳定性保障。同时,在自定义客户端应用时,可以充分利用新的依赖管理机制,选择最适合自己项目的 protobuf-java 版本。
atomcodeClaude Code 的开源替代方案。连接任意大模型,编辑代码,运行命令,自动验证 — 全自动执行。用 Rust 构建,极致性能。 | An open-source alternative to Claude Code. Connect any LLM, edit code, run commands, and verify changes — autonomously. Built in Rust for speed. Get StartedRust0201
cann-learning-hubCANN 学习中心仓,支持在线互动运行、边学边练,提供教程、示例与优化方案,一站式助力昇腾开发者快速上手。Jupyter Notebook0130
MiMo-V2.5-Pro-FP4-DFlashMiMo-V2.5-Pro-FP4-DFlash 是驱动 MiMo-V2.5-Pro-UltraSpeed 的底层模型: FP4 量化骨干网络:对 MoE 专家采用 MXFP4 量化,同时保持模型其他部分的更高精度,在几乎无损质量的前提下,显著减小模型体积并降低内存带宽压力。 BF16 DFlash 草稿生成器:用于块扩散推测解码,每次前向传播可生成一整个块的 tokens,并让骨干网络一步完成验证。 两者协同作用,既降低了每参数的位宽,又减少了骨干网络前向传播的次数,而这两者正是万亿参数模型解码过程中的两大主要成本来源。Python00
JoyAI-EchoJoyAI-Echo,这是一个独立的、仅用于推理的版本,旨在实现分钟级多镜头音视频生成。它采用了经过蒸馏的DMD生成器、配对的跨模态记忆以及故事级别的一致性。其性能的核心在于,一个跨模态视听记忆库能够在长达五分钟的视频中保持角色外观和语音音色的一致性。同时,一个训练后处理流程将基于记忆的强化学习与分布匹配蒸馏相结合,实现了7.5倍的速度提升,显著增强了视觉质量和对齐效果。00
AstrBot✨ 易上手的多平台 LLM 聊天机器人及开发框架 ✨ 平台支持 QQ、QQ频道、Telegram、微信、企微、飞书 | OpenAI、DeepSeek、Gemini、硅基流动、月之暗面、Ollama、OneAPI、Dify 等。附带 WebUI。Python08
handy-ollama动手学Ollama,CPU玩转大模型部署,在线阅读地址:https://datawhalechina.github.io/handy-ollama/Jupyter Notebook07