Bento v1.7.0 版本发布:增强 XML 处理与 Protobuf 支持
Bento 是一个高性能的数据流处理框架,专注于简化复杂数据管道的构建和管理。它提供了丰富的输入输出连接器、处理器和转换工具,使开发者能够轻松地构建、部署和监控数据流应用程序。Bento 的设计理念强调灵活性和可扩展性,支持多种数据格式和协议,适用于从简单的日志处理到复杂的实时分析等各种场景。
近日,Bento 发布了 v1.7.0 版本,带来了多项重要功能增强和问题修复。这个版本特别关注于 XML 数据处理能力的提升和 Protobuf 支持的扩展,同时也改进了 HTTP 服务器输出功能并修复了一些关键问题。
XML 处理能力显著增强
v1.7.0 版本在 XML 数据处理方面进行了重大改进。新增的 xml_documents_to_json 和 xml_documents_to_json:cast 选项为 unarchive 处理器的 format 字段提供了更灵活的 XML 转换能力。这些选项允许开发者将 XML 文档转换为 JSON 格式,其中 cast 选项还能智能地将 XML 中的数据类型转换为对应的 JSON 数据类型,大大简化了异构系统间的数据交换。
更值得一提的是,这个版本引入了全新的 xml_documents 扫描器。这个扫描器能够消费一个或多个 XML 文档流,并将其分解为离散的消息。这一功能特别适合处理包含多个 XML 文档的连续数据流,如从消息队列或文件系统中读取的 XML 数据。xml_documents 扫描器会自动识别 XML 文档边界,确保每个文档都能被正确处理,而不会因为文档边界问题导致数据损坏或解析失败。
Protobuf 支持扩展:远程 Schema 注册表集成
对于使用 Protocol Buffers 的开发团队,v1.7.0 带来了一个令人兴奋的新功能。protobuf 处理器现在支持 bsr 字段,这意味着可以直接从远程的 Buf Schema Registry (BSR) 加载和使用 schema。这一改进显著简化了 Protobuf schema 的管理和分发流程,特别是在微服务架构中,不同服务可以轻松共享和同步 Protobuf 定义。
通过集成 BSR,开发者不再需要手动分发 .proto 文件或担心版本不一致的问题。Bento 现在可以直接从中央注册表获取最新的 schema 定义,确保数据序列化和反序列化的一致性。这一功能特别适合大规模分布式系统,其中多个服务需要交换 Protobuf 编码的消息。
HTTP 服务器输出支持 Server-Sent Events
在输出功能方面,v1.7.0 为 http_server 输出添加了 stream_format 和 heartbeat 字段,使其能够发射 Server-Sent Events (SSE)。SSE 是一种轻量级的服务器推送技术,允许服务器通过 HTTP 连接向客户端持续发送更新。
这一改进使得 Bento 能够更高效地处理实时数据推送场景,如实时监控、即时通知等。heartbeat 字段特别有用,它可以配置定期发送的心跳消息,保持连接活跃并检测客户端是否仍然在线。对于构建实时 Web 应用程序的开发人员来说,这一功能提供了简单而强大的工具来实现服务器到客户端的实时数据流。
关键问题修复与稳定性提升
除了新功能外,v1.7.0 还包含了一些重要的修复和改进:
-
改进了在优雅关闭期间对上下文取消/超时的处理,确保在关闭流时能正确记录错误日志。这一改进使得系统在关闭时的行为更加可预测,便于诊断问题。
-
修复了
MessageAwareRateLimit公共实现的注册问题,确保速率限制功能在各种场景下都能正常工作。这对于需要精确控制消息处理速率的应用程序尤为重要。
总结
Bento v1.7.0 版本通过增强 XML 处理能力、扩展 Protobuf 支持和改进 HTTP 服务器输出,为开发者提供了更强大、更灵活的数据流处理工具。特别是对 XML 和 Protobuf 的改进,使得 Bento 在处理现代数据格式方面更加全面。这些新功能和改进进一步巩固了 Bento 作为构建复杂数据管道的首选框架的地位,无论是处理传统数据格式还是实现实时数据流,都能提供出色的性能和灵活性。
atomcodeClaude Code 的开源替代方案。连接任意大模型,编辑代码,运行命令,自动验证 — 全自动执行。用 Rust 构建,极致性能。 | An open-source alternative to Claude Code. Connect any LLM, edit code, run commands, and verify changes — autonomously. Built in Rust for speed. Get StartedRust0197
cann-learning-hubCANN 学习中心仓,支持在线互动运行、边学边练,提供教程、示例与优化方案,一站式助力昇腾开发者快速上手。Jupyter Notebook0126
MiMo-V2.5-Pro-FP4-DFlashMiMo-V2.5-Pro-FP4-DFlash 是驱动 MiMo-V2.5-Pro-UltraSpeed 的底层模型: FP4 量化骨干网络:对 MoE 专家采用 MXFP4 量化,同时保持模型其他部分的更高精度,在几乎无损质量的前提下,显著减小模型体积并降低内存带宽压力。 BF16 DFlash 草稿生成器:用于块扩散推测解码,每次前向传播可生成一整个块的 tokens,并让骨干网络一步完成验证。 两者协同作用,既降低了每参数的位宽,又减少了骨干网络前向传播的次数,而这两者正是万亿参数模型解码过程中的两大主要成本来源。Python00
JoyAI-EchoJoyAI-Echo,这是一个独立的、仅用于推理的版本,旨在实现分钟级多镜头音视频生成。它采用了经过蒸馏的DMD生成器、配对的跨模态记忆以及故事级别的一致性。其性能的核心在于,一个跨模态视听记忆库能够在长达五分钟的视频中保持角色外观和语音音色的一致性。同时,一个训练后处理流程将基于记忆的强化学习与分布匹配蒸馏相结合,实现了7.5倍的速度提升,显著增强了视觉质量和对齐效果。00
AstrBot✨ 易上手的多平台 LLM 聊天机器人及开发框架 ✨ 平台支持 QQ、QQ频道、Telegram、微信、企微、飞书 | OpenAI、DeepSeek、Gemini、硅基流动、月之暗面、Ollama、OneAPI、Dify 等。附带 WebUI。Python05
handy-ollama动手学Ollama,CPU玩转大模型部署,在线阅读地址:https://datawhalechina.github.io/handy-ollama/Jupyter Notebook07