首页
/ Apache Fury 0.10.3版本发布:性能优化与兼容性改进

Apache Fury 0.10.3版本发布:性能优化与兼容性改进

2025-06-15 11:28:14作者:裘旻烁

Apache Fury是一个高性能的多语言序列化框架,支持Java、Python、JavaScript等多种编程语言。它通过零拷贝和内存映射等技术实现了极高的序列化性能,特别适合大数据量和高并发的场景。本次发布的0.10.3版本主要针对Java和Python模块进行了多项优化和问题修复。

Java模块的重要改进

兼容性模式下的父类字段处理修复

在0.10.3版本中,修复了一个关于Java兼容性模式的重要问题。当类存在继承关系时,旧版本在兼容性模式下可能会遗漏父类字段的序列化。这个修复确保了在兼容性模式下,父类字段能够被正确识别和序列化。

需要注意的是,这个修复带来了一个不兼容变更:使用0.10.3之前版本序列化的带有父类的Java对象,在0.10.3版本中可能无法正确反序列化。开发者在升级时需要特别注意这一点。

二进制数据处理优化

本次版本对二进制数据的处理进行了多项优化:

  1. 修复了readVarUint36Small方法在缓冲区剩余空间不足时可能读取不完整的问题,确保了无论缓冲区剩余大小如何都能正确读取全部数据位。

  2. 改进了FuryObjectInputStream.read方法的行为,确保当请求长度大于0时,方法永远不会返回0,这符合Java IO规范的要求。

  3. 优化了MetaStringBytes中对空字符串的处理逻辑,避免了潜在的空指针异常。

Protobuf支持增强

新增了对Protobuf消息和字节字符串的序列化支持,这使得Fury可以更好地与现有的Protobuf生态系统集成。开发者现在可以直接将Protobuf生成的消息类通过Fury进行序列化,获得比原生Protobuf序列化更好的性能。

Python模块的改进

Python模块在0.10.3版本中主要解决了构建系统的问题:

  1. 修复了使用pyproject.toml构建PyFury时的问题,使得安装过程更加标准化和可靠。

  2. 改进了测试框架,现在能够正确打印测试过程中的异常信息,便于开发者调试问题。

  3. 确保构建过程中正确安装pyarrow依赖,避免了因依赖缺失导致的构建失败。

构建系统与测试改进

整个项目的构建系统也得到了一些增强:

  1. 移除了对Node.js 12的支持,保持与最新JavaScript生态系统的同步。

  2. 在Java模块中,将fury-test-core明确标记为测试依赖,避免了不必要的依赖传递。

  3. 改进了Bazel构建工具的安装流程,确保构建环境的可靠性。

升级建议

对于现有用户,升级到0.10.3版本时需要注意以下几点:

  1. 如果项目中使用Java兼容性模式序列化了带有继承关系的类,需要评估这个不兼容变更的影响,必要时进行数据迁移。

  2. Python用户可以直接通过pip安装新版本,构建问题已经修复。

  3. JavaScript用户需要注意Node.js版本要求已更新,不再支持Node.js 12。

Apache Fury 0.10.3版本通过这些问题修复和功能增强,进一步提升了框架的稳定性和可靠性,为高性能序列化场景提供了更好的支持。

登录后查看全文
热门项目推荐
相关项目推荐

项目优选

收起
docsdocs
暂无描述
Markdown
828
5.49 K
kernelkernel
openEuler内核是openEuler操作系统的核心,既是系统性能与稳定性的基石,也是连接处理器、设备与服务的桥梁。
C
494
518
ops-nnops-nn
本项目是CANN提供的神经网络类计算算子库,实现网络在NPU上加速计算。
C++
786
1.58 K
pytorchpytorch
作为 Ascend for PyTorch 社区的核心组件,TorchNPU 是昇腾专为 PyTorch 打造的深度学习适配插件,使 PyTorch 框架能够直接调用昇腾 NPU,为开发者提供昇腾 AI 处理器的超强算力。
Python
803
1.15 K
ops-transformerops-transformer
本项目是CANN提供的transformer类大模型算子库,实现网络在NPU上加速计算。
C++
975
2.29 K
kernelkernel
deepin linux kernel
C
32
16
AscendNPU-IRAscendNPU-IR
AscendNPU-IR是基于MLIR(Multi-Level Intermediate Representation)构建的,面向昇腾亲和算子编译时使用的中间表示,提供昇腾完备表达能力,通过编译优化提升昇腾AI处理器计算效率,支持通过生态框架使能昇腾AI处理器与深度调优
C++
483
313
jiuwenswarmjiuwenswarm
JiuwenSwarm 是一款基于openJiuwen开发的智能AI Agent,它能够将大语言模型的强大能力,通过你日常使用的各类通讯应用,直接延伸至你的指尖。
Python
3.02 K
770
cannbot-skillscannbot-skills
CANNBot 是面向 CANN 开发的用于提升开发效率的系列智能体,本仓库为其提供可复用的 Skills 模块。
Markdown
1.27 K
815
cann-learning-hubcann-learning-hub
CANN 学习中心仓,支持在线互动运行、边学边练,提供教程、示例与优化方案,一站式助力昇腾开发者快速上手。
Jupyter Notebook
652
288