首页
/ OpenEBS 4.2版本发布:聚焦存储高可用与性能优化

OpenEBS 4.2版本发布:聚焦存储高可用与性能优化

2025-06-06 15:19:32作者:薛曦旖Francesca

项目概述

OpenEBS是一个开源的云原生存储解决方案,专为Kubernetes环境设计。作为容器原生存储系统,OpenEBS提供了多种存储引擎选项,包括LocalPV(本地持久卷)和Mayastor(复制存储引擎),能够满足不同场景下的存储需求。OpenEBS遵循微服务架构,每个卷都有自己的存储控制器,实现了细粒度的管理和控制。

版本核心特性

1. Mayastor引擎的重大升级

OpenEBS 4.2版本中,Mayastor存储引擎迎来了多项重要改进:

RDMA传输协议支持:这是本版本最值得关注的特性之一。Mayastor现在支持通过RDMA(远程直接内存访问)作为NVMe over Fabrics(NVMeoF)的传输协议。RDMA技术能够绕过操作系统内核,直接在应用程序内存和网络适配器之间传输数据,显著降低了延迟并提高了吞吐量。对于高性能计算、AI/ML训练等对存储延迟敏感的场景,这一特性将带来明显的性能提升。

CSAL ftl bdev支持:Mayastor集成了SPDK的ftl bdev(Cloud Storage Acceleration Layer)功能,这是一种分层存储加速技术。它通过在快速存储设备(如NVMe SSD)上建立写缓存层,有效缓冲写入操作,然后再异步写入后端存储,从而提升整体I/O性能。这种设计特别适合混合存储环境,能够充分发挥不同层级存储介质的性能优势。

稳定性增强:新版本改进了卷目标故障转移机制,优化了应用迁移场景下的处理流程。同时,为DSP操作符部署和CSI控制器添加了驱逐容忍设置,加快了故障转移速度,提高了系统整体可用性。

2. LocalPV存储引擎的改进

ZFS本地卷增强

  • 新增支持zstd-fast压缩算法,为用户提供了更多压缩选项,可以在压缩率和性能之间取得更好的平衡。
  • 增加了对refquotaquota的选择灵活性,让管理员能够根据具体需求配置更精细的存储配额策略。
  • 修复了卷供应、控制器行为、预留和部署等多个方面的问题,提升了稳定性和可靠性。

Hostpath本地卷优化

  • 在Hostpath供应器部署中添加了驱逐容忍设置,防止关键存储组件被意外驱逐。
  • 允许辅助pod使用主机网络,简化了网络配置。
  • 新增全局imageRegistry Helm参数,方便用户统一指定所有镜像的仓库地址,简化了部署配置。

技术实现细节

Mayastor RDMA支持的技术实现

Mayastor的RDMA支持建立在SPDK(存储性能开发工具包)框架之上。SPDK提供了用户态NVMe驱动和RDMA网络栈,Mayastor在此基础上实现了完整的NVMe-oF目标端功能。当启用RDMA传输时:

  1. Mayastor会检测系统中可用的RDMA网络接口(如InfiniBand或RoCE适配器)
  2. 通过SPDK的RDMA传输模块建立低延迟的数据通道
  3. 使用NVMe-oF协议暴露卷设备,同时保持与原有TCP传输的兼容性

这种实现方式确保了在支持RDMA的环境中能够获得最佳性能,同时在不支持RDMA的环境中仍能回退到TCP传输。

ZFS压缩算法选择

OpenEBS 4.2为LocalPV ZFS增加了zstd-fast压缩算法支持。Zstd(Zstandard)是一种现代压缩算法,在压缩速度和压缩率之间提供了良好的平衡。zstd-fast是Zstd的一个变种,通过降低压缩级别换取更快的压缩速度,特别适合需要高吞吐量的场景。

用户现在可以在创建存储类时通过compression参数指定压缩算法,例如:

compression: "zstd-fast"

升级注意事项

  1. Kubernetes版本要求:建议使用Kubernetes 1.23或更高版本以获得最佳兼容性。

  2. 引擎兼容性:OpenEBS 4.2.0支持从以下存储引擎升级:

    • Local PV Hostpath
    • Local PV LVM
    • Local PV ZFS
    • Mayastor(从3.10.x或更早版本)
  3. 单节点环境特殊处理:在单节点Kubernetes环境中升级后,可能需要手动删除旧的ZFS-localpv/LVM-localpv控制器pod,以便新的pod能够正确调度。

已知限制与最佳实践

  1. Mayastor性能特性:Mayastor IO引擎会完全利用分配的CPU核心,即使在没有I/O负载时也会以全速运行轮询器。这意味着在规划资源时需要预留足够的CPU资源给Mayastor组件。

  2. 存储池管理:目前Mayastor的DiskPool仍然限制为单个块设备,不支持跨多个设备扩展。在规划存储容量时需要考虑这一限制。

  3. 容量扩展:Mayastor v2.8.0尚不支持DiskPool的容量扩展功能。如果需要增加存储容量,建议提前规划好初始容量或考虑添加新的DiskPool。

  4. 生产环境部署建议

    • 对于需要高可用性的场景,确保配置足够的副本数(通常至少3个)
    • 在启用RDMA支持前,验证网络基础设施的兼容性
    • 定期监控卷和存储池的健康状态

总结

OpenEBS 4.2版本通过引入RDMA支持和多项存储引擎优化,进一步强化了其在云原生存储领域的竞争力。特别是对高性能场景的支持,使得OpenEBS能够更好地服务于AI/ML、大数据分析等I/O密集型工作负载。同时,LocalPV系列的持续改进也增强了其在边缘计算和轻量级部署场景下的适用性。

对于考虑采用或升级到OpenEBS的用户,建议根据实际工作负载特性选择合适的存储引擎,并充分测试新特性(如RDMA支持)在特定环境中的表现,以获得最佳的性能和稳定性。

登录后查看全文
热门项目推荐

项目优选

收起
RuoYi-Vue3RuoYi-Vue3
🎉 (RuoYi)官方仓库 基于SpringBoot,Spring Security,JWT,Vue3 & Vite、Element Plus 的前后端分离权限管理系统
Vue
854
505
kernelkernel
deepin linux kernel
C
21
5
openHiTLSopenHiTLS
旨在打造算法先进、性能卓越、高效敏捷、安全可靠的密码套件,通过轻量级、可剪裁的软件技术架构满足各行业不同场景的多样化要求,让密码技术应用更简单,同时探索后量子等先进算法创新实践,构建密码前沿技术底座!
C
246
288
ShopXO开源商城ShopXO开源商城
🔥🔥🔥ShopXO企业级免费开源商城系统,可视化DIY拖拽装修、包含PC、H5、多端小程序(微信+支付宝+百度+头条&抖音+QQ+快手)、APP、多仓库、多商户、多门店、IM客服、进销存,遵循MIT开源协议发布、基于ThinkPHP8框架研发
JavaScript
93
15
UAVSUAVS
智能无人机路径规划仿真系统是一个具有操作控制精细、平台整合性强、全方向模型建立与应用自动化特点的软件。它以A、B两国在C区开展无人机战争为背景,该系统的核心功能是通过仿真平台规划无人机航线,并进行验证输出,数据可导入真实无人机,使其按照规定路线精准抵达战场任一位置,支持多人多设备编队联合行动。
JavaScript
78
55
nop-entropynop-entropy
Nop Platform 2.0是基于可逆计算理论实现的采用面向语言编程范式的新一代低代码开发平台,包含基于全新原理从零开始研发的GraphQL引擎、ORM引擎、工作流引擎、报表引擎、规则引擎、批处理引引擎等完整设计。nop-entropy是它的后端部分,采用java语言实现,可选择集成Spring框架或者Quarkus框架。中小企业可以免费商用
Java
7
0
vue-devuivue-devui
基于全新 DevUI Design 设计体系的 Vue3 组件库,面向研发工具的开源前端解决方案。
TypeScript
615
74
ohos_react_nativeohos_react_native
React Native鸿蒙化仓库
C++
176
260
CangjieCommunityCangjieCommunity
为仓颉编程语言开发者打造活跃、开放、高质量的社区环境
Markdown
1.07 K
0
Cangjie-ExamplesCangjie-Examples
本仓将收集和展示高质量的仓颉示例代码,欢迎大家投稿,让全世界看到您的妙趣设计,也让更多人通过您的编码理解和喜爱仓颉语言。
Cangjie
331
1.08 K