首页
/ OpenEBS 4.2版本发布:聚焦存储高可用与性能优化

OpenEBS 4.2版本发布:聚焦存储高可用与性能优化

2025-06-06 04:52:09作者:薛曦旖Francesca

项目概述

OpenEBS是一个开源的云原生存储解决方案,专为Kubernetes环境设计。作为容器原生存储系统,OpenEBS提供了多种存储引擎选项,包括LocalPV(本地持久卷)和Mayastor(复制存储引擎),能够满足不同场景下的存储需求。OpenEBS遵循微服务架构,每个卷都有自己的存储控制器,实现了细粒度的管理和控制。

版本核心特性

1. Mayastor引擎的重大升级

OpenEBS 4.2版本中,Mayastor存储引擎迎来了多项重要改进:

RDMA传输协议支持:这是本版本最值得关注的特性之一。Mayastor现在支持通过RDMA(远程直接内存访问)作为NVMe over Fabrics(NVMeoF)的传输协议。RDMA技术能够绕过操作系统内核,直接在应用程序内存和网络适配器之间传输数据,显著降低了延迟并提高了吞吐量。对于高性能计算、AI/ML训练等对存储延迟敏感的场景,这一特性将带来明显的性能提升。

CSAL ftl bdev支持:Mayastor集成了SPDK的ftl bdev(Cloud Storage Acceleration Layer)功能,这是一种分层存储加速技术。它通过在快速存储设备(如NVMe SSD)上建立写缓存层,有效缓冲写入操作,然后再异步写入后端存储,从而提升整体I/O性能。这种设计特别适合混合存储环境,能够充分发挥不同层级存储介质的性能优势。

稳定性增强:新版本改进了卷目标故障转移机制,优化了应用迁移场景下的处理流程。同时,为DSP操作符部署和CSI控制器添加了驱逐容忍设置,加快了故障转移速度,提高了系统整体可用性。

2. LocalPV存储引擎的改进

ZFS本地卷增强

  • 新增支持zstd-fast压缩算法,为用户提供了更多压缩选项,可以在压缩率和性能之间取得更好的平衡。
  • 增加了对refquotaquota的选择灵活性,让管理员能够根据具体需求配置更精细的存储配额策略。
  • 修复了卷供应、控制器行为、预留和部署等多个方面的问题,提升了稳定性和可靠性。

Hostpath本地卷优化

  • 在Hostpath供应器部署中添加了驱逐容忍设置,防止关键存储组件被意外驱逐。
  • 允许辅助pod使用主机网络,简化了网络配置。
  • 新增全局imageRegistry Helm参数,方便用户统一指定所有镜像的仓库地址,简化了部署配置。

技术实现细节

Mayastor RDMA支持的技术实现

Mayastor的RDMA支持建立在SPDK(存储性能开发工具包)框架之上。SPDK提供了用户态NVMe驱动和RDMA网络栈,Mayastor在此基础上实现了完整的NVMe-oF目标端功能。当启用RDMA传输时:

  1. Mayastor会检测系统中可用的RDMA网络接口(如InfiniBand或RoCE适配器)
  2. 通过SPDK的RDMA传输模块建立低延迟的数据通道
  3. 使用NVMe-oF协议暴露卷设备,同时保持与原有TCP传输的兼容性

这种实现方式确保了在支持RDMA的环境中能够获得最佳性能,同时在不支持RDMA的环境中仍能回退到TCP传输。

ZFS压缩算法选择

OpenEBS 4.2为LocalPV ZFS增加了zstd-fast压缩算法支持。Zstd(Zstandard)是一种现代压缩算法,在压缩速度和压缩率之间提供了良好的平衡。zstd-fast是Zstd的一个变种,通过降低压缩级别换取更快的压缩速度,特别适合需要高吞吐量的场景。

用户现在可以在创建存储类时通过compression参数指定压缩算法,例如:

compression: "zstd-fast"

升级注意事项

  1. Kubernetes版本要求:建议使用Kubernetes 1.23或更高版本以获得最佳兼容性。

  2. 引擎兼容性:OpenEBS 4.2.0支持从以下存储引擎升级:

    • Local PV Hostpath
    • Local PV LVM
    • Local PV ZFS
    • Mayastor(从3.10.x或更早版本)
  3. 单节点环境特殊处理:在单节点Kubernetes环境中升级后,可能需要手动删除旧的ZFS-localpv/LVM-localpv控制器pod,以便新的pod能够正确调度。

已知限制与最佳实践

  1. Mayastor性能特性:Mayastor IO引擎会完全利用分配的CPU核心,即使在没有I/O负载时也会以全速运行轮询器。这意味着在规划资源时需要预留足够的CPU资源给Mayastor组件。

  2. 存储池管理:目前Mayastor的DiskPool仍然限制为单个块设备,不支持跨多个设备扩展。在规划存储容量时需要考虑这一限制。

  3. 容量扩展:Mayastor v2.8.0尚不支持DiskPool的容量扩展功能。如果需要增加存储容量,建议提前规划好初始容量或考虑添加新的DiskPool。

  4. 生产环境部署建议

    • 对于需要高可用性的场景,确保配置足够的副本数(通常至少3个)
    • 在启用RDMA支持前,验证网络基础设施的兼容性
    • 定期监控卷和存储池的健康状态

总结

OpenEBS 4.2版本通过引入RDMA支持和多项存储引擎优化,进一步强化了其在云原生存储领域的竞争力。特别是对高性能场景的支持,使得OpenEBS能够更好地服务于AI/ML、大数据分析等I/O密集型工作负载。同时,LocalPV系列的持续改进也增强了其在边缘计算和轻量级部署场景下的适用性。

对于考虑采用或升级到OpenEBS的用户,建议根据实际工作负载特性选择合适的存储引擎,并充分测试新特性(如RDMA支持)在特定环境中的表现,以获得最佳的性能和稳定性。

登录后查看全文
热门项目推荐
相关项目推荐

项目优选

收起
leetcodeleetcode
🔥LeetCode solutions in any programming language | 多种编程语言实现 LeetCode、《剑指 Offer(第 2 版)》、《程序员面试金典(第 6 版)》题解
Java
51
14
Cangjie-ExamplesCangjie-Examples
本仓将收集和展示高质量的仓颉示例代码,欢迎大家投稿,让全世界看到您的妙趣设计,也让更多人通过您的编码理解和喜爱仓颉语言。
Cangjie
289
820
RuoYi-Vue3RuoYi-Vue3
🎉 (RuoYi)官方仓库 基于SpringBoot,Spring Security,JWT,Vue3 & Vite、Element Plus 的前后端分离权限管理系统
Vue
484
388
ohos_react_nativeohos_react_native
React Native鸿蒙化仓库
C++
110
195
openGauss-serveropenGauss-server
openGauss kernel ~ openGauss is an open source relational database management system
C++
58
139
cherry-studiocherry-studio
🍒 Cherry Studio 是一款支持多个 LLM 提供商的桌面客户端
TypeScript
364
37
cjoycjoy
一个高性能、可扩展、轻量、省心的仓颉Web框架。Rest, 宏路由,Json, 中间件,参数绑定与校验,文件上传下载,MCP......
Cangjie
59
7
CangjieCommunityCangjieCommunity
为仓颉编程语言开发者打造活跃、开放、高质量的社区环境
Markdown
977
0
openHiTLSopenHiTLS
旨在打造算法先进、性能卓越、高效敏捷、安全可靠的密码套件,通过轻量级、可剪裁的软件技术架构满足各行业不同场景的多样化要求,让密码技术应用更简单,同时探索后量子等先进算法创新实践,构建密码前沿技术底座!
C
96
250
CangjieMagicCangjieMagic
基于仓颉编程语言构建的 LLM Agent 开发框架,其主要特点包括:Agent DSL、支持 MCP 协议,支持模块化调用,支持任务智能规划。
Cangjie
578
41