OpenEBS 4.2版本发布:聚焦存储高可用与性能优化
项目概述
OpenEBS是一个开源的云原生存储解决方案,专为Kubernetes环境设计。作为容器原生存储系统,OpenEBS提供了多种存储引擎选项,包括LocalPV(本地持久卷)和Mayastor(复制存储引擎),能够满足不同场景下的存储需求。OpenEBS遵循微服务架构,每个卷都有自己的存储控制器,实现了细粒度的管理和控制。
版本核心特性
1. Mayastor引擎的重大升级
OpenEBS 4.2版本中,Mayastor存储引擎迎来了多项重要改进:
RDMA传输协议支持:这是本版本最值得关注的特性之一。Mayastor现在支持通过RDMA(远程直接内存访问)作为NVMe over Fabrics(NVMeoF)的传输协议。RDMA技术能够绕过操作系统内核,直接在应用程序内存和网络适配器之间传输数据,显著降低了延迟并提高了吞吐量。对于高性能计算、AI/ML训练等对存储延迟敏感的场景,这一特性将带来明显的性能提升。
CSAL ftl bdev支持:Mayastor集成了SPDK的ftl bdev(Cloud Storage Acceleration Layer)功能,这是一种分层存储加速技术。它通过在快速存储设备(如NVMe SSD)上建立写缓存层,有效缓冲写入操作,然后再异步写入后端存储,从而提升整体I/O性能。这种设计特别适合混合存储环境,能够充分发挥不同层级存储介质的性能优势。
稳定性增强:新版本改进了卷目标故障转移机制,优化了应用迁移场景下的处理流程。同时,为DSP操作符部署和CSI控制器添加了驱逐容忍设置,加快了故障转移速度,提高了系统整体可用性。
2. LocalPV存储引擎的改进
ZFS本地卷增强:
- 新增支持
zstd-fast
压缩算法,为用户提供了更多压缩选项,可以在压缩率和性能之间取得更好的平衡。 - 增加了对
refquota
或quota
的选择灵活性,让管理员能够根据具体需求配置更精细的存储配额策略。 - 修复了卷供应、控制器行为、预留和部署等多个方面的问题,提升了稳定性和可靠性。
Hostpath本地卷优化:
- 在Hostpath供应器部署中添加了驱逐容忍设置,防止关键存储组件被意外驱逐。
- 允许辅助pod使用主机网络,简化了网络配置。
- 新增全局
imageRegistry
Helm参数,方便用户统一指定所有镜像的仓库地址,简化了部署配置。
技术实现细节
Mayastor RDMA支持的技术实现
Mayastor的RDMA支持建立在SPDK(存储性能开发工具包)框架之上。SPDK提供了用户态NVMe驱动和RDMA网络栈,Mayastor在此基础上实现了完整的NVMe-oF目标端功能。当启用RDMA传输时:
- Mayastor会检测系统中可用的RDMA网络接口(如InfiniBand或RoCE适配器)
- 通过SPDK的RDMA传输模块建立低延迟的数据通道
- 使用NVMe-oF协议暴露卷设备,同时保持与原有TCP传输的兼容性
这种实现方式确保了在支持RDMA的环境中能够获得最佳性能,同时在不支持RDMA的环境中仍能回退到TCP传输。
ZFS压缩算法选择
OpenEBS 4.2为LocalPV ZFS增加了zstd-fast
压缩算法支持。Zstd(Zstandard)是一种现代压缩算法,在压缩速度和压缩率之间提供了良好的平衡。zstd-fast
是Zstd的一个变种,通过降低压缩级别换取更快的压缩速度,特别适合需要高吞吐量的场景。
用户现在可以在创建存储类时通过compression
参数指定压缩算法,例如:
compression: "zstd-fast"
升级注意事项
-
Kubernetes版本要求:建议使用Kubernetes 1.23或更高版本以获得最佳兼容性。
-
引擎兼容性:OpenEBS 4.2.0支持从以下存储引擎升级:
- Local PV Hostpath
- Local PV LVM
- Local PV ZFS
- Mayastor(从3.10.x或更早版本)
-
单节点环境特殊处理:在单节点Kubernetes环境中升级后,可能需要手动删除旧的ZFS-localpv/LVM-localpv控制器pod,以便新的pod能够正确调度。
已知限制与最佳实践
-
Mayastor性能特性:Mayastor IO引擎会完全利用分配的CPU核心,即使在没有I/O负载时也会以全速运行轮询器。这意味着在规划资源时需要预留足够的CPU资源给Mayastor组件。
-
存储池管理:目前Mayastor的DiskPool仍然限制为单个块设备,不支持跨多个设备扩展。在规划存储容量时需要考虑这一限制。
-
容量扩展:Mayastor v2.8.0尚不支持DiskPool的容量扩展功能。如果需要增加存储容量,建议提前规划好初始容量或考虑添加新的DiskPool。
-
生产环境部署建议:
- 对于需要高可用性的场景,确保配置足够的副本数(通常至少3个)
- 在启用RDMA支持前,验证网络基础设施的兼容性
- 定期监控卷和存储池的健康状态
总结
OpenEBS 4.2版本通过引入RDMA支持和多项存储引擎优化,进一步强化了其在云原生存储领域的竞争力。特别是对高性能场景的支持,使得OpenEBS能够更好地服务于AI/ML、大数据分析等I/O密集型工作负载。同时,LocalPV系列的持续改进也增强了其在边缘计算和轻量级部署场景下的适用性。
对于考虑采用或升级到OpenEBS的用户,建议根据实际工作负载特性选择合适的存储引擎,并充分测试新特性(如RDMA支持)在特定环境中的表现,以获得最佳的性能和稳定性。
ERNIE-4.5-VL-424B-A47B-Paddle
ERNIE-4.5-VL-424B-A47B 是百度推出的多模态MoE大模型,支持文本与视觉理解,总参数量424B,激活参数量47B。基于异构混合专家架构,融合跨模态预训练与高效推理优化,具备强大的图文生成、推理和问答能力。适用于复杂多模态任务场景。00pangu-pro-moe
盘古 Pro MoE (72B-A16B):昇腾原生的分组混合专家模型014kornia
🐍 空间人工智能的几何计算机视觉库Python00GitCode百大开源项目
GitCode百大计划旨在表彰GitCode平台上积极推动项目社区化,拥有广泛影响力的G-Star项目,入选项目不仅代表了GitCode开源生态的蓬勃发展,也反映了当下开源行业的发展趋势。00
热门内容推荐
最新内容推荐
项目优选









