OpenEBS 4.2版本发布:聚焦存储高可用与性能优化
项目概述
OpenEBS是一个开源的云原生存储解决方案,专为Kubernetes环境设计。作为容器原生存储系统,OpenEBS提供了多种存储引擎选项,包括LocalPV(本地持久卷)和Mayastor(复制存储引擎),能够满足不同场景下的存储需求。OpenEBS遵循微服务架构,每个卷都有自己的存储控制器,实现了细粒度的管理和控制。
版本核心特性
1. Mayastor引擎的重大升级
OpenEBS 4.2版本中,Mayastor存储引擎迎来了多项重要改进:
RDMA传输协议支持:这是本版本最值得关注的特性之一。Mayastor现在支持通过RDMA(远程直接内存访问)作为NVMe over Fabrics(NVMeoF)的传输协议。RDMA技术能够绕过操作系统内核,直接在应用程序内存和网络适配器之间传输数据,显著降低了延迟并提高了吞吐量。对于高性能计算、AI/ML训练等对存储延迟敏感的场景,这一特性将带来明显的性能提升。
CSAL ftl bdev支持:Mayastor集成了SPDK的ftl bdev(Cloud Storage Acceleration Layer)功能,这是一种分层存储加速技术。它通过在快速存储设备(如NVMe SSD)上建立写缓存层,有效缓冲写入操作,然后再异步写入后端存储,从而提升整体I/O性能。这种设计特别适合混合存储环境,能够充分发挥不同层级存储介质的性能优势。
稳定性增强:新版本改进了卷目标故障转移机制,优化了应用迁移场景下的处理流程。同时,为DSP操作符部署和CSI控制器添加了驱逐容忍设置,加快了故障转移速度,提高了系统整体可用性。
2. LocalPV存储引擎的改进
ZFS本地卷增强:
- 新增支持
zstd-fast压缩算法,为用户提供了更多压缩选项,可以在压缩率和性能之间取得更好的平衡。 - 增加了对
refquota或quota的选择灵活性,让管理员能够根据具体需求配置更精细的存储配额策略。 - 修复了卷供应、控制器行为、预留和部署等多个方面的问题,提升了稳定性和可靠性。
Hostpath本地卷优化:
- 在Hostpath供应器部署中添加了驱逐容忍设置,防止关键存储组件被意外驱逐。
- 允许辅助pod使用主机网络,简化了网络配置。
- 新增全局
imageRegistryHelm参数,方便用户统一指定所有镜像的仓库地址,简化了部署配置。
技术实现细节
Mayastor RDMA支持的技术实现
Mayastor的RDMA支持建立在SPDK(存储性能开发工具包)框架之上。SPDK提供了用户态NVMe驱动和RDMA网络栈,Mayastor在此基础上实现了完整的NVMe-oF目标端功能。当启用RDMA传输时:
- Mayastor会检测系统中可用的RDMA网络接口(如InfiniBand或RoCE适配器)
- 通过SPDK的RDMA传输模块建立低延迟的数据通道
- 使用NVMe-oF协议暴露卷设备,同时保持与原有TCP传输的兼容性
这种实现方式确保了在支持RDMA的环境中能够获得最佳性能,同时在不支持RDMA的环境中仍能回退到TCP传输。
ZFS压缩算法选择
OpenEBS 4.2为LocalPV ZFS增加了zstd-fast压缩算法支持。Zstd(Zstandard)是一种现代压缩算法,在压缩速度和压缩率之间提供了良好的平衡。zstd-fast是Zstd的一个变种,通过降低压缩级别换取更快的压缩速度,特别适合需要高吞吐量的场景。
用户现在可以在创建存储类时通过compression参数指定压缩算法,例如:
compression: "zstd-fast"
升级注意事项
-
Kubernetes版本要求:建议使用Kubernetes 1.23或更高版本以获得最佳兼容性。
-
引擎兼容性:OpenEBS 4.2.0支持从以下存储引擎升级:
- Local PV Hostpath
- Local PV LVM
- Local PV ZFS
- Mayastor(从3.10.x或更早版本)
-
单节点环境特殊处理:在单节点Kubernetes环境中升级后,可能需要手动删除旧的ZFS-localpv/LVM-localpv控制器pod,以便新的pod能够正确调度。
已知限制与最佳实践
-
Mayastor性能特性:Mayastor IO引擎会完全利用分配的CPU核心,即使在没有I/O负载时也会以全速运行轮询器。这意味着在规划资源时需要预留足够的CPU资源给Mayastor组件。
-
存储池管理:目前Mayastor的DiskPool仍然限制为单个块设备,不支持跨多个设备扩展。在规划存储容量时需要考虑这一限制。
-
容量扩展:Mayastor v2.8.0尚不支持DiskPool的容量扩展功能。如果需要增加存储容量,建议提前规划好初始容量或考虑添加新的DiskPool。
-
生产环境部署建议:
- 对于需要高可用性的场景,确保配置足够的副本数(通常至少3个)
- 在启用RDMA支持前,验证网络基础设施的兼容性
- 定期监控卷和存储池的健康状态
总结
OpenEBS 4.2版本通过引入RDMA支持和多项存储引擎优化,进一步强化了其在云原生存储领域的竞争力。特别是对高性能场景的支持,使得OpenEBS能够更好地服务于AI/ML、大数据分析等I/O密集型工作负载。同时,LocalPV系列的持续改进也增强了其在边缘计算和轻量级部署场景下的适用性。
对于考虑采用或升级到OpenEBS的用户,建议根据实际工作负载特性选择合适的存储引擎,并充分测试新特性(如RDMA支持)在特定环境中的表现,以获得最佳的性能和稳定性。
atomcodeClaude Code 的开源替代方案。连接任意大模型,编辑代码,运行命令,自动验证 — 全自动执行。用 Rust 构建,极致性能。 | An open-source alternative to Claude Code. Connect any LLM, edit code, run commands, and verify changes — autonomously. Built in Rust for speed. Get StartedRust0152- DDeepSeek-V4-ProDeepSeek-V4-Pro(总参数 1.6 万亿,激活 49B)面向复杂推理和高级编程任务,在代码竞赛、数学推理、Agent 工作流等场景表现优异,性能接近国际前沿闭源模型。Python00
LongCat-Video-Avatar-1.5最新开源LongCat-Video-Avatar 1.5 版本,这是一款经过升级的开源框架,专注于音频驱动人物视频生成的极致实证优化与生产级就绪能力。该版本在 LongCat-Video 基础模型之上构建,可生成高度稳定的商用级虚拟人视频,支持音频-文本转视频(AT2V)、音频-文本-图像转视频(ATI2V)以及视频续播等原生任务,并能无缝兼容单流与多流音频输入。00
auto-devAutoDev 是一个 AI 驱动的辅助编程插件。AutoDev 支持一键生成测试、代码、提交信息等,还能够与您的需求管理系统(例如Jira、Trello、Github Issue 等)直接对接。 在IDE 中,您只需简单点击,AutoDev 会根据您的需求自动为您生成代码。Kotlin03
Intern-S2-PreviewIntern-S2-Preview,这是一款高效的350亿参数科学多模态基础模型。除了常规的参数与数据规模扩展外,Intern-S2-Preview探索了任务扩展:通过提升科学任务的难度、多样性与覆盖范围,进一步释放模型能力。Python00
skillhubopenJiuwen 生态的 Skill 托管与分发开源方案,支持自建与可选 ClawHub 兼容。Python0112