OpenVelinux内核中的设备映射器快照技术详解
2025-06-19 07:28:42作者:裘晴惠Vivianne
什么是设备映射器快照
设备映射器(Device-mapper)是Linux内核提供的一个重要框架,它允许在不进行大规模数据复制的情况下实现块设备的快照功能。这项技术在OpenVelinux内核中得到了完整实现,为系统管理员和开发者提供了强大的存储管理能力。
快照技术的核心价值在于:
- 创建块设备在某个时间点的可挂载、可写入的状态副本
- 实现数据流的"分叉",即同一数据源的多个不同版本
- 支持将快照内容合并回原始设备
快照工作原理
设备映射器快照采用写时复制(COW, Copy-On-Write)机制,只有当数据块被修改时才会进行复制操作。这种设计带来了显著的效率提升:
- 初始创建:快照创建瞬间完成,几乎不占用额外存储空间
- 写入处理:当原始设备数据被修改时,原始数据块会先被复制到专门的COW设备中
- 读取处理:读取操作会根据数据是否被修改,智能地从原始设备或COW设备获取数据
快照相关目标类型
OpenVelinux内核提供了三种设备映射器目标来实现快照功能:
1. snapshot-origin(快照源)
这是所有快照的基础设备,具有以下特性:
- 通常有一个或多个基于它的快照
- 读取操作直接映射到底层设备
- 写入操作会触发COW机制,将原始数据保存到各快照的COW设备中
2. snapshot(快照)
创建原始块设备的快照副本,关键参数包括:
<origin>:原始设备<COW device>:存储变更块的设备<persistent?>:持久性选项(P/N/PO)<chunksize>:数据块大小(扇区为单位)
持久性选项说明:
- P:持久化快照,重启后仍然有效
- N:非持久化快照,仅存在于内存中
- PO:支持溢出通知的持久化快照
3. snapshot-merge(快照合并)
用于将快照内容合并回原始设备,特点包括:
- 仅适用于持久化快照
- 在后台自动执行合并过程
- 合并期间原始设备仍可访问
- 合并完成后,快照设备将不可用
高级功能选项
OpenVelinux内核的快照实现还提供了两个重要的可选功能:
-
discard_zeroes_cow:
- 当对快照设备发出discard操作时
- 如果操作覆盖整个数据块
- 对应的异常条目将被清零
-
discard_passdown_origin:
- 将快照设备的discard操作传递给原始设备
- 不会触发COW操作
- 需要先启用discard_zeroes_cow功能
LVM2中的实际应用
逻辑卷管理器LVM2广泛使用了设备映射器快照技术。当创建第一个LVM快照时,实际上会创建四个设备映射器设备:
- 包含源卷原始映射表的设备
- 用作COW设备的专用设备
- 组合前两者的可见快照卷
- 使用原始设备号的"原始"卷,其映射表被替换为snapshot-origin
典型的LVM快照创建命令:
lvcreate -L 1G -n base volumeGroup
lvcreate -L 100M --snapshot -n snap volumeGroup/base
快照合并过程
在LVM2中合并快照的典型流程:
-
执行合并命令:
lvconvert --merge volumeGroup/snap -
系统内部变化:
- snapshot-origin被替换为snapshot-merge
- COW设备重命名为-cow
- 原始快照设备被停用
-
合并过程在后台自动进行,期间原始卷仍可访问
监控合并进度
管理员可以通过以下方式监控快照合并进度:
-
检查设备状态:
dmsetup status volumeGroup-base -
观察输出格式:
<sectors_allocated>/<total_sectors> <metadata_sectors>
合并完成的标志是sectors_allocated等于metadata_sectors,表示只有元数据占用空间,实际数据已全部合并。
最佳实践建议
- 容量监控:密切监控COW设备的剩余空间,避免因空间耗尽导致快照失效
- 性能考量:快照操作会引入额外的I/O开销,生产环境应评估性能影响
- 合并时机:选择系统负载较低时段执行快照合并操作
- 备份策略:快照不应替代常规备份,而是作为临时保护措施
通过深入理解OpenVelinux内核中的设备映射器快照技术,系统管理员可以更有效地管理存储资源,实现灵活的数据保护策略。
登录后查看全文
热门项目推荐
atomcodeClaude Code 的开源替代方案。连接任意大模型,编辑代码,运行命令,自动验证 — 全自动执行。用 Rust 构建,极致性能。 | An open-source alternative to Claude Code. Connect any LLM, edit code, run commands, and verify changes — autonomously. Built in Rust for speed. Get StartedRust0172
cann-learning-hubCANN 学习中心仓,支持在线互动运行、边学边练,提供教程、示例与优化方案,一站式助力昇腾开发者快速上手。Jupyter Notebook098
Step-3.7-FlashStep-3.7-Flash是一个拥有 1980 亿参数的稀疏混合专家(MoE)视觉语言模型,由 1960 亿参数的语言主干网络和 18 亿参数的视觉编码器组合而成,具备原生图像理解能力。Python00
BitCPM-CANN-8BBitCPM-CANN 是首个基于华为昇腾 NPU 原生构建的端到端 1.58 位(三值化)大语言模型训练系统。该系统将量化感知训练(QAT)集成到 Megatron-LM 框架中,并结合 MindSpeed 加速,覆盖了从自定义三值算子到基于昇腾 910B 的分布式并行训练的完整训练栈。Python00
MiniCPM5-1BMiniCPM5-1B,这是 MiniCPM5 系列的首款模型。它是一个专为端侧、本地部署和资源受限场景打造的 10 亿参数密集型 Transformer 模型,达到了 10 亿参数级开源模型的 SOTA 水平Jinja00
skillhubopenJiuwen 生态的 Skill 托管与分发开源方案,支持自建与可选 ClawHub 兼容。Python0239
项目优选
收起
暂无描述
Dockerfile
750
4.87 K
本项目是CANN提供的transformer类大模型算子库,实现网络在NPU上加速计算。
C++
841
1.84 K
本项目是CANN提供的神经网络类计算算子库,实现网络在NPU上加速计算。
C++
642
1.28 K
Ascend Extension for PyTorch
Python
689
834
openEuler内核是openEuler操作系统的核心,既是系统性能与稳定性的基石,也是连接处理器、设备与服务的桥梁。
C
451
419
本项目是CANN提供的数学类基础计算算子库,实现网络在NPU上加速计算。
C++
1.02 K
1.04 K
Claude Code 的开源替代方案。连接任意大模型,编辑代码,运行命令,自动验证 — 全自动执行。用 Rust 构建,极致性能。 | An open-source alternative to Claude Code. Connect any LLM, edit code, run commands, and verify changes — autonomously. Built in Rust for speed.
Get Started
Rust
1.59 K
172
CANNBot 是面向 CANN 开发的用于提升开发效率的系列智能体,本仓库为其提供可复用的 Skills 模块。
Python
956
561
昇腾LLM分布式训练框架
Python
173
214
暂无简介
Dart
998
259