Learn X in Y Minutes 系列:ZFS 存储系统管理员入门与命令行实战指南
Learn X in Y Minutes 系列:ZFS 存储系统管理员入门与命令行实战指南
ZFS 是重新设计的存储栈:它将传统文件系统与卷管理器(volume manager)合二为一,用一套自有的术语体系(VDEV、存储池、数据集)为系统管理员提供高可用、易操作的数据管理能力。本指南以 learnxinyminutes-docs 仓库中意大利语版 it/zfs.md 为骨架,结合仓库内的 英文原版 与 中文版,完整讲解 ZFS 的核心概念、zpool/zfs 命令行操作、快照与备份机制,以及 ZIL、L2ARC、压缩、加密等进阶特性,帮助你从零开始掌握这套现代存储方案。
ZFS 基础概念
ZFS 与传统存储系统最大的不同在于它对存储栈的重新抽象:用户看到的文件系统与底层物理磁盘的真实布局被彻底分离,而这套分层设计正是通过三个核心概念实现的。
虚拟设备(Virtual Device,VDEV)
VDEV 是 ZFS 中最底层的存储单元,可以类比为 RAID 阵列卡呈现给操作系统的逻辑设备。VDEV 有多种类型,各自在冗余(redundancy)与性能上提供不同的取舍。总体而言,VDEV 提供的可靠性与安全性优于传统 RAID 卡,因此文档明确建议:使用 ZFS 时不要叠加 RAID 阵列卡,让 ZFS 直接管理底层物理磁盘。
| VDEV 类型 | 类似 RAID | 说明 |
|---|---|---|
| mirror | RAID 1 | 支持 n-way 多路镜像,用于冗余 |
| raidz1 | RAID 5 | 单盘奇偶校验,可容忍 1 块磁盘故障 |
| raidz2 | RAID 6 | 双盘奇偶校验,可容忍 2 块磁盘故障 |
| raidz3 | — | 三盘奇偶校验,可容忍 3 块磁盘故障(无对应 RAID 级别) |
| disk | — | 表示 VDEV 中的单块物理磁盘 |
| file | — | 基于文件的 VDEV,不推荐用于生产环境,因为会引入一层多余的文件系统 |
数据会以条带化(striping)方式分布在存储池中的所有 VDEV 上,因此存储池中的 VDEV 越多,IOPS(每秒输入输出操作数)越高。规划存储池时,需要同时权衡冗余能力和性能:更多 VDEV 带来更高吞吐,但也意味着需要更多磁盘来维持同等冗余度。
存储池(Storage Pool)
存储池是 ZFS 对底层存储提供者(VDEV)的抽象层。它把"用户可见的文件系统"与"物理磁盘的实际布局"分离开来:系统管理员在池之上创建数据集,而不必关心数据具体落在哪块磁盘上。这种抽象让容量管理、设备替换和池扩展都变得透明可控。
数据集(Dataset)
数据集类似于传统文件系统(或目录),但提供了远为丰富的功能,ZFS 的诸多优势都体现在这一层。数据集原生支持:
- Copy on Write(写时复制):写入操作不覆盖旧数据,而是先写入新位置再原子切换指针,从根本上避免"写一半崩溃"导致的文件损坏;
- 快照(snapshot):秒级创建、近乎零成本的任意时间点副本;
- 配额(quota):限制数据集可用空间;
- 压缩(compression):按数据集粒度开启,透明压缩落盘数据;
- 去重(de-duplication):消除重复数据块,节省存储空间。
规模限制
ZFS 的设计目标之一是"存储容量不再成为瓶颈",其理论限制远超任何实际部署需求:
- 单个目录最多可包含 2^48 个文件,每个文件最大可达 16 EB(exabytes);
- 单个存储池最多可容纳 256 ZB(2^78 字节)空间,可条带化分布在 2^64 个设备上;
- 单个主机最多可创建 2^64 个存储池。
这些数字意味着:普通工作负载下 ZFS 的容量限制实际上可以忽略不计。
存储池管理:zpool 命令
zpool 命令负责存储池的整个生命周期管理,核心动作包括:
- List:列出所有存储池
- Status:查看存储池状态
- Destroy:销毁存储池
- Get/Set:读取 / 修改存储池属性
创建并列出存储池
# 创建一个 raidz1 类型的存储池,名称为 zroot
$ zpool create zroot raidz1 gpt/zfs0 gpt/zfs1 gpt/zfs2
# 列出所有存储池
$ zpool list
NAME SIZE ALLOC FREE EXPANDSZ FRAG CAP DEDUP HEALTH ALTROOT
zroot 141G 106G 35.2G - 43% 75% 1.00x ONLINE -
# 查看某个存储池的详细信息(-v 显示底层 VDEV)
$ zpool list -v zroot
NAME SIZE ALLOC FREE EXPANDSZ FRAG CAP DEDUP HEALTH ALTROOT
zroot 141G 106G 35.2G - 43% 75% 1.00x ONLINE -
gptid/c92a5ccf-a5bb-11e4-a77d-001b2172c655 141G 106G 35.2G - 43% 75%
zpool list 输出的关键列含义:
- SIZE / ALLOC / FREE:池的总容量、已分配容量与空闲容量;
- FRAG:碎片化程度(百分比);
- CAP:容量使用率(ALLOC / SIZE);
- DEDUP:去重因子(1.00x 表示未开启去重);
- HEALTH:池健康状态,
ONLINE表示一切正常; - ALTROOT:备用挂载根目录,默认
-。
注意示例中使用的 gpt/zfs0 等是 FreeBSD 下的 GPT 分区标签,其他平台可使用 /dev/sda 或 /dev/disk/by-id/... 形式的设备路径。
查看状态与执行 scrub
# 获取全部存储池的状态信息
$ zpool status
pool: zroot
state: ONLINE
scan: scrub repaired 0 in 2h51m with 0 errors on Thu Oct 1 07:08:31 2015
config:
NAME STATE READ WRITE CKSUM
zroot ONLINE 0 0 0
gptid/c92a5ccf-a5bb-11e4-a77d-001b2172c655 ONLINE 0 0 0
errors: No known data errors
# 对 zroot 发起 scrub,纠正可能存在的错误
$ zpool scrub zroot
$ zpool status -v zroot
pool: zroot
state: ONLINE
scan: scrub in progress since Thu Oct 15 16:59:14 2015
39.1M scanned out of 106G at 1.45M/s, 20h47m to go
0 repaired, 0.04% done
config:
NAME STATE READ WRITE CKSUM
zroot ONLINE 0 0 0
gptid/c92a5ccf-a5bb-11e4-a77d-001b2172c655 ONLINE 0 0 0
errors: No known data errors
zpool status 是 ZFS 运维最常用的健康检查命令:它逐 VDEV 显示 READ / WRITE / CKSUM 三个方向的 I/O 错误计数,0 0 0 表示无错误。zpool scrub 会全量读取池中数据并对照校验和进行一致性校验,能主动发现并修复静默数据损坏(bit rot);scrub 过程对在线服务的影响很小,建议作为例行维护定期执行。
读取与修改存储池属性
# 获取存储池全部属性(属性来源可能是系统提供或用户设置)
$ zpool get all zroot
NAME PROPERTY VALUE SOURCE
zroot size 141G -
zroot capacity 75% -
zroot altroot - default
zroot health ONLINE -
...
# 设置存储池属性(示例:给 zroot 添加备注信息)
$ zpool set comment="Dati" zroot
$ zpool get comment
NAME PROPERTY VALUE SOURCE
tank comment - default
zroot comment Dati local
属性的 SOURCE 列标注了取值来源:default 表示系统默认值,local 表示由管理员显式设置,- 表示只读的系统属性。comment 属性常用来记录池的用途、负责人等运维信息。
销毁存储池
# 销毁名为 test 的存储池(不可逆操作,请谨慎确认)
$ zpool destroy test
数据集管理:zfs 命令
zfs 命令负责存储池之上的数据集(filesystem / volume)管理,核心动作包括:
- Create:创建数据集
- List:列出数据集
- Rename:重命名
- Delete:删除
- Get/Set:读取 / 修改属性
创建数据集
# 创建数据集 zroot/root/data,创建后自动挂载
$ zfs create zroot/root/data
$ mount | grep data
zroot/root/data on /data (zfs, local, nfsv4acls)
# 创建子数据集(嵌套层级,继承父级属性)
$ zfs create zroot/root/data/stuff
$ mount | grep data
zroot/root/data on /data (zfs, local, nfsv4acls)
zroot/root/data/stuff on /data/stuff (zfs, local, nfsv4acls)
# 创建卷(Volume,使用 -V 指定块设备语义,可用于虚拟机磁盘等场景)
$ zfs create -V zroot/win_vm
$ zfs list zroot/win_vm
NAME USED AVAIL REFER MOUNTPOINT
zroot/win_vm 4.13G 17.9G 64K -
数据集支持父子嵌套:子数据集会继承父级的属性设置与挂载点规则(默认挂载点为数据集路径本身)。-V 创建的是 zvol(块设备卷),挂载点显示为 -,适合作为虚拟机磁盘、iSCSI LUN 等场景使用。
列出数据集
# 列出所有数据集
$ zfs list
NAME USED AVAIL REFER MOUNTPOINT
zroot 106G 30.8G 144K none
zroot/ROOT 18.5G 30.8G 144K none
zroot/ROOT/10.1 8K 30.8G 9.63G /
zroot/ROOT/default 18.5G 30.8G 11.2G /
zroot/backup 5.23G 30.8G 144K none
zroot/home 288K 30.8G 144K none
...
# 查看指定数据集的信息
$ zfs list zroot/home
NAME USED AVAIL REFER MOUNTPOINT
zroot/home 288K 30.8G 144K none
# 只列出快照
$ zfs list -t snapshot
zroot@daily-2015-10-15 0 - 144K -
zroot/ROOT@daily-2015-10-15 0 - 144K -
zroot/ROOT/default@daily-2015-10-15 0 - 24.2G -
zroot/tmp@daily-2015-10-15 124K - 708M -
zroot/usr@daily-2015-10-15 0 - 144K -
zroot/home@daily-2015-10-15 0 - 11.9G -
zroot/var@daily-2015-10-15 704K - 1.42G -
zroot/var/log@daily-2015-10-15 192K - 828K -
zroot/var/tmp@daily-2015-10-15 0 - 152K -
列表中的关键列含义:
- USED:该数据集及其快照实际占用的空间;
- AVAIL:当前可用空间;
- REFER:数据集自身(不含快照)引用的数据量;
- MOUNTPOINT:挂载点,
none表示不自动挂载。
注意快照的命名规则:数据集名@快照名,如 zroot/home@daily-2015-10-15。-t snapshot 参数让运维可以快速盘点所有快照的分布与占用。
重命名与删除数据集
# 重命名数据集(可借此实现挂载点迁移)
$ zfs rename zroot/root/home zroot/root/old_home
$ zfs rename zroot/root/new_home zroot/root/home
# 删除数据集
# 注意:数据集若存在快照则无法直接删除,需先处理其快照
$ zfs destroy zroot/root/home
读取与修改数据集属性
# 获取数据集全部属性
$ zfs get all zroot/usr/home
NAME PROPERTY VALUE SOURCE
zroot/home type filesystem -
zroot/home creation Mon Oct 20 14:44 2014 -
zroot/home used 11.9G -
zroot/home available 94.1G -
zroot/home referenced 11.9G -
zroot/home mounted yes -
...
# 查看单项属性(示例:压缩状态)
$ zfs get compression zroot/usr/home
NAME PROPERTY VALUE SOURCE
zroot/home compression off default
# 设置属性(示例:对数据集开启 lz4 压缩)
$ zfs set compression=lz4 zroot/lamb
# 批量查看所有数据集的指定属性(name、quota、reservation)
$ zfs list -o name,quota,reservation
NAME QUOTA RESERV
zroot none none
zroot/ROOT none none
zroot/ROOT/default none none
zroot/tmp none none
zroot/usr none none
zroot/home none none
zroot/var none none
...
zfs list -o 可以自由组合输出列,是批量审计配额(quota)与预留(reservation)配置的高效手段:none 表示未设置限制。配额控制数据集可用空间上限,预留则保证数据集至少保留指定空间,两者都是多租户场景下的核心管理工具。
快照(Snapshot):ZFS 的王牌功能
快照是 ZFS 最受关注的功能之一,其特性可以用四个要点概括:
- 空间开销极小:快照占用的空间等于"当前文件系统与快照时刻数据之间的差异量",不产生完整副本;
- 创建速度以秒计:得益于写时复制架构,快照创建几乎是瞬间完成;
- 恢复速度等于磁盘写入速度:回滚或克隆都以原生磁盘带宽进行;
- 极易自动化:可配合 cron / systemd timer 等工具无缝集成到备份流程。
快照支持的操作:创建、删除、重命名、访问、发送/接收(Send/Receive)、克隆(Clone)。
创建快照
# 为单个数据集创建快照
zfs snapshot zroot/home/sarlalian@now
# 为数据集及其所有子数据集递归创建快照(-r)
$ zfs snapshot -r zroot/home@now
$ zfs list -t snapshot
NAME USED AVAIL REFER MOUNTPOINT
zroot/home@now 0 - 26K -
zroot/home/sarlalian@now 0 - 259M -
zroot/home/alice@now 0 - 156M -
zroot/home/bob@now 0 - 156M -
...
-r 递归快照是批量保护一棵数据集树的推荐做法——父数据集与其每个子数据集都会获得同一时间点的快照。示例中每个快照的 USED 为 0,REFER 各自指向其数据集的数据量,正体现了快照只记录差异的本质。
删除快照
# 删除单个快照
$ zfs destroy zroot/home/sarlalian@now
# 递归删除父数据集及其子数据集上的同名快照
$ zfs destroy -r zroot/home/sarlalian@now
重命名快照
# 完整形式:修改数据集名与快照名
$ zfs rename zroot/home/sarlalian@now zroot/home/sarlalian@today
# 短形式:只修改快照名
$ zfs rename zroot/home/sarlalian@now today
# 递归重命名(-r):统一将 @now 改为 @yesterday
$ zfs rename -r zroot/home@now @yesterday
访问快照内容
# 快照以隐藏目录形式暴露在挂载点下,可直接用 cd 进入浏览
$ cd /home/.zfs/snapshot/
ZFS 在每个数据集挂载点下维护一个隐藏的 .zfs/snapshot/ 目录,其中列出该数据集的全部快照。这一机制让你无需任何特殊工具即可像浏览普通目录一样找回历史版本的文件,对于误删文件的恢复场景极为实用。
发送与接收(Send / Receive)
Send/Receive 是 ZFS 完成备份与异地容灾的基石:zfs send 将快照以流(stream)形式导出,zfs recv(zfs receive 的简写)在目标端导入。
# 将快照备份为文件(可配合 gzip 压缩)
$ zfs send zroot/home/sarlalian@now | gzip > backup_file.gz
# 将快照发送到同一主机上的另一个数据集
$ zfs send zroot/home/sarlalian@now | zfs recv backups/home/sarlalian
# 将快照发送到远程主机(通过 ssh 管道)
$ zfs send zroot/home/sarlalian@now | ssh root@backup_server 'zfs recv zroot/home/sarlalian'
# 递归发送整个数据集及其全部快照(-R 表示递归,-v 显示进度)
$ zfs send -v -R zroot/home@now | ssh root@backup_server 'zfs recv zroot/home'
-R 递归发送会连同子数据集与历史快照一并打包,非常适合整树迁移或灾备复制;配合 -i 增量发送(发送两个快照之间的差异)可以将备份流量降到最低。由于 ZFS 流格式自带校验,接收端能够验证数据的完整性,这是传统 rsync 类工具不具备的优势。
克隆快照
# 从快照克隆出新的数据集(初始不复制数据,共享底层块)
$ zfs clone zroot/home/sarlalian@now zroot/home/sarlalian_new
# promote 提升克隆:让克隆脱离对原始快照的依赖
$ zfs promote zroot/home/sarlalian_new
克隆与快照的区别在于:快照是只读的,而克隆是一个可写的、从快照派生的数据集,且初始创建瞬间完成(写时复制共享数据)。zfs promote 会把克隆提升为新的"主数据集",使其不再依赖原始快照链——这在基于快照搭建测试/开发环境时尤其有用。
进阶特性:ZIL、L2ARC、压缩与加密
以下进阶主题来自仓库中的 英文原版文档,它们与上文概念一脉相承,是生产环境调优与安全加固的关键。
写日志池(ZIL,ZFS Intent Log)
ZFS Intent Log(ZIL)是用于加速**同步写(synchronous write)**的写日志,通常放置在一块比主存储池更快的小容量盘(或分区)上,用于承接数据库类应用的高频同步写请求。
# 向 mypool/lamb 添加一块日志盘
$ zpool add mypool/lamb log /dev/sdX
# 查看配置确认日志盘已就位
$ zpool status mypool/lamb
读缓存池(L2ARC)
L2ARC(Level 2 Adaptive Replacement Cache)是对主内存缓存 ARC(在 RAM 中)的扩展,专门用于读缓存:将热数据缓存到一块高速盘(通常是 SSD)上,从而降低对慢速大盘的读压力。
# 向 mypool/lamb 添加一块缓存盘
$ zpool add mypool/lamb cache /dev/sdY
# 查看配置确认缓存盘已就位
$ zpool status mypool/lamb
数据压缩(Data Compression)
压缩以少量 CPU 开销换取磁盘空间,并且由于落盘数据量减少、磁盘 I/O 相应降低,在"CPU 富余而磁盘带宽紧张"的系统上,开启压缩反而能提升整体性能。zfs get -help 中可见 ZFS 支持的完整压缩算法列表:
compression NO YES on | off | lzjb | gzip | gzip-[1-9] | zle | lz4 | zstd | zstd-[1-19] | zstd-fast | zstd-fast-[1-10,20,30,40,50,60,70,80,90,100,500,1000]
on/off:开关;lzjb:ZFS 早期默认算法,压缩率一般;gzip/gzip-[1-9]:可调压缩级别的 gzip,级别越高越耗 CPU;lz4:速度极快且压缩率可观,现代 ZFS 部署的推荐默认值;zstd系列:提供zstd-[1-19]级别与zstd-fast高速档位,是追求更高压缩率的现代选择。
# 开启压缩(使用 lz4)
$ zfs set compression=on mypool/lamb
# 或显式指定算法
$ zfs set compression=lz4 mypool/lamb
# 确认压缩设置生效
$ zpool get compression mypool/lamb
注意压缩、配额等属性属于数据集属性,用 zfs set 管理;而存储池自身属性(如 comment)用 zpool set 管理。
静态数据加密(Encryption at Rest)
加密以额外 CPU 开销为代价,确保数据在设备上是密文存储。该属性只能在数据集创建时设置,之后无法对已有数据集直接开启。
# 在存储池上启用 encryption 特性(需较新的 ZFS 版本支持)
$ zpool set feature@encryption=enabled black_hole
# 创建加密数据集,以交互方式输入口令短语(keyformat=passphrase)
$ zfs create -o encryption=on -o keyformat=passphrase black_hole/enc
# 确认加密状态
$ zfs get encryption black_hole/enc
关于加密覆盖范围,需要明确以下几点(来自英文原版文档的对照表):
| 组件 | 是否加密 | 说明 |
|---|---|---|
| 主数据存储 | 是 | 数据集 / 卷中的数据已加密 |
| ZIL(写日志) | 是 | 同步写请求以加密形式记录 |
| L2ARC(缓存) | 是 | 缓存数据以加密形式存储 |
| RAM(ARC) | 否 | 内存主缓存中的数据不加密 |
| Swap 交换区 | 视情况 | 若 ZFS swap 数据集本身加密,则随之加密 |
| ZFS 元数据 | 是 | 加密数据集的元数据同样加密 |
| 快照数据 | 是 | 加密数据集的快照同样加密 |
| Send/Receive 传输 | 视情况 | 数据集已加密且使用 -w 标志时,传输过程加密 |
这份清单提醒管理员:加密保护的是"静态存储"环节,运行中的内存数据与未使用 -w 的复制流仍可能以明文形式出现,部署前需评估完整的威胁模型。
综合实战:FreeBSD jail + ZFS + MySQL 一键搭建 staging 库
把前面的知识串起来,来看仓库英文原版文档提供的一个真实运维脚本:它利用 FreeBSD、jails 与 ZFS,自动在 MySQL 复制集群的从库(slave)上,为 staging(预发布)数据库生成一份干净、独立的拷贝。整个流程正是"快照 + 克隆"的典型生产应用:
#!/bin/sh
echo "==== Stopping the staging database server ===="
jail -r staging
echo "==== Cleaning up existing staging server and snapshot ===="
zfs destroy -r zroot/jails/staging
zfs destroy zroot/jails/slave@staging
echo "==== Quiescing the slave database ===="
echo "FLUSH TABLES WITH READ LOCK;" | /usr/local/bin/mysql -u root -pmyrootpassword -h slave
echo "==== Snapshotting the slave db filesystem as zroot/jails/slave@staging ===="
zfs snapshot zroot/jails/slave@staging
echo "==== Starting the slave database server ===="
jail -c slave
echo "==== Cloning the slave snapshot to the staging server ===="
zfs clone zroot/jails/slave@staging zroot/jails/staging
echo "==== Installing the staging mysql config ===="
mv /jails/staging/usr/local/etc/my.cnf /jails/staging/usr/local/etc/my.cnf.slave
cp /jails/staging/usr/local/etc/my.cnf.staging /jails/staging/usr/local/etc/my.cnf
echo "==== Setting up the staging rc.conf file ===="
mv /jails/staging/etc/rc.conf.local /jails/staging/etc/rc.conf.slave
mv /jails/staging/etc/rc.conf.staging /jails/staging/etc/rc.conf.local
echo "==== Starting the staging db server ===="
jail -c staging
echo "==== Makes the staging database not pull from the master ===="
echo "STOP SLAVE;" | /usr/local/bin/mysql -u root -pmyrootpassword -h staging
echo "RESET SLAVE;" | /usr/local/bin/mysql -u root -pmyrootpassword -h staging
脚本的关键设计值得逐段拆解:
- 停机与清理:先停止旧的 staging jail,用
zfs destroy -r清理上次的 staging 数据集与旧快照; - 静默从库:对从库执行
FLUSH TABLES WITH READ LOCK,让数据处于一致的快照点; - 打快照:对从库文件系统
zroot/jails/slave拍摄@staging快照,随后立即启动从库——快照保证一致性,停机窗口只有打快照的短短几秒; - 克隆:
zfs clone从快照瞬间派生出 staging 数据集,共享数据块、零拷贝开销; - 差异化配置:替换 MySQL 的
my.cnf与 FreeBSD jail 的rc.conf.local,让 staging 使用独立端口 / 配置,不与生产从库冲突; - 脱离复制:启动 staging 后执行
STOP SLAVE; RESET SLAVE;,切断其与主库的复制链路,使其成为一份独立的数据快照。
这套方案的收益是巨大的:传统做法要么停机拷贝全量数据(分钟级),要么用逻辑备份导入(更慢),而 ZFS 方案把"从库 → 干净的 staging 实例"的整个周期压缩到秒级,且每次重建都保证数据一致性。无论你使用的是 FreeBSD、Linux(OpenZFS)还是 illumos 系系统,这一模式都可以平移复用到你的环境中。
延伸阅读
本文档在仓库中有多个语言版本可供对照阅读:
- ZFS(英文原版):包含更完整的示例输出与进阶特性表;
- ZFS(简体中文版):中文概念对照,便于快速上手;
- ZFS(俄语版):另一份翻译参考。
建议的进阶学习路径:先掌握本文的 VDEV → 存储池 → 数据集 → 快照这条主线,再动手在虚拟机中创建一个小型池(用 file 类型 VDEV 做实验即可,仅生产环境不推荐),逐步尝试 zfs send -R 的异地备份与 zfs clone 的开发环境快速交付——把命令敲熟之后,你就能真正体会到 ZFS"文件系统 + 卷管理器 + 快照引擎"三位一体的设计威力。