Rook-Ceph分布式存储指南:iac中K8s块存储与对象存储的完整配置
Rook-Ceph分布式存储指南:iac中K8s块存储与对象存储的完整配置
在 iac 这个 GitOps 驱动的家庭实验室基础设施仓库中,Rook-Ceph 分布式存储 是整个 Kubernetes 集群的存储底座:它以 3 块 NVMe SSD 构建出 2 副本的块存储池,为集群里几乎所有应用(数据库、监控、相册、媒体库)提供高可用的持久化存储。本文带你从零看懂 iac 中 Rook-Ceph 的部署方式、块存储配置与对象存储预留方案。
为什么家庭实验室需要 Rook-Ceph?
普通 Kubernetes 集群的默认存储往往依赖单节点的本地磁盘,一旦节点故障数据即丢失。而 Ceph 提供的分布式存储能力可以带来三大核心价值:
- 🔒 数据冗余:多副本机制让任意一台节点宕机,数据依然可读可写
- 📦 统一供给:块存储(RBD)、文件存储(CephFS)、对象存储(S3 兼容)三类接口一应俱全
- 🧩 原生 K8s 集成:通过 CSI 驱动,应用声明 PVC 就能自动创建卷,无需手工干预
iac 项目正是利用 Rook 这个"K8s 里的 Ceph 管家",把上述能力全部声明为 Git 仓库中的 YAML 文件,由 Flux 自动完成部署与持续调和。
部署架构:3 节点 Talos 集群 + NVMe SSD
Rook-Ceph 部署在基于 Talos OS 的 3 节点物理集群(talos-4 / talos-5 / talos-6)上,每个节点指定一块独立的 NVMe 磁盘作为 OSD 设备,相关节点定义见 kubernetes/talos/patches/:
| 节点 | OSD 设备(NVMe) |
|---|---|
| talos-4 | nvme-eui.36483330543292750025385800000001 |
| talos-5 | nvme-eui.36483331543165880025384600000001 |
| talos-6 | nvme-eui.36483330543357870025384600000001 |
3 个 OSD + 3 个 MON,构成了最小的高可用拓扑:允许坏 1 块盘 / 掉 1 个节点而不丢数据。
GitOps 三步部署:Operator → CSI → Cluster
在 kubernetes/cluster/rook-ceph/ks.yaml 中,Flux 用三个 Kustomization 定义了严格的部署顺序:
- rook-ceph-operator:先安装 Rook Operator,负责后续对 Ceph 组件的编排
- ceph-csi-drivers:安装 CSI 驱动(
dependsOn: rook-ceph-operator),打通 K8s 与 Ceph 的卷管理通道 - rook-ceph-cluster:最后创建真正的 Ceph 集群与存储池
三个组件的 Helm Chart 均通过 OCI 仓库源拉取,版本锁定为 1.21.0,定义见 kubernetes/cluster/rook-ceph/cluster/source.yaml:
kind: OCIRepository
spec:
ref:
tag: 1.21.0
url: oci://ghcr.io/rook/rook-ceph-cluster
所有配置最终收敛到 kubernetes/cluster/rook-ceph/cluster/helmrelease.yaml 这个核心文件中。
关键集群参数解读
mon.count: 3且allowMultiplePerNode: false:3 个 MON 分散在 3 个节点上,保证仲裁可用network.provider: host+requireMsgr2: true:使用宿主机网络通信,并强制 Ceph 新一代 Msgr2 协议,性能与安全性更佳storage.useAllNodes / useAllDevices: false:不"吃"掉节点上所有磁盘,而是精确指定每块 NVMe 设备 ID,避免误收系统盘cleanupPolicy.wipeDevicesFromOtherClusters: true:重建集群时自动擦除设备上的旧 Ceph 数据bdev_enable_discard: true:为 NVMe 开启 TRIM 支持,配合discard挂载选项可及时释放已删除空间toolbox.enabled: true:保留 ceph-tools Pod,方便随时进入容器排查
块存储核心:ceph-blockpool 与 ceph-block StorageClass
集群中最核心的存储池是 ceph-blockpool,采用 2 副本(replicated size: 2)、failureDomain: host 的复制策略——同一数据的两份副本保证落在不同节点上:
cephBlockPools:
- name: ceph-blockpool
spec:
failureDomain: host
replicated:
size: 2
storageClass:
enabled: true
name: ceph-block
isDefault: true
allowVolumeExpansion: true
mountOptions: ["discard"]
由此生成的 ceph-block StorageClass 被设为集群默认,这意味着任何未显式指定 StorageClass 的 PVC 都会自动落到 Ceph 上。它还启用了 volumeBindingMode: Immediate、在线扩容(allowVolumeExpansion)、ext4 文件系统以及 layering,fast-diff,object-map 等 RBD 高级特性,兼顾性能与功能。
另一个亮点是 CSI 读亲和性(readAffinity):
csi:
readAffinity:
enabled: true
crushLocationLabels: ["kubernetes.io/hostname"]
开启后,Pod 会优先从本节点的副本读取数据,大幅降低跨节点网络开销——这对数据库、监控这类高 I/O 负载非常关键。
快照类:csi-ceph-blockpool
同文件还启用了默认关闭(isDefault: false)的卷快照类 csi-ceph-blockpool,它是后面 VolSync 数据保护的基础:
cephBlockPoolsVolumeSnapshotClass:
enabled: true
name: csi-ceph-blockpool
deletionPolicy: Delete
CSI 驱动侧则在 kubernetes/cluster/rook-ceph/csi-drivers/helmrelease.yaml 中启用了 rbd 与 cephfs 驱动,并全部设置 snapshotPolicy: volumeSnapshot,同时为 provisioner、resizer、snapshotter 等每个组件做了精细的资源限额,避免存储控制面"抢"走业务资源。
对象存储:S3 接口已预留
iac 中 Rook 的 Ceph 对象存储(Ceph Object Gateway,S3 兼容接口)目前是预留状态:
cephFileSystems: []
cephObjectStores: []
这是有意为之——当前家庭负载(数据库、Prometheus、Immich、Arr 系列)全部使用块存储即可满足需求。如果未来需要 S3 风格的对象存储(例如给 MinIO 替代场景、对象备份仓库使用),只需在 cephObjectStores 下按 Rook 官方 chart 的格式追加一个条目即可,Flux 会自动调和生效,无需任何手动操作。块、文件、对象三类接口共用同一套 Ceph 集群,随时可以按需开启。
谁在消费 ceph-block?全集群的存储清单
ceph-block 已成为集群"标配"存储类,以下负载全部直接声明使用(搜索 storageClass: ceph-block 即可看到更多):
- 📷 照片与视频:Immich(见 kubernetes/apps/default/immich/app/helmrelease.yaml)及其 PostgreSQL 数据库
- 📊 监控栈:Prometheus、Victoria Logs、Grafana 的数据目录
- 🐘 数据库:Crunchy Postgres (PGo)(见 kubernetes/apps/databases/crunchy-pgo/app/postgres.yaml)、pgAdmin
- 🎬 媒体库:maintainerr、tracearr 等 Arr 生态应用
- 🔧 通用组件:GitHub Actions Runner 工作区、VolSync 备份缓存卷
以通用 Postgres 组件 kubernetes/components/postgres/postgres.yaml 为例,应用侧只需要一行声明:
storageClassName: ceph-block
Ceph 会在后台自动完成池卷的创建、快照、挂载与扩容,应用层完全无感。
数据保护:VolSync + 快照 = 每日自动备份
Ceph 快照类还被 kubernetes/components/volsync/replicationsource.yaml 复用——VolSync 通过 Kopia 引擎每天定时对各应用 PVC 做快照式备份,保留策略为每小时 24 份 + 每天 7 份,压缩算法使用 zstd-fastest。Rook-Ceph 的卷快照正是这套备份链路的底层支撑。
Dashboard 与监控:把存储健康状态可视化
Rook 自带的 Ceph Dashboard 在集群配置中已开启,并通过内部 Ingress 网关暴露到 ceph.iac.gg:
dashboard:
enabled: true
prometheusEndpoint: http://prometheus-operated.monitoring.svc.cluster.local:9090
route:
dashboard:
host:
name: ceph.iac.gg
parentRefs:
- name: envoy-internal
密码不写死在 Git 里,而是通过 ExternalSecret 从 Bitwarden Secrets Manager 动态拉取,见 kubernetes/cluster/rook-ceph/app/external-secret.yaml。
监控方面做到了"开箱即看":
- Operator 与集群均开启
monitoring.createPrometheusRules: true,自动注入 Ceph 告警规则 - kubernetes/cluster/rook-ceph/app/dashboard.yaml 通过 GrafanaDashboard CR 自动导入三张官方大盘:ceph-cluster(集群总览)、ceph-osd(OSD 详情)、ceph-pools(存储池用量)
日常巡检常用的命令(借助启用的 toolbox):
# 进入 ceph-tools 容器
kubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- bash
# 查看集群整体状态
ceph -s
# 查看 OSD 拓扑与副本分布
ceph osd tree
# 查看块池容量
ceph df
在 K8s 侧也可以直接确认存储供给状态:
kubectl get sc # 应看到 ceph-block 带 DEFAULT 标记
kubectl get pvc -A # 检查各应用 PVC 是否 Bound
kubectl get volumesnapshot -A
新手避坑清单 ⚠️
- 别用
useAllDevices:iac 明确关闭了"自动发现所有设备",改为按 NVMe 设备 ID 精确指定,防止把系统盘、数据盘误收进集群 - 设备 ID 用 by-id 路径:
/dev/disk/by-id/nvme-...比/dev/nvme0n1稳定,不会因内核枚举顺序变化而"认不出盘" - 副本数与盘数要匹配:3 块盘做 2 副本,坏 1 块盘集群进入降级但仍可读写;如果做 3 副本(
size: 3),坏盘期间集群会不可写,家庭 3 盘环境选 2 副本更合理 - 先 Operator 后集群:Flux 中通过
dependsOn保证部署顺序,手工部署时同样不能颠倒 - 升级走 Git 版本变更:把 source.yaml 中的
tag改成新版本号并提交,Flux 自动完成滚动升级——这就是 GitOps 的魅力
总结
iac 用不到三个目录、几十个 YAML,就搭出了一套生产级水准的家庭实验室存储:3 节点 Talos 集群、NVMe 高性能介质、2 副本数据保护、默认 StorageClass 全集群供给、卷快照每日备份、Grafana 大盘实时监控,并为 S3 对象存储预留了扩展位。所有变更通过 Git 提交 + Flux 调和完成,配置即代码、漂移自动修复。
如果你想在自己的 K8s 集群复刻这套 Rook-Ceph 分布式存储,建议直接参照 kubernetes/cluster/rook-ceph/ 的目录结构与参数分层思路:Operator、CSI、Cluster 三层分离,存储池与 StorageClass 集中声明,监控与 Dashboard 作为可选增强——这套结构对任何规模的家庭或开发集群都适用。