Rook-Ceph分布式存储指南:iac中K8s块存储与对象存储的完整配置

原创2026-10-23 19:42:291,974 阅读

Rook-Ceph分布式存储指南:iac中K8s块存储与对象存储的完整配置

在 iac 这个 GitOps 驱动的家庭实验室基础设施仓库中,Rook-Ceph 分布式存储 是整个 Kubernetes 集群的存储底座:它以 3 块 NVMe SSD 构建出 2 副本的块存储池,为集群里几乎所有应用(数据库、监控、相册、媒体库)提供高可用的持久化存储。本文带你从零看懂 iac 中 Rook-Ceph 的部署方式、块存储配置与对象存储预留方案。

为什么家庭实验室需要 Rook-Ceph?

普通 Kubernetes 集群的默认存储往往依赖单节点的本地磁盘,一旦节点故障数据即丢失。而 Ceph 提供的分布式存储能力可以带来三大核心价值:

  • 🔒 数据冗余:多副本机制让任意一台节点宕机,数据依然可读可写
  • 📦 统一供给:块存储(RBD)、文件存储(CephFS)、对象存储(S3 兼容)三类接口一应俱全
  • 🧩 原生 K8s 集成:通过 CSI 驱动,应用声明 PVC 就能自动创建卷,无需手工干预

iac 项目正是利用 Rook 这个"K8s 里的 Ceph 管家",把上述能力全部声明为 Git 仓库中的 YAML 文件,由 Flux 自动完成部署与持续调和。

部署架构:3 节点 Talos 集群 + NVMe SSD

Rook-Ceph 部署在基于 Talos OS 的 3 节点物理集群(talos-4 / talos-5 / talos-6)上,每个节点指定一块独立的 NVMe 磁盘作为 OSD 设备,相关节点定义见 kubernetes/talos/patches/:

节点 OSD 设备(NVMe)
talos-4 nvme-eui.36483330543292750025385800000001
talos-5 nvme-eui.36483331543165880025384600000001
talos-6 nvme-eui.36483330543357870025384600000001

3 个 OSD + 3 个 MON,构成了最小的高可用拓扑:允许坏 1 块盘 / 掉 1 个节点而不丢数据。

GitOps 三步部署:Operator → CSI → Cluster

在 kubernetes/cluster/rook-ceph/ks.yaml 中,Flux 用三个 Kustomization 定义了严格的部署顺序:

  1. rook-ceph-operator:先安装 Rook Operator,负责后续对 Ceph 组件的编排
  2. ceph-csi-drivers:安装 CSI 驱动(dependsOn: rook-ceph-operator),打通 K8s 与 Ceph 的卷管理通道
  3. rook-ceph-cluster:最后创建真正的 Ceph 集群与存储池

三个组件的 Helm Chart 均通过 OCI 仓库源拉取,版本锁定为 1.21.0,定义见 kubernetes/cluster/rook-ceph/cluster/source.yaml:

kind: OCIRepository
spec:
  ref:
    tag: 1.21.0
  url: oci://ghcr.io/rook/rook-ceph-cluster

所有配置最终收敛到 kubernetes/cluster/rook-ceph/cluster/helmrelease.yaml 这个核心文件中。

关键集群参数解读

  • mon.count: 3 且 allowMultiplePerNode: false:3 个 MON 分散在 3 个节点上,保证仲裁可用
  • network.provider: host + requireMsgr2: true:使用宿主机网络通信,并强制 Ceph 新一代 Msgr2 协议,性能与安全性更佳
  • storage.useAllNodes / useAllDevices: false:不"吃"掉节点上所有磁盘,而是精确指定每块 NVMe 设备 ID,避免误收系统盘
  • cleanupPolicy.wipeDevicesFromOtherClusters: true:重建集群时自动擦除设备上的旧 Ceph 数据
  • bdev_enable_discard: true:为 NVMe 开启 TRIM 支持,配合 discard 挂载选项可及时释放已删除空间
  • toolbox.enabled: true:保留 ceph-tools Pod,方便随时进入容器排查

块存储核心:ceph-blockpool 与 ceph-block StorageClass

集群中最核心的存储池是 ceph-blockpool,采用 2 副本(replicated size: 2)、failureDomain: host 的复制策略——同一数据的两份副本保证落在不同节点上:

cephBlockPools:
  - name: ceph-blockpool
    spec:
      failureDomain: host
      replicated:
        size: 2
    storageClass:
      enabled: true
      name: ceph-block
      isDefault: true
      allowVolumeExpansion: true
      mountOptions: ["discard"]

由此生成的 ceph-block StorageClass 被设为集群默认,这意味着任何未显式指定 StorageClass 的 PVC 都会自动落到 Ceph 上。它还启用了 volumeBindingMode: Immediate、在线扩容(allowVolumeExpansion)、ext4 文件系统以及 layering,fast-diff,object-map 等 RBD 高级特性,兼顾性能与功能。

另一个亮点是 CSI 读亲和性(readAffinity):

csi:
  readAffinity:
    enabled: true
    crushLocationLabels: ["kubernetes.io/hostname"]

开启后,Pod 会优先从本节点的副本读取数据,大幅降低跨节点网络开销——这对数据库、监控这类高 I/O 负载非常关键。

快照类:csi-ceph-blockpool

同文件还启用了默认关闭(isDefault: false)的卷快照类 csi-ceph-blockpool,它是后面 VolSync 数据保护的基础:

cephBlockPoolsVolumeSnapshotClass:
  enabled: true
  name: csi-ceph-blockpool
  deletionPolicy: Delete

CSI 驱动侧则在 kubernetes/cluster/rook-ceph/csi-drivers/helmrelease.yaml 中启用了 rbd 与 cephfs 驱动,并全部设置 snapshotPolicy: volumeSnapshot,同时为 provisioner、resizer、snapshotter 等每个组件做了精细的资源限额,避免存储控制面"抢"走业务资源。

对象存储:S3 接口已预留

iac 中 Rook 的 Ceph 对象存储(Ceph Object Gateway,S3 兼容接口)目前是预留状态:

cephFileSystems: []
cephObjectStores: []

这是有意为之——当前家庭负载(数据库、Prometheus、Immich、Arr 系列)全部使用块存储即可满足需求。如果未来需要 S3 风格的对象存储(例如给 MinIO 替代场景、对象备份仓库使用),只需在 cephObjectStores 下按 Rook 官方 chart 的格式追加一个条目即可,Flux 会自动调和生效,无需任何手动操作。块、文件、对象三类接口共用同一套 Ceph 集群,随时可以按需开启。

谁在消费 ceph-block?全集群的存储清单

ceph-block 已成为集群"标配"存储类,以下负载全部直接声明使用(搜索 storageClass: ceph-block 即可看到更多):

以通用 Postgres 组件 kubernetes/components/postgres/postgres.yaml 为例,应用侧只需要一行声明:

storageClassName: ceph-block

Ceph 会在后台自动完成池卷的创建、快照、挂载与扩容,应用层完全无感。

数据保护:VolSync + 快照 = 每日自动备份

Ceph 快照类还被 kubernetes/components/volsync/replicationsource.yaml 复用——VolSync 通过 Kopia 引擎每天定时对各应用 PVC 做快照式备份,保留策略为每小时 24 份 + 每天 7 份,压缩算法使用 zstd-fastest。Rook-Ceph 的卷快照正是这套备份链路的底层支撑。

Dashboard 与监控:把存储健康状态可视化

Rook 自带的 Ceph Dashboard 在集群配置中已开启,并通过内部 Ingress 网关暴露到 ceph.iac.gg:

dashboard:
  enabled: true
  prometheusEndpoint: http://prometheus-operated.monitoring.svc.cluster.local:9090
route:
  dashboard:
    host:
      name: ceph.iac.gg
    parentRefs:
      - name: envoy-internal

密码不写死在 Git 里,而是通过 ExternalSecret 从 Bitwarden Secrets Manager 动态拉取,见 kubernetes/cluster/rook-ceph/app/external-secret.yaml。

监控方面做到了"开箱即看":

  • Operator 与集群均开启 monitoring.createPrometheusRules: true,自动注入 Ceph 告警规则
  • kubernetes/cluster/rook-ceph/app/dashboard.yaml 通过 GrafanaDashboard CR 自动导入三张官方大盘:ceph-cluster(集群总览)、ceph-osd(OSD 详情)、ceph-pools(存储池用量)

日常巡检常用的命令(借助启用的 toolbox):

# 进入 ceph-tools 容器
kubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- bash

# 查看集群整体状态
ceph -s

# 查看 OSD 拓扑与副本分布
ceph osd tree

# 查看块池容量
ceph df

在 K8s 侧也可以直接确认存储供给状态:

kubectl get sc          # 应看到 ceph-block 带 DEFAULT 标记
kubectl get pvc -A      # 检查各应用 PVC 是否 Bound
kubectl get volumesnapshot -A

新手避坑清单 ⚠️

  1. 别用 useAllDevices:iac 明确关闭了"自动发现所有设备",改为按 NVMe 设备 ID 精确指定,防止把系统盘、数据盘误收进集群
  2. 设备 ID 用 by-id 路径:/dev/disk/by-id/nvme-... 比 /dev/nvme0n1 稳定,不会因内核枚举顺序变化而"认不出盘"
  3. 副本数与盘数要匹配:3 块盘做 2 副本,坏 1 块盘集群进入降级但仍可读写;如果做 3 副本(size: 3),坏盘期间集群会不可写,家庭 3 盘环境选 2 副本更合理
  4. 先 Operator 后集群:Flux 中通过 dependsOn 保证部署顺序,手工部署时同样不能颠倒
  5. 升级走 Git 版本变更:把 source.yaml 中的 tag 改成新版本号并提交,Flux 自动完成滚动升级——这就是 GitOps 的魅力

总结

iac 用不到三个目录、几十个 YAML,就搭出了一套生产级水准的家庭实验室存储:3 节点 Talos 集群、NVMe 高性能介质、2 副本数据保护、默认 StorageClass 全集群供给、卷快照每日备份、Grafana 大盘实时监控,并为 S3 对象存储预留了扩展位。所有变更通过 Git 提交 + Flux 调和完成,配置即代码、漂移自动修复。

如果你想在自己的 K8s 集群复刻这套 Rook-Ceph 分布式存储,建议直接参照 kubernetes/cluster/rook-ceph/ 的目录结构与参数分层思路:Operator、CSI、Cluster 三层分离,存储池与 StorageClass 集中声明,监控与 Dashboard 作为可选增强——这套结构对任何规模的家庭或开发集群都适用。

登录后查看全文
iac