Rook 数据模型深度解析:Operator、CephCluster 与 Pool / ObjectStore / CephFS 的分层架构设计
Rook 数据模型深度解析:Operator、CephCluster 与 Pool / ObjectStore / CephFS 的分层架构设计
Rook 以"声明式 API + 控制器"的方式把 Ceph 存储编排进了 Kubernetes:它通过一组 CRD(Custom Resource Definition)把存储集群、块存储池、对象存储网关与共享文件系统抽象为分层的数据模型,由 operator 统一协调落地。本文以仓库中的设计文档 design/ceph/data-model.md 为骨架,结合 pkg/apis/ceph.rook.io/v1/types.go 的 API 定义与 deploy/examples 下的真实示例清单,逐层拆解这套数据模型的设计意图、字段含义与底层约束,帮助读者从"资源结构"的视角理解 Rook 的编排原理,并据此规划自己的存储集群配置。
数据模型总览:四层抽象
Rook 的数据模型可以归纳为四个层级,自顶向下逐层收敛:
- Operator:集群级的控制面进程,管理多个 Rook 存储集群与所有 CRD。
- Storage Cluster(
CephClusterCRD):定义一个存储集群的期望状态,是其余 CRD 的承载单元。 - Pool / Object Store / Shared File System:三类面向不同访问协议的业务抽象,都运行在某个 Storage Cluster 之上。
- 底层 Ceph 组件(mon、mgr、OSD、RGW、MDS 等):由 operator 根据上层 CRD 的期望状态实际编排出来的守护进程与资源。
设计文档用一段伪代码形式的注释完整描述了这套模型,原文如下(完整继承自 design/ceph/data-model.md):
# Operator
The operator manages multiple Rook storage clusters
The operator manages all CRDs for the Rook clusters
One instance of the operator is active
Multiple instances of the operator can be on standby in an HA configuration
# Storage Cluster
The cluster CRD defines desired settings for a storage cluster
All resources for a Rook cluster are created in the same Kubernetes namespace
A cluster has an odd number of mons that form quorum
A cluster has an osd per storage device
A cluster has zero or more pools
A cluster has zero or more block devices
A cluster has zero or more object stores
A cluster has zero or more shared file services
# Pool
The pool CRD defines desired settings for a pool
A pool is created with either replication or erasure coding
Replication can be 1 or more
Erasure coding requires k >= 2 and m >= 1, where k is data chunks and m is coding chunks
Erasure coding specifies a plugin (default=jerasure)
Erasure coding specifies an encoding algorithm (default=reed_sol_van)
A pool can set its failure domain using a CRUSH rule (default=host)
# Object Store
The object store CRD defines desired settings for an object store
An object store has a set of pools dedicated to its instance
Object store metadata pools can specify the same set of pool settings
The object store data pool can specify all pool settings
An object store has a unique set of authorized users
An object store has one or more stateless RGW pods for load balancing
An object store can specify an SSL certificate for secure connections
An object store can specify a port for RGW services (default=53390)
An object store represents a Ceph zone
An object store can be configured for replication from an object store in the same cluster or another cluster
# Shared File System
The file system CRD defines desired settings for a file system
A file system has one MDS service if not partitioned
A file system has multiple MDS services if partitioned
A file system has one metadata pool
A file system has one data pool
下面逐层展开,并结合 API 类型定义与示例配置做纵深验证。
Operator:一切 CRD 的协调者
设计文档对 Operator 的定义非常精简,却界定了它的核心职责:
- 管理多个 Rook 存储集群:operator 以集群为粒度进行编排,一个 operator 进程可以同时协调多个
CephCluster(以及它们各自命名空间内的存储 CRD); - 管理集群的所有 CRD:包括
CephCluster、CephBlockPool、CephObjectStore、CephFilesystem、CephObjectStoreUser、CephNFS、CephRBDMirror等,operator 通过 watch 这些资源的增删改事件驱动实际 Ceph 集群的变更; - 单活跃实例:同一时刻只有一个 operator 实例处于活跃状态负责编排;
- HA 模式下的多备实例:可通过 operator 的 HA 配置(leader election)让多个实例处于 standby,主实例故障时自动接管。
从源码结构看,operator 的编排入口位于 pkg/operator/ceph/controller.go,它基于 controller-runtime 构建,通过 Watch 机制监听 operator 配置 ConfigMap 等资源;集群控制器在 pkg/operator/ceph/cr_manager.go 中管理 CephCluster 的生命周期。这种"单一活跃协调者"的设计,保证了同一集群的期望状态永远不会被两个实例同时修改,避免对 Ceph 集群产生竞态操作。
operator 的这一角色也解释了为什么 Rook 的安装流程是"先装 operator,再创建 CRD 实例":kubectl create -f crds.yaml -f common.yaml -f operator.yaml 之后,再 kubectl create -f cluster.yaml(见 deploy/examples/cluster.yaml 顶部注释)。operator 就绪后,用户后续创建的任何存储 CRD 都会被它接管。
Storage Cluster:CephCluster CRD 的期望状态模型
CephCluster 是整个数据模型的"根对象",它在一个 Kubernetes 命名空间内定义一个完整的 Ceph 存储集群。设计文档给出的核心特征如下。
所有资源创建在同一个命名空间
一个 Rook 集群的所有组件(mon、mgr、OSD、RGW、MDS 等 Deployment/StatefulSet、Service、ConfigMap、Secret)都被创建在 CephCluster 所在的命名空间中。这既简化了 RBAC 与网络策略的管理,也天然实现了"一个命名空间 = 一个存储集群"的隔离边界。示例中集群名为 rook-ceph,命名空间同为 rook-ceph(见 deploy/examples/cluster.yaml)。
奇数个 mon 构成 quorum
mon(Monitor)是 Ceph 的仲裁组件,必须由奇数个节点组成以形成多数派 quorum。ClusterSpec 中通过 MonSpec 控制 mon 的数量,其 Count 字段的 kubebuilder 校验范围为 0~9(见 pkg/apis/ceph.rook.io/v1/types.go)。生产示例明确设置 count: 3,并强调"为保证最高可用性应使用奇数个 mon"(deploy/examples/cluster.yaml)。此外:
allowMultiplePerNode默认false,即不允许同一节点上运行多个 mon,避免单节点故障导致仲裁丢失;- 对于 stretch cluster 场景,
MonSpec还提供Zones与StretchCluster字段(pkg/apis/ceph.rook.io/v1/types.go),并在 pkg/apis/ceph.rook.io/v1/cluster.go 中通过IsStretchCluster()判断集群是否启用 stretch 模式。
每个存储设备对应一个 OSD
ClusterSpec.Storage(StorageScopeSpec)定义了存储资源的发现与选择策略:useAllNodes / useAllDevices 控制是否使用全部节点与全部设备,deviceFilter 支持按正则过滤设备,config 中可设置 osdsPerDevice、metadataDevice、encryptedDevice、databaseSizeMB 等参数(见 deploy/examples/cluster.yaml)。设计文档"一个存储设备对应一个 OSD"的表述,在实际配置中体现为 osdsPerDevice 的默认值 1——即默认情况下每块裸设备只创建一个 OSD,如需在高性能设备上创建多个 OSD 可显式调大该值(如示例中的 osdsPerDevice: "5")。
零个或多个上层存储服务
一个集群可以同时承载零个或多个块存储池(CephBlockPool)、对象存储(CephObjectStore)与共享文件系统(CephFilesystem),它们彼此独立、按需创建。这正是"存储集群是平台、业务抽象是租户"的分层思想的体现。
其他关键期望状态
除设计文档列举的要素外,ClusterSpec(pkg/apis/ceph.rook.io/v1/types.go)还包含大量影响集群行为的字段:
cephVersion:指定要编排的 Ceph 镜像版本;network:网络相关配置,包括 msgr2 强制、传输加密与压缩。ClusterSpec.RequireMsgr2()会综合connections.requireMsgr2、compression.enabled、encryption.enabled三者判断是否需要 msgr2 协议(pkg/apis/ceph.rook.io/v1/cluster.go);mon/mgr:mon 与 mgr 的数量与调度;dashboard/monitoring:Ceph Dashboard 与 Prometheus 监控;placement/annotations/labels/resources:对各类守护进程的调度、元数据与资源限制;storage:存储选择与 OSD 相关配置;cleanupPolicy:集群销毁时的数据清理策略(对应 Documentation/Getting-Started/ceph-teardown.md)。
完整的 CephCluster CRD 字段说明可参考 Documentation/CRDs/ceph-cluster-crd.md。
Pool:块存储池的数据模型
CephBlockPool CRD 用于定义一个 Ceph 存储池的期望状态。设计文档对 Pool 层给出了最细致的约束,这些约束在源码的校验逻辑中得到了严格的落实。
复制池与纠删码池二选一
设计文档规定:"一个池要么用复制(replication)要么用纠删码(erasure coding)创建"。API 层面由 PoolSpec 同时暴露 replicated 与 erasureCoded 两个子结构(pkg/apis/ceph.rook.io/v1/types.go),并在校验函数中强制互斥:
- pkg/apis/ceph.rook.io/v1/pool.go 的
validatePoolSpec首先检查erasureCoded或replicated至少设置其一; - 若
erasureCoded的任一字段(codingChunks/dataChunks/algorithm)被填充,则replicated.size与targetSizeRatio必须为空,否则报错 "both erasurecoded and replicated fields cannot be set at the same time"; - 若设置了
replicated.size,则按复制池校验;否则按纠删码池校验。
复制数(Replication)
- 复制数可为 1 或更多:
ReplicatedSpec.Size表示"每个对象的副本数(包含对象本身)",最小值为 1; - 安全阈值:
requireSafeReplicaSize为false时才允许设置副本数为 1(pkg/apis/ceph.rook.io/v1/types.go),示例配置中明确注释"size 为 1 表示无冗余,可能导致不可恢复的数据丢失,请务必确认"(deploy/examples/pool.yaml); - 其他复制参数:
targetSizeRatio给 Ceph 一个"期望占用集群总容量比例"的提示百分比;replicasPerFailureDomain指定每个失败域内的副本数(stretch 集群中副本数 4、每域 2 是典型用法);subFailureDomain指定进一步下沉副本的失败域名称;hybridStorage支持混合存储分级(如primaryDeviceClass: ssd+secondaryDeviceClass: hdd)。
纠删码(Erasure Coding)
设计文档给出的纠删码约束在 ErasureCodedSpec(pkg/apis/ceph.rook.io/v1/types.go)与校验逻辑中均有对应:
- k >= 2 且 m >= 1:
dataChunks(数据块 k)最小值 2,codingChunks(编码块 m)最小值 1,由validatePoolSpec强制执行(pkg/apis/ceph.rook.io/v1/pool.go)。编码块数 m 也即"允许同时丢失而不丢失数据的 OSD 数量"; - 插件(plugin):设计文档标注默认
jerasure。API 中的algorithm字段当前枚举值为isa或jerasure(pkg/apis/ceph.rook.io/v1/types.go),不设置时回退到 Ceph 的osd_pool_default_erasure_code_profile配置; - 编码算法(encoding algorithm):设计文档标注默认
reed_sol_van,即 Reed-Solomon 范德蒙德算法,属于纠删码在 Ceph 中的默认实现; - 补充参数:
stripeUnit设置条带大小(Ceph 默认 4096 字节,可选 4Ki/16Ki/64Ki/256Ki/1Mi),crushFailureDomain与crushOSDsPerFailureDomain用于生成 CRUSH MSR 规则以控制编码块的放置。
失败域与 CRUSH 规则
设计文档指出"池可以通过 CRUSH rule 设置失败域(默认 host)"。PoolSpec.FailureDomain 字段注释明确支持的取值包括 osd、host(以及 CRUSH map 中可用的 region、zone 等)(pkg/apis/ceph.rook.io/v1/types.go),示例默认使用 host 使副本/编码块跨主机分布。与之配合的还有:
crushRoot:CRUSH 层级树根(如自定义 root);deviceClass:指定池使用的设备类别(hdd/ssd/nvme),若设置了设备类别,建议集群内所有池都设置,否则 Ceph 会告警存在重叠 root 的池;enableCrushUpdates:是否允许 operator 在池创建后更新 CRUSH 可调参数,默认关闭,开启需谨慎(见 deploy/examples/pool.yaml)。
池的其他常用设置
PoolSpec 还支持 parameters(任意 Ceph 池属性的键值映射,如 compression_mode: none、bulk: "true"、target_size_ratio)、enableRBDStats(收集 RBD 每镜像 IO 统计)、mirroring(RBD 镜像)、statusCheck(镜像健康检查)、quotas(按字节/对象数配额)等。完整可参考示例 deploy/examples/pool.yaml 与 CRD 文档 Documentation/CRDs/Block-Storage/ceph-block-pool-crd.md。
一个值得注意的校验细节:Ceph 内置池 .rgw.root、.mgr、.nfs 不允许使用纠删码(pkg/apis/ceph.rook.io/v1/pool.go),因为它们存储的关键元数据必须高可靠复制。此外 IsReplicated() 与 IsErasureCoded() 两个辅助方法(pkg/apis/ceph.rook.io/v1/pool.go)是 operator 后续判断池类型、生成 ceph osd pool create 参数的分发点。
Object Store:对象存储网关模型
CephObjectStore CRD 定义一个基于 RGW 的 S3/Swift 兼容对象存储实例。设计文档为它归纳了七个特征,逐一展开如下。
一组专属池
每个对象存储实例拥有一组专属于它的池:ObjectStoreSpec 包含 metadataPool 与 dataPool 两个 PoolSpec(pkg/apis/ceph.rook.io/v1/types.go)。
- metadata pool:存放桶索引、用户信息等元数据,必须使用复制(不能使用纠删码),示例中
replicated.size: 3(deploy/examples/object.yaml); - data pool:存放对象数据,可以使用复制或纠删码,示例在
parameters中设置bulk: "true"以告知 PG 自动伸缩器为大容量 RGW 数据池预创建完整数量的 PG(deploy/examples/object.yaml); - 设计文档强调"metadata pool 可以指定与 data pool 相同的池设置集合",即两者共享同一套
PoolSpec字段能力。
此外,sharedPools(ObjectSharedPoolsSpec)允许在已有池中通过 RADOS namespace 共享池给对象存储使用,并支持 poolPlacements 定义多种放置策略(对应 S3 的 LocationConstraint / Swift 的 storage policy),详见 pkg/apis/ceph.rook.io/v1/types.go。preservePoolsOnDelete 控制对象存储删除时是否保留池。
唯一授权用户集合
对象存储的用户通过 CephObjectStoreUser CRD 独立管理,每个 store 拥有自己的授权用户集合。allowUsersInNamespaces 字段允许将用户创建扩展到其他命名空间("*" 表示允许所有命名空间),便于不使用 OBC/COSI 的应用在本命名空间内获取对象存储凭据(pkg/apis/ceph.rook.io/v1/types.go)。
一个或多个无状态 RGW pod
GatewaySpec.Instances 控制 RGW 副本数,默认 1,可水平扩展为多个无状态 RGW pod 以负载均衡(pkg/apis/ceph.rook.io/v1/types.go)。示例通过 placement.podAntiAffinity 将 RGW pod 分散到不同主机(topologyKey: kubernetes.io/hostname),也可改用 zone 拓扑键跨可用区分布(deploy/examples/object.yaml)。
RGW 服务与用户自定义的端口/证书通过 GatewaySpec 配置:
port:HTTP 监听端口(设计文档标注默认 53390,实际部署中强烈建议显式指定,如示例中的port: 80,deploy/examples/object.yaml);securePort:HTTPS 监听端口,取值 0~65535;sslCertificateRef:存放 SSL 证书的 Secret 名称;caBundleRef:自定义 CA 证书捆绑 Secret;IsTLSEnabled()要求securePort != 0且sslCertificateRef或 service serving cert 非空,GetPort()在启用 TLS 时优先返回securePort(pkg/apis/ceph.rook.io/v1/object.go);- 校验逻辑要求
port与securePort至少一个非零(pkg/apis/ceph.rook.io/v1/object.go)。
Rook 为对象存储创建的 Service 遵循稳定的命名约定 rook-ceph-rgw-<store-name>(GetServiceName(),见 pkg/apis/ceph.rook.io/v1/object.go)。对象存储名称长度被限制为 38 个字符(objectStoreNameMaxLen,因为该名称会参与拼接 ConfigMap 名并受 Kubernetes 63 字符上限约束,见 pkg/apis/ceph.rook.io/v1/object.go)。
代表一个 Ceph zone,支持多站点复制
设计文档指出"对象存储代表一个 Ceph zone"。ObjectStoreSpec.Zone(ZoneSpec)字段把对象存储与 zone 绑定,IsMultisite() 判断 zone.name 是否为空(pkg/apis/ceph.rook.io/v1/object.go)。结合 CephObjectRealm、CephObjectZoneGroup、CephObjectZone 等 CRD,Rook 支持在同集群或跨集群之间配置对象存储的多站点复制(multisite replication)——即设计文档所说的"从同集群或另一集群的对象存储复制数据"。多站点架构细节可参考 Documentation/Storage-Configuration/Object-Storage-RGW/ceph-object-multisite.md 与 Documentation/CRDs/Object-Storage/ceph-object-store-crd.md。
此外 CephObjectStore 还支持 security(SSE-KMS / SSE-S3 服务端加密)、healthCheck(RGW 探针)、hosting(虚拟主机风格桶寻址的 DNS 通配域名)等扩展能力,示例文件中均有注释说明(deploy/examples/object.yaml)。
Shared File System:共享文件系统模型
CephFilesystem CRD 定义一个基于 CephFS 的共享文件系统。设计文档为其归纳了四个特征,在 FilesystemSpec(pkg/apis/ceph.rook.io/v1/types.go)中均可找到对应字段。
MDS 服务:一个(未分区)或多个(分区)
MetadataServerSpec.ActiveCount控制活跃 MDS 数量,取值范围 1~50(pkg/apis/ceph.rook.io/v1/types.go);activeStandby为true时,每个活跃 MDS 都会配备一个带热元数据缓存(warm metadata cache)的活跃备机以加速故障切换,守护进程数量翻倍(deploy/examples/filesystem.yaml);- 设计文档所说的"未分区(not partitioned)"对应单 MDS 服务,"分区(partitioned)"则对应多 MDS 服务的扩展形态(如按目录 pin 或分片实现元数据水平扩展)。
一个 metadata pool + 一个 data pool
MetadataPool:CephFS 元数据池,必须使用复制,示例中size: 3(deploy/examples/filesystem.yaml);DataPools:数据池列表(<a href="https://link.gitcode.com/i/4a0b5eafec5800f2c9666994641519f8" target="_blank">]NamedPoolSpec),可使用复制或纠删码。示例中定义了一个名为replicated的数据池([deploy/examples/filesystem.yaml)。preservePoolNames可保留池名称不加前缀;- 数据模型文档表述为"一个 data pool",而 API 层面已经演进为支持多个数据池(
dataPools数组),这是文档与实现之间的一处演进差异,实际部署以 CRD 为准。
其他关键字段
preserveFilesystemOnDelete:删除CephFilesystemCR 时保留 CephFS 本身(同时隐式隐含preservePoolsOnDelete: true);mirroring:CephFS 镜像(跨集群异步复制),配合peers.secretNames提供对端集群的 peer token;metadataServer还支持placement(pod 反亲和让 MDS 跨主机/跨可用区分布)、resources、cacheMemoryLimitFactor/cacheMemoryRequestFactor(MDS 缓存内存系数)以及探针配置(deploy/examples/filesystem.yaml)。
文件系统的使用(挂载、StorageClass、扩容)可参考 Documentation/Storage-Configuration/Shared-Filesystem-CephFS/filesystem-storage.md。
从数据模型到实际编排:模型如何驱动实现
理解了数据模型的分层后,再看 operator 如何把它翻译成真实集群操作,脉络就非常清晰了:
- CephCluster 层:operator 根据
ClusterSpec创建 mon/mgr/OSD 等基础组件——mon 数量取自spec.mon.count并保证奇数 quorum,OSD 由spec.storage的设备发现逻辑逐个创建,mgr 数量由spec.mgr.count控制(示例中为 2,实现 mgr 高可用,见 deploy/examples/cluster.yaml); - Pool 层:
CephBlockPool被转换为ceph osd pool create与ceph osd pool set命令,复制/纠删码类型由IsReplicated()/IsErasureCoded()判定,failureDomain生成对应的 CRUSH rule; - ObjectStore 层:operator 先按
metadataPool/dataPool创建池,再以instances为副本数创建 RGW Deployment,并以rook-ceph-rgw-<name>命名约定创建 Service,最后把zone信息注册到 Ceph 的多站点配置中; - CephFilesystem 层:operator 创建 metadata/data 池后,按
activeCount与activeStandby启动 MDS Deployment,并完成文件系统的初始化。
这一"CRD 期望状态 → 控制器调和 → Ceph 命令/对象落地"的链路,正是 Rook 数据模型设计的核心价值:用户只描述"要什么"(声明式 spec),operator 负责"怎么达成"。全部 API 字段的权威定义集中在 Documentation/CRDs/specification.md,各类存储的使用指南可在 Documentation/Storage-Configuration 目录下按需查阅(块存储见 block-storage.md,对象存储见 object-storage.md,文件系统见 filesystem-storage.md)。
部署规划建议:从数据模型出发的配置要点
基于上述模型,规划一个生产级 Rook 集群时可以遵循以下检查清单:
- 集群层:mon 取奇数(推荐 3),
allowMultiplePerNode: false;mgr 设为 2 以获得高可用;dataDirHostPath使用独立于数据盘的主机目录;OSD 设备按容量与性能分层(device class +osdsPerDevice); - 池层:根据数据的可靠性预算选择复制池(
size: 3为典型生产配置)还是纠删码池(如 2+1、3+1,注意 k 与 m 的冗余语义);failureDomain默认host,多可用区环境可改用zone;需要配额时设置quotas; - 对象存储层:显式指定
gateway.port(避免依赖默认 53390 的隐式行为);生产环境建议instances > 1并配置 pod 反亲和;启用 HTTPS 时同时配置securePort与sslCertificateRef;多站点场景先规划 realm / zonegroup / zone 再创建 store; - 文件系统层:metadata pool 保持复制、data pool 可按需纠删码;
activeCount与activeStandby按可用性预算配置;启用mirroring前先建立对端 peer。
小结
Rook 的数据模型用一个清晰的四层结构回答了"存储编排如何被声明式表达"这个问题:operator 是协调者,CephCluster 定义集群骨架,Pool / Object Store / File System 提供面向业务的存储抽象。每个抽象的关键约束(奇数 mon、复制与纠删码的互斥与阈值、失败域、RGW 无状态扩展、MDS 分区等)都在 API 类型定义与校验逻辑中落地,保证了声明与实现的一致性。掌握这套数据模型,就掌握了阅读 Rook 配置清单与排查编排问题的钥匙。