Rook CephObjectZone CRD 完全指南:为 Ceph 对象存储多站点复制配置 Zone
Rook CephObjectZone CRD 完全指南:为 Ceph 对象存储多站点复制配置 Zone
CephObjectZone 是 Rook 提供的三类多站点(Multisite)自定义资源之一,用于在 Rook Ceph 集群中声明一个 Ceph RGW 的 Zone,并让 Rook 自动为其创建元数据池与数据池,供该 Zone 内的 CephObjectStore 使用。本文以 ceph-object-zone-crd.md 为主体,结合仓库源码与部署示例,完整讲解 CephObjectZone 的配置字段、池(Pool)语义、customEndpoints 与 preservePoolsOnDelete 的关键行为,以及在跨集群多站点复制场景下的落地实践。读完本文,你将能够独立编写并管理 Rook 多站点配置中的 Zone 资源,并理解其与 Realm、ZoneGroup、CephObjectStore 之间的调用关系与删除保护机制。
CephObjectZone 在多站点架构中的位置
Ceph 的多站点(Multisite)特性允许对象存储的数据在多个 Ceph 集群之间复制。Rook 通过三个 CRD 将 Ceph 的多站点概念映射到 Kubernetes 资源上(详见 ceph-object-multisite.md):
- CephObjectRealm:Realm 是复制拓扑的最高层级,一个 Realm 内可以包含多个 Zone Group;
- CephObjectZoneGroup:Zone Group 是 Realm 内的逻辑分组,其
spec.realm引用所属的 Realm; - CephObjectZone:Zone 是最底层的物理部署单元,其
spec.zoneGroup引用所属的 Zone Group; - CephObjectStore:真正的 RGW 网关部署,通过
spec.zone.name加入某个 Zone。
在 Ceph 的语义中,每个 Zone Group 中第一个创建的 Zone 是 master zone,每个 Realm 中第一个创建的 Zone Group 是 master zone group。CephObjectZone 资源本身并不直接运行任何守护进程,它的职责是:
- 在 Ceph 后端创建(或关联)对应的 zone;
- 创建该 Zone 内所有 CephObjectStore 共用的元数据池与数据池;
- 维护该 Zone 的可达端点(
customEndpoints),供其他集群的 RGW 向本 Zone 推送复制流量。
需要特别区分:当
CephObjectStore未设置zone字段时,Rook 会以对象存储自身的名字隐式创建一套 Realm、Zone Group、Zone;只有当对象存储显式声明zone时,它才会加入自定义创建的 Zone,从而具备跨集群复制能力。CephObjectZone正是这套显式多站点配置的中间一环。
创建 Zone 的最小示例
在 rook-ceph 命名空间中创建一个名为 zone-a 的 Zone,归属 zonegroup-a,并为元数据池配置 3 副本、为数据池配置纠删码(2+1):
apiVersion: ceph.rook.io/v1
kind: CephObjectZone
metadata:
name: zone-a
namespace: rook-ceph
spec:
zoneGroup: zonegroup-a
metadataPool:
failureDomain: host
replicated:
size: 3
dataPool:
failureDomain: osd
erasureCoded:
dataChunks: 2
codingChunks: 1
customEndpoints:
- "http://rgw-a.fqdn"
preservePoolsOnDelete: true
这是 ceph-object-zone-crd.md 中的官方示例,其资源量要求是:集群中至少要有 3 个主机(副本数 3 需要分布在 3 个 host 故障域)以及至少 3 个设备(dataChunks: 2 加 codingChunks: 1,且 failureDomain: osd 要求它们分布在至少 3 个 OSD 上)。
生产环境示例:deploy/examples/object-multisite.yaml
仓库中的 object-multisite.yaml 提供了从 Realm 到 Store 的完整生产示例,其中 Zone 部分如下:
apiVersion: ceph.rook.io/v1
kind: CephObjectZone
metadata:
name: zone-a
namespace: rook-ceph # namespace:cluster
spec:
zoneGroup: zonegroup-a
metadataPool:
failureDomain: host
replicated:
size: 3
requireSafeReplicaSize: true
dataPool:
failureDomain: host
replicated:
size: 3
requireSafeReplicaSize: true
parameters:
compression_mode: none
bulk: "true"
# recommended to set this value if ingress used for exposing rgw endpoints
# customEndpoints:
# - "http://rgw-a.fqdn"
# - "http://rgw-b.fqdn"
# if the pools need to be removed from backend enable following setting
# preservePoolsOnDelete: false
对比最小示例可以看出生产环境的常见做法:
- 元数据池与数据池通常都采用
replicated(多副本)而非纠删码,并显式开启requireSafeReplicaSize: true; - 通过
parameters为数据池设置bulk: "true"等 Ceph 池参数; - 一旦使用 Ingress 暴露 RGW 端点,
customEndpoints就应填写 Ingress 的地址,而不是依赖 Rook 默认生成的 ClusterIP Service 端点。
创建命令与完整层级一致(Realm → ZoneGroup → Zone → Store 需按顺序准备):
kubectl create -f object-multisite.yaml
文件末尾的 CephObjectStore 通过 spec.zone.name: zone-a 加入该 Zone,因此不再需要(也不应该)在 Store 上重复声明 metadataPool / dataPool——这些池由 Zone 统一创建。
Settings 详解
Metadata
name:要创建的 Zone 名称。该名称会直接体现在 Ceph 后端的 zone 名以及所创建池的前缀上(见下文“池命名”)。namespace:Rook 集群所在命名空间,Zone 只能在该命名空间内创建。
Pools
metadataPool 与 dataPool 允许使用 CephBlockPool CRD(Pool CRD)规格中的全部池设置。两条硬性约束:
metadataPool:用于创建对象存储的所有元数据池,必须使用复制(replicated);dataPool:用于创建对象存储的数据池,可以使用复制或纠删码(erasureCoded)。
从源码看,这两个字段在 types.go 中被定义为 PoolSpec 类型,并带有 +optional / +nullable 标记:
type ObjectZoneSpec struct {
ZoneGroup string `json:"zoneGroup"`
MetadataPool PoolSpec `json:"metadataPool"`
DataPool PoolSpec `json:"dataPool"`
SharedPools ObjectSharedPoolsSpec `json:"sharedPools"`
CustomEndpoints []string `json:"customEndpoints,omitempty"`
PreservePoolsOnDelete bool `json:"preservePoolsOnDelete"`
}
SharedPools 字段用于在已有池中配置 RADOS 命名空间(rados namespace)的场景,可在 spec.sharedPools 下指定 existingPool 与 radosNamespace。当配置了共享池时,Zone 不再为数据面创建独立池,而是复用既有池中的命名空间。
Spec
zonegroup
zonegroup:Zone 所属的 Zone Group 名称,必须与 CephObjectZoneGroup 资源的 metadata.name 一致(如 zonegroup-a)。Zone 控制器在创建 Ceph zone 之前会等待其引用的 Zone Group 就绪——从 controller.go 可以看到,若 Zone Group 尚未 Ready,控制器会以 waitForRequeueIfObjectZoneGroupNotReady 的方式在 10 秒后重新入队(Requeue: true, RequeueAfter: 10 * time.Second),保证依赖顺序。
metadataPool / dataPool
语义已在上文“Pools”小节说明。Zone 控制器通过 object.CreateObjectStorePools(在 controller.go 中作为可注入函数保存)完成池的创建,这意味着池的创建逻辑与 CephObjectStore 独立建池时完全复用同一套实现。
customEndpoints
customEndpoints:指定本 Zone 中用于接收多站点复制流量(multisite replication traffic)的端点列表。可以携带端口,例如 "https://my-object-store.my-domain.net:443"。
默认行为:如果不设置,Rook 会将该 Zone 对应的 CephObjectStore 的 ClusterIP Service 的 DNS 名写入 Ceph 内部配置。
何时必须设置:绝大多数多站点配置并不存在于同一个 Kubernetes 集群中,此时默认的 ClusterIP Service 端点对其他集群不可达,因此必须为 CephObjectStore 自建 Ingress 资源,并把 Ingress 的端点加入 customEndpoints 列表,Zone 才会接受复制流量。
多个 Store / 多个端点的场景:不必把全部端点都放入列表,只需列出用于复制流量的端点即可。反过来,如果某个 CephObjectStore 的端点没有出现在列表中,该 Store 的 RGW 网关将不会接收多站点复制数据(源码注释见 types.go,并与 CephObjectStore.spec.gateway.disableMultisiteSyncTraffic 相关)。
动态变更:如果将 customEndpoints 更新回空列表,Rook operator 会自动把 CephObjectStore 的 Service 端点重新加回 Ceph 的内部配置,从而恢复默认行为。
preservePoolsOnDelete
preservePoolsOnDelete:为 true 时,删除 CephObjectZone 后,其支撑池会保留,这是防止数据被意外丢失的安全措施。默认值为 true(由源码中的 +kubebuilder:default=true 标记确认,见 types.go)。
官方文档给出的安全建议:
- 触发删除前,最好先确认数据已经与其他对端 Zone 完成同步,避免数据意外丢失(对应 Ceph 文档中的“检查同步状态”步骤);
- 删除 CephObjectZone 会被阻塞,直到所有属于该 Zone 的
CephObjectStore都被移除。
这一阻塞行为在源码中有明确实现:依赖检查函数 CephObjectZoneDependentStores 会遍历同一命名空间下所有 CephObjectStore,凡是 store.Spec.Zone.Name == zone.Name 的都会被登记为该 Zone 的 dependent(CephObjectStore),作为删除前的阻塞条件。对应的单元测试位于 dependents_test.go。
与 CephObjectStore 的协同
要让对象存储真正加入一个 Zone,需要在 CephObjectStore 上声明 zone 小节(详见 ceph-object-store-crd.md):
apiVersion: ceph.rook.io/v1
kind: CephObjectStore
metadata:
name: multisite-store
namespace: rook-ceph
spec:
gateway:
port: 80
instances: 1
zone:
name: zone-a
加入 Zone 后有两个关键变化:
- 池归属转移:Store 不再创建以自身名字命名的池,而是复用 Zone 创建的池(
zone-a.rgw.*等)。这也解释了为什么上面示例中的 Store 完全不写metadataPool/dataPool; - 复制语义生效:同一个 Zone 可以被多个集群中名字相同的
CephObjectRealm/CephObjectZoneGroup/CephObjectZone引用,配合 ceph-object-multisite.md 中描述的 Realm 拉取(pull)流程,即可实现跨集群的数据同步。
池的命名与清理
当一个 Zone 创建时,Rook 会为每个 Zone 创建以下 Ceph 池(见 ceph-object-multisite.md):
$ZONE_NAME.rgw.control
$ZONE_NAME.rgw.meta
$ZONE_NAME.rgw.log
$ZONE_NAME.rgw.buckets.index
$ZONE_NAME.rgw.buckets.non-ec
$ZONE_NAME.rgw.buckets.data
以 zone-a 为例,删除数据池的命令为:
ceph osd pool rm zone-a.rgw.buckets.data zone-a.rgw.buckets.data --yes-i-really-really-mean-it
注意池名必须连续出现两次,池才会被移除。
需要特别强调的是:删除 Realm / Zone Group / Zone 这些 CR 并不会删除 Ceph 后端的对应实体,也不会删除 Zone 创建的池。多站点清理必须手工完成,标准流程是:
- 先从 Zone Group 中移除该 Zone 并提交 period;
- 再删除 Ceph 中的 zone;
- 最后按需手动删除池。
以删除 zone-a 为例(通过 Rook toolbox 执行),当 Zone Group 中只有一个 Zone 时:
radosgw-admin zone delete --rgw-realm=realm-a --rgw-zonegroup=zonegroup-a --rgw-zone=zone-a
radosgw-admin period update --commit --rgw-realm=realm-a --rgw-zonegroup=zonegroup-a --rgw-zone=zone-a
当 Zone Group 中有多个 Zone 时,需要先移除 Zone 再删除:
radosgw-admin zonegroup rm --rgw-realm=realm-a --rgw-zonegroup=zonegroup-a --rgw-zone=zone-a
radosgw-admin period update --commit --rgw-realm=realm-a --rgw-zonegroup=zonegroup-a --rgw-zone=zone-a
radosgw-admin zone delete --rgw-realm=realm-a --rgw-zonegroup=zonegroup-a --rgw-zone=zone-a
radosgw-admin period update --commit --rgw-realm=realm-a --rgw-zonegroup=zonegroup-a --rgw-zone=zone-a
涉及更换 master zone 的操作请先阅读 Ceph 官方关于更改元数据主 Zone 的文档,谨慎执行。
源码层面的实现验证
围绕 CephObjectZone 的核心实现集中在 pkg/operator/ceph/object/zone/ 目录:
- 资源定义:types.go 定义了
CephObjectZone,shortName 为cephoz,并带有Phase、Age两个打印列,支持kubectl get cephoz快捷查看; - 控制器:controller.go 实现了
ReconcileObjectZone,负责在 Ceph 后端创建 zone、通过CreateObjectStorePools创建池、调用CommitConfigChanges提交配置变更(period),并在 Zone Group 未就绪时按 10 秒间隔重试; - 依赖管理:dependents.go 与 dependents_test.go 实现了“存在引用该 Zone 的 CephObjectStore 时禁止删除”的保护逻辑,这正是官方文档中“删除会被阻塞直到所有 Store 被移除”的代码依据;
- 客户端 CRD 定义:
pkg/apis/ceph.rook.io/v1中CephObjectZone的spec.zoneGroup、metadataPool、dataPool、customEndpoints、preservePoolsOnDelete字段均有对应的 JSON 标签与 kubebuilder 校验/默认值标记,preservePoolsOnDelete的默认值true即由此生效。
小结
CephObjectZone 是 Rook 多站点拓扑中连接 ZoneGroup 与 CephObjectStore 的关键资源:它声明 Zone 归属、统一创建元数据/数据池、维护复制端点,并通过 preservePoolsOnDelete 与依赖检查提供数据安全兜底。掌握它需要同时理解三个层次:CRD 字段语义(zoneGroup、metadataPool、dataPool、customEndpoints、preservePoolsOnDelete)、与 CephObjectStore 的 zone 引用关系、以及“删除 CR 不等于删除 Ceph 后端实体”的清理纪律。在此基础上,再结合 ceph-object-multisite.md 的 Realm 拉取与扩容章节,即可搭建并运维完整的跨集群对象存储复制方案。