Rook CephObjectZone CRD 完全指南:为 Ceph 对象存储多站点复制配置 Zone

原创2026-09-21 23:38:191,634 阅读
文章标签:云原生存储容器编排运维

Rook CephObjectZone CRD 完全指南:为 Ceph 对象存储多站点复制配置 Zone

CephObjectZone 是 Rook 提供的三类多站点(Multisite)自定义资源之一,用于在 Rook Ceph 集群中声明一个 Ceph RGW 的 Zone,并让 Rook 自动为其创建元数据池与数据池,供该 Zone 内的 CephObjectStore 使用。本文以 ceph-object-zone-crd.md 为主体,结合仓库源码与部署示例,完整讲解 CephObjectZone 的配置字段、池(Pool)语义、customEndpoints 与 preservePoolsOnDelete 的关键行为,以及在跨集群多站点复制场景下的落地实践。读完本文,你将能够独立编写并管理 Rook 多站点配置中的 Zone 资源,并理解其与 Realm、ZoneGroup、CephObjectStore 之间的调用关系与删除保护机制。

CephObjectZone 在多站点架构中的位置

Ceph 的多站点(Multisite)特性允许对象存储的数据在多个 Ceph 集群之间复制。Rook 通过三个 CRD 将 Ceph 的多站点概念映射到 Kubernetes 资源上(详见 ceph-object-multisite.md):

  1. CephObjectRealm:Realm 是复制拓扑的最高层级,一个 Realm 内可以包含多个 Zone Group;
  2. CephObjectZoneGroup:Zone Group 是 Realm 内的逻辑分组,其 spec.realm 引用所属的 Realm;
  3. CephObjectZone:Zone 是最底层的物理部署单元,其 spec.zoneGroup 引用所属的 Zone Group;
  4. CephObjectStore:真正的 RGW 网关部署,通过 spec.zone.name 加入某个 Zone。

在 Ceph 的语义中,每个 Zone Group 中第一个创建的 Zone 是 master zone,每个 Realm 中第一个创建的 Zone Group 是 master zone group。CephObjectZone 资源本身并不直接运行任何守护进程,它的职责是:

  • 在 Ceph 后端创建(或关联)对应的 zone;
  • 创建该 Zone 内所有 CephObjectStore 共用的元数据池与数据池;
  • 维护该 Zone 的可达端点(customEndpoints),供其他集群的 RGW 向本 Zone 推送复制流量。

需要特别区分:当 CephObjectStore 未设置 zone 字段时,Rook 会以对象存储自身的名字隐式创建一套 Realm、Zone Group、Zone;只有当对象存储显式声明 zone 时,它才会加入自定义创建的 Zone,从而具备跨集群复制能力。CephObjectZone 正是这套显式多站点配置的中间一环。

创建 Zone 的最小示例

在 rook-ceph 命名空间中创建一个名为 zone-a 的 Zone,归属 zonegroup-a,并为元数据池配置 3 副本、为数据池配置纠删码(2+1):

apiVersion: ceph.rook.io/v1
kind: CephObjectZone
metadata:
  name: zone-a
  namespace: rook-ceph
spec:
  zoneGroup: zonegroup-a
  metadataPool:
    failureDomain: host
    replicated:
      size: 3
  dataPool:
    failureDomain: osd
    erasureCoded:
      dataChunks: 2
      codingChunks: 1
  customEndpoints:
    - "http://rgw-a.fqdn"
  preservePoolsOnDelete: true

这是 ceph-object-zone-crd.md 中的官方示例,其资源量要求是:集群中至少要有 3 个主机(副本数 3 需要分布在 3 个 host 故障域)以及至少 3 个设备(dataChunks: 2 加 codingChunks: 1,且 failureDomain: osd 要求它们分布在至少 3 个 OSD 上)。

生产环境示例:deploy/examples/object-multisite.yaml

仓库中的 object-multisite.yaml 提供了从 Realm 到 Store 的完整生产示例,其中 Zone 部分如下:

apiVersion: ceph.rook.io/v1
kind: CephObjectZone
metadata:
  name: zone-a
  namespace: rook-ceph # namespace:cluster
spec:
  zoneGroup: zonegroup-a
  metadataPool:
    failureDomain: host
    replicated:
      size: 3
      requireSafeReplicaSize: true
  dataPool:
    failureDomain: host
    replicated:
      size: 3
      requireSafeReplicaSize: true
    parameters:
      compression_mode: none
      bulk: "true"
  # recommended to set this value if ingress used for exposing rgw endpoints
  # customEndpoints:
  #   - "http://rgw-a.fqdn"
  #   - "http://rgw-b.fqdn"
  # if the pools need to be removed from backend enable following setting
  # preservePoolsOnDelete: false

对比最小示例可以看出生产环境的常见做法:

  • 元数据池与数据池通常都采用 replicated(多副本)而非纠删码,并显式开启 requireSafeReplicaSize: true;
  • 通过 parameters 为数据池设置 bulk: "true" 等 Ceph 池参数;
  • 一旦使用 Ingress 暴露 RGW 端点,customEndpoints 就应填写 Ingress 的地址,而不是依赖 Rook 默认生成的 ClusterIP Service 端点。

创建命令与完整层级一致(Realm → ZoneGroup → Zone → Store 需按顺序准备):

kubectl create -f object-multisite.yaml

文件末尾的 CephObjectStore 通过 spec.zone.name: zone-a 加入该 Zone,因此不再需要(也不应该)在 Store 上重复声明 metadataPool / dataPool——这些池由 Zone 统一创建。

Settings 详解

Metadata

  • name:要创建的 Zone 名称。该名称会直接体现在 Ceph 后端的 zone 名以及所创建池的前缀上(见下文“池命名”)。
  • namespace:Rook 集群所在命名空间,Zone 只能在该命名空间内创建。

Pools

metadataPool 与 dataPool 允许使用 CephBlockPool CRD(Pool CRD)规格中的全部池设置。两条硬性约束:

  • metadataPool:用于创建对象存储的所有元数据池,必须使用复制(replicated);
  • dataPool:用于创建对象存储的数据池,可以使用复制或纠删码(erasureCoded)。

从源码看,这两个字段在 types.go 中被定义为 PoolSpec 类型,并带有 +optional / +nullable 标记:

type ObjectZoneSpec struct {
	ZoneGroup       string               `json:"zoneGroup"`
	MetadataPool    PoolSpec             `json:"metadataPool"`
	DataPool        PoolSpec             `json:"dataPool"`
	SharedPools     ObjectSharedPoolsSpec `json:"sharedPools"`
	CustomEndpoints []string             `json:"customEndpoints,omitempty"`
	PreservePoolsOnDelete bool           `json:"preservePoolsOnDelete"`
}

SharedPools 字段用于在已有池中配置 RADOS 命名空间(rados namespace)的场景,可在 spec.sharedPools 下指定 existingPool 与 radosNamespace。当配置了共享池时,Zone 不再为数据面创建独立池,而是复用既有池中的命名空间。

Spec

zonegroup

zonegroup:Zone 所属的 Zone Group 名称,必须与 CephObjectZoneGroup 资源的 metadata.name 一致(如 zonegroup-a)。Zone 控制器在创建 Ceph zone 之前会等待其引用的 Zone Group 就绪——从 controller.go 可以看到,若 Zone Group 尚未 Ready,控制器会以 waitForRequeueIfObjectZoneGroupNotReady 的方式在 10 秒后重新入队(Requeue: true, RequeueAfter: 10 * time.Second),保证依赖顺序。

metadataPool / dataPool

语义已在上文“Pools”小节说明。Zone 控制器通过 object.CreateObjectStorePools(在 controller.go 中作为可注入函数保存)完成池的创建,这意味着池的创建逻辑与 CephObjectStore 独立建池时完全复用同一套实现。

customEndpoints

customEndpoints:指定本 Zone 中用于接收多站点复制流量(multisite replication traffic)的端点列表。可以携带端口,例如 "https://my-object-store.my-domain.net:443"。

默认行为:如果不设置,Rook 会将该 Zone 对应的 CephObjectStore 的 ClusterIP Service 的 DNS 名写入 Ceph 内部配置。

何时必须设置:绝大多数多站点配置并不存在于同一个 Kubernetes 集群中,此时默认的 ClusterIP Service 端点对其他集群不可达,因此必须为 CephObjectStore 自建 Ingress 资源,并把 Ingress 的端点加入 customEndpoints 列表,Zone 才会接受复制流量。

多个 Store / 多个端点的场景:不必把全部端点都放入列表,只需列出用于复制流量的端点即可。反过来,如果某个 CephObjectStore 的端点没有出现在列表中,该 Store 的 RGW 网关将不会接收多站点复制数据(源码注释见 types.go,并与 CephObjectStore.spec.gateway.disableMultisiteSyncTraffic 相关)。

动态变更:如果将 customEndpoints 更新回空列表,Rook operator 会自动把 CephObjectStore 的 Service 端点重新加回 Ceph 的内部配置,从而恢复默认行为。

preservePoolsOnDelete

preservePoolsOnDelete:为 true 时,删除 CephObjectZone 后,其支撑池会保留,这是防止数据被意外丢失的安全措施。默认值为 true(由源码中的 +kubebuilder:default=true 标记确认,见 types.go)。

官方文档给出的安全建议:

  • 触发删除前,最好先确认数据已经与其他对端 Zone 完成同步,避免数据意外丢失(对应 Ceph 文档中的“检查同步状态”步骤);
  • 删除 CephObjectZone 会被阻塞,直到所有属于该 Zone 的 CephObjectStore 都被移除。

这一阻塞行为在源码中有明确实现:依赖检查函数 CephObjectZoneDependentStores 会遍历同一命名空间下所有 CephObjectStore,凡是 store.Spec.Zone.Name == zone.Name 的都会被登记为该 Zone 的 dependent(CephObjectStore),作为删除前的阻塞条件。对应的单元测试位于 dependents_test.go。

与 CephObjectStore 的协同

要让对象存储真正加入一个 Zone,需要在 CephObjectStore 上声明 zone 小节(详见 ceph-object-store-crd.md):

apiVersion: ceph.rook.io/v1
kind: CephObjectStore
metadata:
  name: multisite-store
  namespace: rook-ceph
spec:
  gateway:
    port: 80
    instances: 1
  zone:
    name: zone-a

加入 Zone 后有两个关键变化:

  1. 池归属转移:Store 不再创建以自身名字命名的池,而是复用 Zone 创建的池(zone-a.rgw.* 等)。这也解释了为什么上面示例中的 Store 完全不写 metadataPool / dataPool;
  2. 复制语义生效:同一个 Zone 可以被多个集群中名字相同的 CephObjectRealm / CephObjectZoneGroup / CephObjectZone 引用,配合 ceph-object-multisite.md 中描述的 Realm 拉取(pull)流程,即可实现跨集群的数据同步。

池的命名与清理

当一个 Zone 创建时,Rook 会为每个 Zone 创建以下 Ceph 池(见 ceph-object-multisite.md):

$ZONE_NAME.rgw.control
$ZONE_NAME.rgw.meta
$ZONE_NAME.rgw.log
$ZONE_NAME.rgw.buckets.index
$ZONE_NAME.rgw.buckets.non-ec
$ZONE_NAME.rgw.buckets.data

以 zone-a 为例,删除数据池的命令为:

ceph osd pool rm zone-a.rgw.buckets.data zone-a.rgw.buckets.data --yes-i-really-really-mean-it

注意池名必须连续出现两次,池才会被移除。

需要特别强调的是:删除 Realm / Zone Group / Zone 这些 CR 并不会删除 Ceph 后端的对应实体,也不会删除 Zone 创建的池。多站点清理必须手工完成,标准流程是:

  1. 先从 Zone Group 中移除该 Zone 并提交 period;
  2. 再删除 Ceph 中的 zone;
  3. 最后按需手动删除池。

以删除 zone-a 为例(通过 Rook toolbox 执行),当 Zone Group 中只有一个 Zone 时:

radosgw-admin zone delete --rgw-realm=realm-a --rgw-zonegroup=zonegroup-a --rgw-zone=zone-a
radosgw-admin period update --commit --rgw-realm=realm-a --rgw-zonegroup=zonegroup-a --rgw-zone=zone-a

当 Zone Group 中有多个 Zone 时,需要先移除 Zone 再删除:

radosgw-admin zonegroup rm --rgw-realm=realm-a --rgw-zonegroup=zonegroup-a --rgw-zone=zone-a
radosgw-admin period update --commit --rgw-realm=realm-a --rgw-zonegroup=zonegroup-a --rgw-zone=zone-a
radosgw-admin zone delete --rgw-realm=realm-a --rgw-zonegroup=zonegroup-a --rgw-zone=zone-a
radosgw-admin period update --commit --rgw-realm=realm-a --rgw-zonegroup=zonegroup-a --rgw-zone=zone-a

涉及更换 master zone 的操作请先阅读 Ceph 官方关于更改元数据主 Zone 的文档,谨慎执行。

源码层面的实现验证

围绕 CephObjectZone 的核心实现集中在 pkg/operator/ceph/object/zone/ 目录:

  • 资源定义:types.go 定义了 CephObjectZone,shortName 为 cephoz,并带有 Phase、Age 两个打印列,支持 kubectl get cephoz 快捷查看;
  • 控制器:controller.go 实现了 ReconcileObjectZone,负责在 Ceph 后端创建 zone、通过 CreateObjectStorePools 创建池、调用 CommitConfigChanges 提交配置变更(period),并在 Zone Group 未就绪时按 10 秒间隔重试;
  • 依赖管理:dependents.go 与 dependents_test.go 实现了“存在引用该 Zone 的 CephObjectStore 时禁止删除”的保护逻辑,这正是官方文档中“删除会被阻塞直到所有 Store 被移除”的代码依据;
  • 客户端 CRD 定义:pkg/apis/ceph.rook.io/v1 中 CephObjectZone 的 spec.zoneGroup、metadataPool、dataPool、customEndpoints、preservePoolsOnDelete 字段均有对应的 JSON 标签与 kubebuilder 校验/默认值标记,preservePoolsOnDelete 的默认值 true 即由此生效。

小结

CephObjectZone 是 Rook 多站点拓扑中连接 ZoneGroup 与 CephObjectStore 的关键资源:它声明 Zone 归属、统一创建元数据/数据池、维护复制端点,并通过 preservePoolsOnDelete 与依赖检查提供数据安全兜底。掌握它需要同时理解三个层次:CRD 字段语义(zoneGroup、metadataPool、dataPool、customEndpoints、preservePoolsOnDelete)、与 CephObjectStore 的 zone 引用关系、以及“删除 CR 不等于删除 Ceph 后端实体”的清理纪律。在此基础上,再结合 ceph-object-multisite.md 的 Realm 拉取与扩容章节,即可搭建并运维完整的跨集群对象存储复制方案。

登录后查看全文
rook