Rook Ceph 集群配置实战:从 PG/PGP 规划到 ceph.conf 高级覆盖

原创2026-09-21 22:19:491,855 阅读
文章标签:云原生存储容器编排运维

Rook Ceph 集群配置实战:从 PG/PGP 规划到 ceph.conf 高级覆盖

导读

本文基于 Rook 官方文档 Documentation/Storage-Configuration/Advanced/configuration.md 展开,系统讲解如何在 Rook 管理的 Kubernetes Ceph 集群中修改 Ceph 配置:包括在生产集群上线前必须考虑的默认 PG/PGP 数量规划、pg_autoscaler 自动调优模块的启用与关闭,以及三种配置入口(Rook Toolbox + Ceph CLI、Ceph Dashboard、rook-config-override ConfigMap)的选型与用法。读完本文,你将掌握一套从"容量规划"到"运行时调优"再到"兜底覆盖"的完整配置方法论,并能结合仓库源码理解这些配置在 Rook Operator 内部的落地路径。

配置有风险,动手需谨慎。修改 Ceph 配置前,请务必先通读 Ceph 官方配置文档,理解每个参数的含义;错误配置可能导致守护进程不健康(unhealthy daemons)甚至数据丢失。

为什么要主动配置 Ceph

Rook 与 Ceph 的目标都是"开箱即用",让集群创建过程尽量简单。但几乎所有生产级 Ceph 集群都需要、甚至必须修改部分默认配置——常见动因包括:

  • 为满足 SLA 而调整性能相关参数(例如 scrubbing、网络、缓存等);
  • 更新默认的数据冗余策略(例如 pool 的 size、min_size);
  • 为不同业务规划不同设备类型(HDD / SSD)上的存储池。

配置变更通常发生在两个层面:pool 级参数(如 PG 数量、副本数)和 daemon 级参数(如 OSD 权重、网络划分)。下文分别展开。

必配项:默认 PG 与 PGP 数量

为什么需要关注 PG 数量

Placement Group(PG)是 Ceph 数据分布与故障域管理的基本单位。PG 数量过少,会导致单个 PG 承载过多数据、恢复与再平衡时间长;PG 数量过多,则每个 PG 占用过多内存与 CPU,甚至触发 Ceph 的 mon_pg_warn_max_per_osd 告警。因此,在创建 pool 之前就规划好 PG 数量,比事后调整要安全得多。

在 CephBlockPool 中声明 pg_num / pgp_num

PG 与 PGP 数量可以按 pool 单独配置,但官方建议为你的集群设置合理的默认值。合适的值取决于每个 pool 背后期望的 OSD 数量。在 Rook 中,只需在 CephBlockPool 资源的 spec.parameters 中声明 pg_num 与 pgp_num 即可(对应 CRD 定义见 pkg/apis/ceph.rook.io/v1/types.go 中的 Parameters map[string]string,parameters 会原样透传给 ceph osd pool set 类操作):

apiVersion: ceph.rook.io/v1
kind: CephBlockPool
metadata:
  name: ceph-block-pool-test
  namespace: rook-ceph
spec:
  deviceClass: hdd
  replicated:
    size: 3
  parameters:
    pg_num: '128'  # 以预先配置好的 PG 数量创建 pool
    pgp_num: '128' # 应至少等于 pg_num,确保所有 PG 都被使用

要点:

  • pg_num:创建 pool 时的 PG 数量,创建后只能调大不能随意调小;
  • pgp_num:PG 到 OSD 的放置组数量,pgp_num 应至少匹配 pg_num,否则部分 PG 不会参与数据分布;
  • YAML 中请使用字符串形式(带引号),因为 parameters 是 map[string]string;
  • 除 CephBlockPool 外,CephFilesystem、CephObjectStore 同样支持通过 parameters 透传这些池属性。

parameters 还可以设置 target_size_ratio(给 PG autoscaler 一个"该 pool 预期占集群总容量比例"的提示,以百分比表示)、compression_mode(OSD 层内联压缩:none/passive/aggressive/force)、min_size 等任意 Ceph pool 属性,详见 ceph-block-pool-crd.md。

PG 数量规划经验值

具体的 pg_num 取值依据,请参考 ceph-configuration.md 的 Placement Group Sizing 一节,其给出的通用经验规则是:

OSD 数量 建议 pg_num
少于 5 个 OSD 128
5 ~ 10 个 OSD 512
10 ~ 50 个 OSD 1024
超过 50 个 OSD 自行权衡并借助 pgcalc 工具计算

注意:以上是每个 pool 的 PG 数建议值。若有多个 pool,请结合 pool 数量与 OSD 总量整体评估,避免所有 pool 的 PG 总数远超集群承载能力。

PG autoscaler:让 Ceph 自动管理 PG 数量

自 Ceph Nautilus(v14.x)起,Ceph 引入了 MGR 模块 pg_autoscaler,能够自动调整 pool 的 PG/PGP 数值,并根据 target_size_ratio 等提示动态伸缩。这大大降低了 PG 规划的维护成本。

在 Rook 中:

  • pg_autoscaler 模块默认启用。启用后,Rook 会对所有新建 pool 自动开启 PG 自动伸缩(在 CephCluster CR 中体现为设置 osd_pool_default_pg_autoscale_mode = on,见 ceph-cluster-crd.md 的 Mgr Settings 说明);
  • 如果不希望默认开启,可以在 CephCluster CR 的 spec.mgr.modules 中显式禁用该模块:
spec:
  mgr:
    modules:
    - name: pg_autoscaler
      enabled: false

关于该模块的启用/禁用,Rook 的客户端实现位于 pkg/daemon/ceph/client/mgr.go:MgrEnableModule / MgrDisableModule 最终执行 ceph mgr module enable|disable <name> 命令,并带有 5 次重试与 5 秒等待的容错逻辑;pg_autoscaler 也在 mgr_test.go 中被专门覆盖测试。

注意语义:一旦在 CR 中关闭 pg_autoscaler,该设置只会影响之后新建的 pool。若你希望对存量 pool 单独启用/关闭自动伸缩,需要通过 Rook Toolbox 进入集群,用 ceph osd pool set <pool> pg_autoscale_mode on|off 之类的方式逐池管理。

指定 Ceph 配置的三种方式

Ceph 的配置入口很多,Rook 官方按"推荐优先级"给出三条路径。理解它们的适用场景,是正确运维的前提。

方式一(最推荐):Rook Toolbox + Ceph CLI

最推荐的方式是直接设置 Ceph 自身的配置。具体做法是进入 Rook Toolbox Pod(使用方式详见 ceph-toolbox.md),然后通过 Ceph 命令行完成:

  • 修改 Ceph 全局/daemon 配置(ceph config set);
  • 启用或禁用 MGR 模块(ceph mgr module enable|disable);
  • 创建用户与 pool、调整 pool 属性、设置 CRUSH 规则等。

例如设置某个 pool 的 PG 数量:

# 将 rbd pool 的 PG 数量调整为 512
ceph osd pool set rbd pg_num 512

这种方式要求至少有一个 mon 在线(配置最终写入 mon 的配置数据库),因此适用于集群已正常运行的日常调优。

方式二:Ceph Dashboard

Ceph Dashboard(详见 ceph-dashboard.md)是另一种直接修改部分 Ceph 配置的图形化入口。官方给出的推荐优先级与 Ceph CLI 相同。它适合不习惯命令行的运维人员,但同样要求集群中至少有一个 mgr 可用(Dashboard 由 mgr 提供)。

方式三(兜底):ceph.conf override ConfigMap

第三种是最不推荐的方式,仅在以下场景作为最后手段使用:

  • Ceph 集群尚未建立,mon 尚未可用,但需要预先注入配置(例如首次启动前设置公共/集群网络);
  • 某些非常高级的配置项无法通过 CLI 或 Dashboard 便捷修改。

这一方式通过 rook-config-override ConfigMap 实现,详见后文与 ceph-configuration.md 的 Custom ceph.conf Settings 一节。

三种方式的取舍

方式 前置条件 生效时机 适用场景
Toolbox + Ceph CLI 至少一个 mon 可用 立即生效(多数配置) 日常调优、模块管理
Ceph Dashboard 至少一个 mgr 可用 立即生效(多数配置) 图形化调优
rook-config-override ConfigMap 无(可预创建) daemon 重启后生效 集群初始化前、高级参数兜底

更现代的做法:CephCluster CR 中的 cephConfig

除了上述三种方式,当前仓库还提供一种声明式配置入口:在 CephCluster CR 中通过 spec.cephConfig 直接写入 Ceph 的配置数据库(mon config store),其实现路径是 pkg/operator/ceph/config/monstore.go 中的 CephConfigOptionsMap 与 UpdateConfigStoreFromMap。示例:

spec:
  cephConfig:
    global:
      osd_pool_default_size: "3"
      mon_warn_on_pool_no_redundancy: "false"
      osd_crush_update_on_start: "false"
    "osd.*":
      osd_max_scrubs: "10"

需要理解的关键点(详见 ceph-cluster-crd.md 的 Ceph Config 一节):

  • cephConfig 在 mon 全部达成 quorum 之后由 Operator 主动写入并持续生效,而 rook-config-override 中的 ceph.conf 设置需要重启 daemon pod 才生效;
  • 当两者同时设置同一参数时,cephConfig 优先级更高;
  • 若需要在 mon 首次形成 quorum 之前就注入配置(例如初始化阶段的特殊参数),则只能使用 ceph.conf override ConfigMap;
  • Rook 对 cephConfig 不做参数合法性校验,有效性由使用者负责;
  • 源码中的 filterSettingsMap 会过滤掉 mon_host、fsid、keyring 三个关键配置项(monstore.go),防止用户误写破坏集群;
  • Operator 不会"自动撤销"你从 CR 中删除的配置项,移除配置需要自行用 Ceph CLI 手动 unset 或恢复默认值。

此外,敏感配置可通过 cephConfigFromSecret 引用 Kubernetes Secret(结构镜像 cephConfig,但值改为 name + key 的 SecretKeySelector)。当同一键在 cephConfigFromSecret 与 cephConfig 中同时出现时,cephConfig 优先;若引用的 Secret 或 key 缺失,Rook 会返回 reconciliation 错误以保证配置被可靠应用。

深入 rook-config-override ConfigMap

占位 ConfigMap 的创建

当你创建 Rook Ceph 集群时,Operator 会自动在集群命名空间创建一个占位 ConfigMap rook-config-override,其 data.config 默认为空字符串。对应源码实现是 pkg/operator/ceph/cluster/utils.go 的 populateConfigOverrideConfigMap,ConfigMap 名称常量定义于 pkg/operator/k8sutil/pod.go。

查看默认内容:

kubectl -n rook-ceph get ConfigMap rook-config-override -o yaml
kind: ConfigMap
apiVersion: v1
metadata:
  name: rook-config-override
  namespace: rook-ceph
data:
  config: ""

源码实现还隐含两个约束:

  1. 尾随换行:若 config 非空且不以换行符结尾,Operator 会报错("config data must end with a trailing newline"),因为 ceph.conf 是 ini 格式;
  2. owner reference:该 ConfigMap 归 CephCluster 所有,集群删除时会被级联清理。

写入自定义配置

编辑该 ConfigMap:

kubectl -n rook-ceph edit configmap rook-config-override

将内容改为(每行配置需缩进在 config 属性之下):

apiVersion: v1
kind: ConfigMap
metadata:
  name: rook-config-override
  namespace: rook-ceph
data:
  config: |
    [global]
    osd crush update on start = false
    osd pool default size = 2

该示例做了两件事:告诉 OSD 守护进程启动时不要修改 OSD 权重(osd crush update on start = false),并把 pool 的默认副本数设为 2(osd pool default size = 2)。

配置的传播路径:rook-config-override 的内容会被合并到所有 mon、mgr、OSD、MDS、RGW 守护进程的 /etc/ceph/ceph.conf 中。从 pkg/operator/ceph/cluster/osd/spec.go 可以看到,OSD 容器将该 ConfigMap 以只读卷挂载到 EtcCephDir(即 /etc/ceph)。

⚠️ Rook 对 ceph.conf 内容不做任何校验,参数合法性完全由使用者负责。同时请牢记:你正在离开 Rook 测试过的"沙箱",错误配置可能导致 daemon 不健康甚至数据丢失。

生效时机与 daemon 重启策略

  • 若在集群创建前就创建好 rook-config-override,Ceph daemon 会在首次启动时自动加载这些设置;
  • 若在集群初始化之后才修改 ConfigMap,则必须重启相关 daemon pod 才会生效,且各类 daemon 的重启策略不同:
Daemon 重启注意点
mon 确保 3 个 mon 全部在线健康后,逐个重启 mon pod
mgr pod 无状态,可按需重启;但重启期间 Ceph Dashboard 会短暂不可用
OSD 逐个删除 OSD pod,每次删除后执行 ceph -s 确认集群回到 active/clean 再继续下一个
RGW pod 无状态,可按需重启
MDS pod 无状态,可按需重启

为了自动化滚动重启,最简方式是给 CephCluster CR 中目标 daemon 追加 annotations 或 labels(例如在 spec.annotations.osd 或 spec.labels.osd 下新增一个键值),Operator 检测到 spec 变化后会自动执行滚动更新,无需手动逐 pod 删除。

节点级 OSD 配置覆盖

rook-config-override 是集群级的。某些 ceph.conf 参数需要按节点差异化配置(例如不同节点硬件不同),此时可创建节点级 ConfigMap,其要求为:

  • 必须带有标签 node.config.rook.io/osd;
  • 命名必须遵循 rook-config-override-<hostname>。

该 ConfigMap 会替代 rook-config-override 加载到该节点上所有 OSD 及 OSD prepare job 中。源码证据位于 pkg/operator/ceph/cluster/osd/osd.go 的 initializeNodeConfigmaps(按标签列出并解析 rook-config-override- 前缀)与 pkg/operator/ceph/cluster/osd/spec.go 的 updateCephConfigVolume(将节点 ConfigMap 挂载进该节点的 OSD 卷)。

自定义 CSI ceph.conf 设置

除 Ceph daemon 外,Ceph CSI 驱动也有自己的 ceph.conf 覆盖入口:csi-ceph-conf-override ConfigMap。仓库提供了现成示例 deploy/examples/csi-ceph-conf-override.yaml,其中包含 rbd_validate_pool = false 以跳过 rbd pool 校验:

apiVersion: v1
kind: ConfigMap
metadata:
  name: csi-ceph-conf-override
  namespace: rook-ceph # namespace:operator
data:
  ceph.conf: |
    [global]
    auth_cluster_required = cephx
    auth_service_required = cephx
    auth_client_required = cephx
    rbd_validate_pool = false

使用要点:

  1. 强烈建议保持 CephCSI 默认设置,仅在万不得已时覆盖;
  2. 若在集群创建前创建该 ConfigMap,CSI pod 会自动加载;若在集群初始化后添加,可重启 Rook Operator pod,等待 Rook 重建 CSI pod 后生效;
  3. 配置不再需要时,请将 ceph.conf 恢复为默认值,避免长期偏离官方默认行为。

附录:常用验证命令

配置变更后建议用以下命令验证集群健康与分布情况:

# 查看集群整体健康状态(应回到 active/clean)
ceph -s

# 查看 OSD 树与 CRUSH 权重分布
ceph osd tree

# 查看 pool 的 PG 分布与自动伸缩模式
ceph osd pool autoscale-status

结合前文对 PG 规划与 pg_autoscaler 的理解,ceph osd pool autoscale-status 能直观展示每个 pool 当前 PG 数、目标 PG 数与自动伸缩模式,是验证配置是否生效的第一手依据。

总结

Rook 下配置 Ceph 的核心方法论可概括为三层:

  1. 规划层:上线前在 CephBlockPool 中预设合理的 pg_num / pgp_num,并决定是否保留默认启用的 pg_autoscaler 模块;
  2. 运行时层:优先使用 Rook Toolbox + Ceph CLI 或 Ceph Dashboard 直接修改配置,集群正常运行时绝大多数调优都在这一层完成;声明式场景可优先考虑 CephCluster CR 的 cephConfig / cephConfigFromSecret;
  3. 兜底层:mon/mgr 不可用或参数过于高级时,才动用 rook-config-override(集群级)与 rook-config-override-<hostname>(节点级)ConfigMap,并严格遵守各 daemon 的重启纪律。

配置变更无小事,任何修改都应先在测试环境验证,并在生产环境逐 daemon 滚动执行、随时用 ceph -s 确认集群状态。

登录后查看全文
rook