Rook Ceph 高级配置实战指南:命名空间、ceph.conf 覆盖、CRUSH 调优与 OSD 扩容

原创2026-09-21 14:52:172,310 阅读
文章标签:云原生存储容器编排运维

Rook Ceph 高级配置实战指南:命名空间、ceph.conf 覆盖、CRUSH 调优与 OSD 扩容

本文围绕 Rook 提供的 Ceph 存储集群高级配置能力展开,覆盖多命名空间/多集群部署、Ceph 日志与 OSD 信息收集、Pool 的 Placement Group 规划、rook-config-override 与 csi-ceph-conf-override 两个 ConfigMap 的定制用法、CRUSH 权重与主亲和性调优、专用网络配置、Phantom OSD 清理,以及基于 PVC 集群的 OSD 自动扩容。读者完成后将掌握一套不依赖 Ceph Dashboard、可直接通过 CLI 与 CR 完成的深度运维方案,并理解这些操作在 Rook Operator 源码层面的落地方式。

准备工作:Toolbox 与命名空间前提

本文中的大多数命令都使用 ceph 客户端工具,最快捷的获取方式是从 Rook Toolbox 容器 进入。Toolbox 会以特权 Pod 形式部署到集群中,内部预置了完整的 Ceph 命令行套件,可直接执行 ceph -s、ceph osd tree 等操作。

基于 Kubernetes 的示例默认假设 Rook OSD Pod 位于 rook-ceph 命名空间。如果实际部署在其他命名空间,请将命令中的 kubectl -n rook-ceph [...] 相应替换,例如 kubectl -n my-ceph [...]。

使用非默认命名空间部署

默认情况下 Rook Operator 与 Ceph 集群都部署在 rook-ceph 命名空间。如果希望将 Operator 和/或 Ceph 集群部署到其他命名空间,官方清单中预置了便于 sed 替换的注释标记。核心思路是修改环境变量 ROOK_CLUSTER_NAMESPACE 以适配额外的 Ceph 集群;同时可以选择修改 ROOK_OPERATOR_NAMESPACE 为每个 Ceph 集群各起一个 Operator(此时务必设置 ROOK_CURRENT_NAMESPACE_ONLY),或者保持 Operator 命名空间不变、仅用一个 Operator 管理所有 Ceph 集群。

当 Operator 命名空间与集群命名空间不同时,必须先创建 Operator 命名空间;集群命名空间无需提前创建,common.yaml 会自动完成创建:

kubectl create namespace $ROOK_OPERATOR_NAMESPACE

随后在 deploy/examples 目录下执行下面的批量替换,把所有清单中的命名空间占位符统一改写:

cd deploy/examples

export ROOK_OPERATOR_NAMESPACE="rook-ceph"
export ROOK_CLUSTER_NAMESPACE="rook-ceph"

sed -i.bak \
    -e "s/\(.*\):.*# namespace:operator/\1: $ROOK_OPERATOR_NAMESPACE # namespace:operator/g" \
    -e "s/\(.*\):.*# namespace:cluster/\1: $ROOK_CLUSTER_NAMESPACE # namespace:cluster/g" \
    -e "s/\(.*serviceaccount\):.*:\(.*\) # serviceaccount:namespace:operator/\1:$ROOK_OPERATOR_NAMESPACE:\2 # serviceaccount:namespace:operator/g" \
    -e "s/\(.*serviceaccount\):.*:\(.*\) # serviceaccount:namespace:cluster/\1:$ROOK_CLUSTER_NAMESPACE:\2 # serviceaccount:namespace:cluster/g" \
    -e "s/\(.*\): [-_A-Za-z0-9]*\.\(.*\) # driver:namespace:cluster/\1: $ROOK_CLUSTER_NAMESPACE.\2 # driver:namespace:cluster/g" \
  common.yaml operator.yaml csi-operator.yaml cluster.yaml # 可按需增删其他文件

# 只有一个 Operator 时,第一个之后的所有 Ceph 集群都必须使用 apply
kubectl apply -f crds.yaml -f common.yaml -f csi-operator.yaml
kubectl apply -f operator.yaml -f cluster.yaml

上述 sed 规则分别处理 # namespace:operator、# namespace:cluster、# serviceaccount:namespace:operator、# serviceaccount:namespace:cluster 与 # driver:namespace:cluster 五类注释标记,对应 deploy/examples/common.yaml 中各处命名空间引用。多个集群共用一套 CSI 驱动时,还需参考 CSI 驱动在非默认命名空间下的配置,同步修改 StorageClass 与 VolumeSnapshotClass 中的 provisioner 名称。

部署第二个 Ceph 集群

要在一个独立命名空间中创建新的 CephCluster,只需修改下方指令中的 ROOK_OPERATOR_NAMESPACE 与 SECOND_ROOK_CLUSTER_NAMESPACE。common-second-cluster.yaml 的默认配置已经预设 Operator 使用 rook-ceph、集群使用 rook-ceph-secondary,如果接受这两个默认值,可以完全跳过 sed 命令:

cd deploy/examples
export ROOK_OPERATOR_NAMESPACE="rook-ceph"
export SECOND_ROOK_CLUSTER_NAMESPACE="rook-ceph-secondary"

sed -i.bak \
    -e "s/\(.*\):.*# namespace:operator/\1: $ROOK_OPERATOR_NAMESPACE # namespace:operator/g" \
    -e "s/\(.*\):.*# namespace:cluster/\1: $SECOND_ROOK_CLUSTER_NAMESPACE # namespace:cluster/g" \
  common-second-cluster.yaml

kubectl create -f common-second-cluster.yaml

该清单会一次性创建新命名空间与全部所需 RBAC,前提是 common.yaml 已经执行过。查看 common-second-cluster.yaml 可见其中包含 Namespace、RoleBinding(如 rook-ceph-cluster-mgmt 绑定到 Operator 命名空间的 rook-ceph-system ServiceAccount)、Role 与 ServiceAccount 等对象,且每一处命名空间都带 # namespace:cluster 或 # namespace:operator 注释供 sed 匹配。创建第二个 CephCluster CR 时,只要 NAMESPACE 与之一致,同一个 Operator 便会自动配置该集群。

收集 Rook 日志

Kubernetes 环境中可用下面这段循环收集全部 Rook 日志:它遍历 rook-ceph 命名空间下的每个 Pod、每个容器,逐条打印并以 BEGIN/END 标记分隔,方便后续重定向归档:

for p in $(kubectl -n rook-ceph get pods -o jsonpath='{.items[*].metadata.name}')
do
    for c in $(kubectl -n rook-ceph get pod ${p} -o jsonpath='{.spec.containers[*].name}')
    do
        echo "BEGIN logs from pod: ${p} ${c}"
        kubectl -n rook-ceph logs -c ${c} ${p}
        echo "END logs from pod: ${p} ${c}"
    done
done

这段脚本会抓取每个 Rook Pod 中每个容器的日志,可再压缩为 .gz 归档以便共享。除了管道到 gzip,也可以改为管道到 less 或直接追加重定向到单个文本文件。社区也提供了现成的 tests/scripts/collect-logs.sh 一键收集脚本,适合在生产故障排查时快速带走现场数据。

OSD 信息查询:Pod、节点与底层磁盘的映射

跟踪 OSD 与其底层存储设备的对应关系是日常运维难点。下面的 Kubernetes 脚本可以快速理清关系,默认使用示例集群名 rook:

# 获取 OSD Pod(使用示例/默认集群名 rook)
OSD_PODS=$(kubectl get pods --all-namespaces -l \
  app=rook-ceph-osd,rook_cluster=rook-ceph -o jsonpath='{.items[*].metadata.name}')

# 从 OSD Pod 中找出节点与磁盘的关联
for pod in $(echo ${OSD_PODS})
do
 echo "Pod:  ${pod}"
 echo "Node: $(kubectl -n rook-ceph get pod ${pod} -o jsonpath='{.spec.nodeName}')"
 kubectl -n rook-ceph exec ${pod} -- sh -c '\
  for i in /var/lib/ceph/osd/ceph-*; do
    [ -f ${i}/ready ] || continue
    echo -ne "-$(basename ${i}) "
    echo $(lsblk -n -o NAME,SIZE ${i}/block 2> /dev/null || \
    findmnt -n -v -o SOURCE,SIZE -T ${i}) $(cat ${i}/type)
  done | sort -V
  echo'
done

脚本通过 app=rook-ceph-osd,rook_cluster=rook-ceph 标签定位 OSD Pod,在 Pod 内部遍历 /var/lib/ceph/osd/ceph-* 目录,读取 ready 标记、type 文件,并用 lsblk(失败时回退到 findmnt)解析块设备名与容量。输出形如:

Pod:  osd-m2fz2
Node: node1.zbrbdl
-osd0  sda3  557.3G  bluestore
-osd1  sdf3  110.2G  bluestore
-osd2  sdd3  277.8G  bluestore
-osd3  sdb3  557.3G  bluestore
-osd4  sde3  464.2G  bluestore
-osd5  sdc3  557.3G  bluestore

Pod:  osd-nxxnq
Node: node3.zbrbdl
-osd6   sda3  110.7G  bluestore
-osd17  sdd3  1.8T    bluestore
-osd18  sdb3  231.8G  bluestore
-osd19  sdc3  231.8G  bluestore

每行 -osdN 设备名 容量 存储类型 直接给出「OSD → 节点 → 块设备 → 容量 → 后端(bluestore)」的完整映射,非常适合容量规划与故障定位。

独立存储组与 Pool 配置

分离存储组(SSD 与机械盘)

默认情况下 Rook/Ceph 会把所有存储归入 CRUSH Map 中的单一复制规则,从而最大化集群容量。如果希望为不同用途使用不同的存储端点,就需要创建独立的存储组。下面以常见的「SSD 服务数据库类高 IO 负载、机械盘服务文件归档类低负载」场景为例。

注意:官方已不推荐手动设置该项,deviceClass 属性可直接用于 CephBlockPool、CephFilesystem 与 CephObjectStore 等 CRD 对象中的 Pool 结构。也就是说,推荐做法是在 CR 的 spec.deviceClass 中声明 hdd/ssd 等设备类,由 Rook 自动完成 CRUSH 规则绑定,而不是手工修改 CRUSH map。

Placement Group 规模规划

PG(Placement Group)数量的经验法则如下:

  • 少于 5 个 OSD:pg_num 设为 128
  • 5~10 个 OSD:pg_num 设为 512
  • 10~50 个 OSD:pg_num 设为 1024

超过 50 个 OSD 时,需要自行理解权衡并计算 pg_num,官方推荐使用 pgcalc 工具进行推算。

提示:从 Ceph Nautilus(v14.x)开始,可以使用 MGR 的 pg_autoscaler 模块按需自动伸缩 PG,强烈建议按 Pool 配置合适的默认 pg_num。启用细节参见 默认 PG 与 PGP 数量:该模块默认开启,若需关闭可在 CephCluster CR 的 mgr.modules 中设置 name: pg_autoscaler, enabled: false。

设置 PG 数量

修改 PG 数量前务必先阅读上面的规划章节。通过 CLI 直接设置:

# 将 rbd 池的 PG 数设为 512
ceph osd pool set rbd pg_num 512

此外也可以在 CephBlockPool 的 spec.parameters 中声明 pg_num 与 pgp_num(pgp_num 至少应等于 pg_num,否则部分 PG 不会被使用),示例见 configuration.md。

自定义 ceph.conf:rook-config-override ConfigMap

建议:控制 Ceph 配置的首选方式是在 CephCluster CRD 中使用 cephConfig 与 cephConfigFromSecret 字段。在源码层面,这两个字段分别定义为 map<a href="https://link.gitcode.com/i/eea8b7cc4cd93d6ceb5fa3c8e775acff" target="_blank">string]map[string]string 与 map[string]map[string]v1.SecretKeySelector(见 [pkg/apis/ceph.rook.io/v1/types.go),Operator 会将其写入 mon 的集中式配置数据库。只有在绝对必要时才使用 ConfigMap 方式,且配置不再需要时应将 config 重置为空字符串——配置文件中的设置会降低 Ceph 集群从 CLI 与 Dashboard 的可配置性,并可能给后续调优与排障带来困难。

通过 Ceph CLI 设置配置要求至少有一个 mon 在线;通过 Dashboard 设置要求至少有一个 mgr 在线。此外 Ceph 还有大量无法通过 CLI/Dashboard 轻易修改的高级设置。为了在 mon 可用之前设置配置、或设置高级配置项,Rook 提供了 rook-config-override ConfigMap:把 config 字段设为 ceph.conf 文件内容后,该内容会以 /etc/ceph/ceph.conf 的形式传播到所有 mon、mgr、OSD、MDS 与 RGW 守护进程。

警告:Rook 不会对配置内容做任何校验,配置项的有效性由用户自行负责。

生效时机与重启策略

  • 如果 rook-config-override ConfigMap 在集群启动前创建,Ceph 守护进程首次启动即会自动加载。
  • 如果集群初始化后才向 ConfigMap 添加设置,则需要在目标守护进程上重启使其生效,各类守护进程的重启要点如下:
    • mons:确保三个 mon 都在线且健康,然后逐个重启 mon Pod;
    • mgrs:Pod 无状态,可按需重启,但重启期间会中断 Ceph Dashboard;
    • OSDs:逐个删除 Pod 重启,每次重启之间执行 ceph -s,确认集群回到 active/clean 状态再继续;
    • RGW / MDS:Pod 均无状态,可按需重启。

为了自动化守护进程重启,可向 CephCluster CR 中对应守护进程添加 annotations 或 labels 触发 Pod 规格更新,Operator 便会像处理其他集群更新一样执行滚动更新。

节点级 OSD 配置覆盖

部分 ceph.conf 设置需要按节点硬件差异化定制,此时可创建「节点专属 ConfigMap」,该节点上的所有 OSD 及 OSD prepare Job 将加载它,而非默认的 rook-config-override。节点级 ConfigMap 必须满足:

  • 带有标签 node.config.rook.io/osd;
  • 命名遵循 rook-config-override-<hostname> 规范。

该机制的实现位于 pkg/operator/ceph/cluster/osd/osd.go:initializeNodeConfigmaps 会以 node.config.rook.io/osd 标签过滤出所有 ConfigMap,再通过 k8sutil.ConfigOverrideName + "-" 前缀解析出节点名并记录到 c.nodeConfigmaps,之后该节点的 OSD 与 prepare 任务便会挂载对应的节点级配置。

示例:设置默认副本数与禁止启动时调整 OSD 权重

下面通过一个实例把默认 Pool size 设为 2,并让 OSD 守护进程启动时不修改 OSD 权重。

警告:修改 Ceph 设置需格外谨慎——你正在离开 Rook 测试过的沙箱环境,配置不当可能导致守护进程不健康甚至数据丢失。

Operator 创建集群时会先创建一个占位 ConfigMap,用于覆盖 Ceph 配置;守护进程 Pod 启动时,该 ConfigMap 中的设置会与 Rook 生成的默认设置合并。默认覆盖内容为空,去掉无关属性后可见:

kubectl -n rook-ceph get ConfigMap rook-config-override -o yaml
kind: ConfigMap
apiVersion: v1
metadata:
  name: rook-config-override
  namespace: rook-ceph
data:
  config: ""

查看 pkg/operator/ceph/cluster/utils.go 中的 populateConfigOverrideConfigMap 可以确认:集群创建流程会确保该 ConfigMap 存在(内容为空占位),并为其补齐推荐标签与注解;同时强制要求 config 数据以换行符结尾,否则会报错 invalid configmap ... config data must end with a trailing newline。

应用自定义配置时更新该 ConfigMap:

kubectl -n rook-ceph edit configmap rook-config-override

每行配置都要从 config 属性下缩进,例如:

apiVersion: v1
kind: ConfigMap
metadata:
  name: rook-config-override
  namespace: rook-ceph
data:
  config: |
    [global]
    osd crush update on start = false
    osd pool default size = 2

集中式配置数据库的底层原理

从 pkg/operator/ceph/config/config.go 可以看到,Rook 的现代版本实际上不再依赖 ceph.conf 文件下发普通配置:SetOrRemoveDefaultConfigs 会把 Rook 期望的默认配置写入 mon 的集中式配置数据库(monitor configuration database),并通过 ceph config assimilate-conf 完成批量导入(见 monstore.go)。这意味着常规调优应优先走 cephConfig/cephConfigFromSecret 或 Ceph CLI;rook-config-override 的价值恰恰在于 mon 尚未可用、或需要设置无法经 CLI/Dashboard 修改的启动期高级参数——这与官方文档「最后手段」的定位完全一致。

自定义 CSI 驱动的 ceph.conf:csi-ceph-conf-override

警告:强烈建议保持 CephCSI 的默认设置,仅当绝对必要时才使用覆盖;配置不再需要时应恢复默认值。

与守护进程类似,CSI 侧也有独立的覆盖机制:csi-ceph-conf-override ConfigMap。若在集群启动前创建,CephCSI Pod 会自动加载;若集群初始化后才添加,可重启 Rook Operator Pod,等待 Rook 重建 CSI Pod 以立即生效。

示例:跳过 rbd Pool 校验

参考仓库中的 csi-ceph-conf-override.yaml,将 rbd_validate_pool 设为 false 以跳过 rbd Pool 校验:

kubectl create -f csi-ceph-conf-override.yaml

清单内容如下(注意命名空间带 # namespace:operator 注释,随 Operator 命名空间变化):

apiVersion: v1
kind: ConfigMap
metadata:
  name: csi-ceph-conf-override
  namespace: rook-ceph # namespace:operator
data:
  ceph.conf: |
    [global]
    auth_cluster_required = cephx
    auth_service_required = cephx
    auth_client_required = cephx
    rbd_validate_pool = false

创建后重启 Rook Operator Pod,等待 CSI Pod 重建,新设置即生效。

警告:修改 Ceph 设置务必小心,避免破坏默认配置;错误设置可能导致不可预期的行为。

OSD CRUSH 设置

ceph osd tree 是查看 CRUSH Map 最实用的入口:

ceph osd tree

本节调优的目标正是该命令输出中的若干字段。

OSD 权重(Weight)

CRUSH 权重控制数据在各 OSD 上的分配比例,权重高则承担更多数据与更多磁盘 I/O。默认情况下 OSD 权重与其存储容量成正比,即使磁盘容量参差不齐,也能让所有磁盘以相同速率填满、最大化集群整体容量,适用于大多数场景。以下两种情况值得调整权重:

  • 集群中存在相对较慢的 OSD 或节点:降低其权重可缓解瓶颈影响;
  • 使用 Rook v0.3.1 及更早版本供给的 bluestore 磁盘:可能出现 OSD 权重未按容量设置的问题,手动修正可最大化集群容量。

示例:将 600GiB 的 osd.0 权重设为 .600:

ceph osd crush reweight osd.0 .600

OSD 主亲和性(Primary Affinity)

当 Pool 的 size 大于 1 时,数据会在节点与 OSD 间复制,每份数据都会选出一个 Primary OSD 负责向客户端提供读取。Primary Affinity 控制某 OSD 成为 Primary 的概率,与权重类似,但只影响设备上的读取,不影响容量与写入。

示例:确保 osd.0 仅在持有副本的其他 OSD 全部不可用时才被选为 Primary:

ceph osd primary-affinity osd.0 0

为 OSD 配置专用网络

提示:本节内容保留供历史参考,仍然有效,但 Rook 已通过 CephCluster 网络配置 提供原生支持,建议优先使用 CR 方式。

Ceph 支持为 OSD 通信配置专用网络:声明 cluster network 后,OSD 的心跳、对象复制与恢复流量都会走集群网络。相比单网络,在较慢网络技术下通常能提升性能,代价是额外成本与更隐蔽的故障模式。启用需要两步:

1. 在集群配置中使用 hostNetwork

在 CephCluster CRD 配置中启用 hostNetwork:

  network:
    provider: host

重要:该设置不支持在运行中的 Rook 集群上变更,host 网络必须在集群首次创建时配置。

2. 定义 public/private OSD 网络的子网

编辑 rook-config-override ConfigMap:

kubectl -n rook-ceph edit configmap rook-config-override

添加自定义配置,告知 Ceph 哪个子网是公共网络、哪个是专用网络,例如:

apiVersion: v1
data:
  config: |
    [global]
    public network = 10.0.7.0/24
    cluster network = 10.0.10.0/24
    public addr = ""
    cluster addr = ""

应用更新后的 ConfigMap 后,需要逐个删除 OSD Pod 触发重启,每次重启之间执行 ceph -s 确认集群回到 active/clean 状态。public_network 与 cluster_network 也是 monstore.go 中 SetIfChanged 已验证可安全使用的选项(因 Ceph v18 之前 ceph config get global 存在缺陷,实现中会临时以 client 替代 global 读取当前值再比对写入)。

清理 Phantom OSD

如果 ceph osd tree 中存在不显示任何磁盘的 OSD(即 "Phantom OSD"),可按以下步骤移除。先检查是否存在(示例输出):

$ ceph osd tree
ID  CLASS WEIGHT  TYPE NAME STATUS REWEIGHT PRI-AFF
-1       57.38062 root default
-13        7.17258     host node1.example.com
2   hdd  3.61859         osd.2                up  1.00000 1.00000
-7              0     host node2.example.com   down    0    1.00000

上例中 node2.example.com 没有挂载任何磁盘,极可能是 Phantom OSD。使用输出第一列的 ID(上例为 -7)替换 <ID> 执行:

ceph osd out <ID>
ceph osd crush remove osd.<ID>
ceph auth del osd.<ID>
ceph osd rm <ID>

重新执行 ceph osd tree,确认对应 ID 不再出现即清理成功。更复杂的 OSD 下线/清理场景可参考 ceph-osd-mgmt.md 与示例清单 osd-purge.yaml。

OSD 自动扩容

Rook 提供 auto-grow-storage.sh 脚本,可在 OSD 存储接近 full 阈值时自动扩容。

前置条件

  1. 一个在动态供给环境下部署的、使用 storageClassDeviceSet 的 PVC-based 集群;
  2. 创建 Rook Toolbox。

注意:Prometheus Operator 与 Prometheus 实例是脚本自动创建的前置依赖。查看脚本源码可知其内部会校验 Prometheus 与 ServiceMonitor 等资源是否就绪(见 auto-grow-storage.sh)。

垂直扩容(增大 OSD 容量)

当 OSD 达到存储 near-full 阈值时,运行以下命令自动扩大 PVC 容量:

tests/scripts/auto-grow-storage.sh size  --max maxSize --growth-rate percent
  • growth-rate:OSD 容量的增长百分比;
  • max(maxSize):允许的最大磁盘容量上限。

例如将 OSD 容量增加 30%、最大磁盘 1Ti:

./auto-grow-storage.sh size  --max 1Ti --growth-rate 30

脚本对 Mi/Gi/Ti 单位做了换算(内部统一换算为 Mi 基准比较,见 auto-grow-storage.sh),并会读取 PVC 的 spec.resources.requests.storage 判断当前容量,超过 --max 时不再增长。

水平扩容(增加 OSD 数量)

当 OSD 达到 near-full 阈值时,运行以下命令自动增加 OSD 数量:

tests/scripts/auto-grow-storage.sh count --max maxCount --count rate
  • count:需要新增的 OSD 数量;
  • max(maxCount):存储集群支持的最大磁盘数。

例如新增 3 个 OSD、上限 10:

./auto-grow-storage.sh count --max 10 --count 3

从 auto-grow-storage.sh 的命令分发逻辑可以看到,count 子命令要求 maxCount 为整数并严格校验参数个数($# -ne 5 时报错并打印用法),不符合预期时脚本会退出并给出正确的调用提示。

小结

Rook 的 Ceph 高级配置能力形成了清晰的层次:常规调优优先走 cephConfig/cephConfigFromSecret 或 Ceph CLI/Dashboard,最终落在 mon 集中式配置数据库;启动期与高级参数则通过 rook-config-override(守护进程)与 csi-ceph-conf-override(CSI 驱动)两个 ConfigMap 兜底。多命名空间/多集群、OSD 信息审计、PG 规划、CRUSH 权重与亲和性、专用网络、Phantom OSD 清理以及基于 PVC 的自动扩容脚本,共同构成了生产环境深度运维的完整工具箱。操作时请始终牢记:脱离 Rook 默认沙箱的每一条配置变更,都应以 ceph -s 的 active/clean 状态作为安全回退的校验基准。

登录后查看全文
rook