CephFS 快照镜像(Snapshot Mirroring)完整指南:cephfs-mirror 异步复制原理、用户配置、对等端管理与状态运维

原创2026-09-21 10:14:061,851 阅读
文章标签:分布式文件系统对象存储存储云原生集群管理高可用指标监控可观测性

CephFS 快照镜像(Snapshot Mirroring)完整指南:cephfs-mirror 异步复制原理、用户配置、对等端管理与状态运维

CephFS 通过 cephfs-mirror 工具提供基于推送(push-based)的异步快照复制能力:将主集群(primary/local)上指定目录的快照同步到远端(secondary/remote)CephFS 文件系统,用于跨站点灾备与备份。本文以仓库中的 doc/dev/cephfs-mirroring.rst 为主线,结合 src/tools/cephfs_mirror/ 守护进程源码、src/pybind/mgr/mirroring/ Manager 模块与 src/common/options/cephfs-mirror.yaml.in 配置项,完整讲解其设计原理、用户权限创建、守护进程启停、对等端(peer)引导、目录快照管理与状态监控,读完即可独立部署并运维一套 CephFS 目录快照镜像环境。

功能概述与适用场景

CephFS 镜像(Mirroring)将某个目录的快照异步复制到远端 CephFS 文件系统,同步方式为:

  1. 将快照数据同步(传输)到远端文件系统;
  2. 在远端对应目录上创建同名快照。

核心需求是主(primary/local)与备(secondary/remote)集群版本均为 Pacific 或更新版本,这一点写在 doc/dev/cephfs-mirroring.rst 的 Requirements 一节。

典型应用场景包括:

  • 跨数据中心/跨集群的目录级灾备;
  • 基于快照的周期性备份(RPO 取决于快照创建频率);
  • 容灾演练——在备集群上挂载同步后的快照进行只读验证。

核心设计思想:基于 Snapdiff 的增量同步

对于某个目录内的一对快照,cephfs-mirror 守护进程依赖 CephFS Snapdiff 特性识别目录树中的变化:通过计算两个快照之间的差异(diff),只将发生变化的文件同步到远端目录,而非全量拷贝。同步流程结束后,在远端创建与源快照同名的快照,即完成一次目录快照镜像。

需要明确的两点限制(原文明确说明):

  • 当前快照数据采用批量复制(bulk copy)方式同步到远端文件系统;
  • 不支持硬链接(hardlink)同步——硬链接文件会被当作普通独立文件分别同步。

从源码结构看,这一逻辑由 src/tools/cephfs_mirror/ 目录下的组件协作完成:

  • Mirror.cc / Mirror.h:守护进程核心,聚合 ClusterWatcher 与各文件系统的 FSMirror,负责镜像的启用/停用、对等端增删与块名单(blocklist)实例重启;
  • ClusterWatcher.cc:监听集群镜像状态与 peer 变更并异步通知;
  • FSMirror.cc:单个文件系统的镜像执行逻辑;
  • InstanceWatcher.cc:负责目录到镜像实例的映射与 watch/notify;
  • PeerReplayer.cc:对端重放器,执行具体目录快照同步(crawl + datasync);
  • ServiceDaemon.cc:提供 admin socket 状态查询接口;
  • watcher/:watch/notify 相关的底层请求封装。

用户与权限准备(Creating Users)

镜像守护进程需要两个方向的用户:

1. 主集群上的镜像守护进程用户(如 client.mirror)——需要:

  • 元数据池(metadata pool)上的写权限:用于创建 RADOS 对象(索引对象)以支撑 watch/notify 操作;
  • 数据池上的读权限。

创建命令(原文档原文):

ceph auth get-or-create client.mirror mon 'profile cephfs-mirror' mds 'allow r' osd 'allow rw tag cephfs metadata=*, allow r tag cephfs data=*' mgr 'allow r'

2. 备(远端)集群上、每个文件系统对等端使用的用户(如 client.mirror_remote)——需要 MDS 上的完整权限(以便在远端创建快照)以及 OSD 上的完整权限:

ceph fs authorize <fs_name> client.mirror_remote / rwps

该用户在添加对等端(peer)时作为 peer specification 的一部分被使用。ceph fs authorize 会在备集群创建用户并同时授予其文件系统根目录的 rwps(读、写、执行路径、快照)能力,使其能够在远端目录上创建与删除同名快照。

启动镜像守护进程

镜像守护进程可由 systemd 单元文件托管,也可前台运行。

使用 systemd 启动/开机自启(模板实例名 mirror 即对应用户 client.mirror):

systemctl enable cephfs-mirror@mirror
systemctl start cephfs-mirror@mirror

前台运行(-f 前台模式、--id 指定客户端 ID、--cluster 指定集群名):

cephfs-mirror --id mirror --cluster site-a -f

这里的用户 mirror 即上文在 "Creating Users" 一节创建的用户。守护进程对应的 systemd 单元模板为 systemd/cephfs-mirror@.service.in。

从 src/tools/cephfs_mirror/main.cc 可以看到守护进程支持的关键启动参数:

  • --mon-host monaddress[:port]:指定要连接的 monitor;
  • --keyring=<path>:本地集群 keyring 路径;
  • --log-file=<logfile>:调试日志文件;
  • --debug-cephfs-mirror=<log-level>/<memory-level>:设置 cephfs-mirror 调试级别。

main() 的初始化流程为:解析参数 → global_init 初始化 CephContext → 创建客户端 Messenger 与 MonClient → 构建 cephfs::mirror::Mirror 实例 → mirror->init() → mirror->run()。守护进程注册了 SIGHUP(重开日志)以及 SIGINT/SIGTERM(优雅退出)信号处理。

同步机制深入:顺序与化身

快照同步顺序(Snapshot Synchronization Order)

虽然快照被选中同步的先后顺序并不影响最终结果(所有快照最终都会被同步),但实际选取顺序遵循创建顺序(按 snap-id)。

快照化身(Snapshot Incarnation)

这是快照镜像中一个非常关键的边界情况:一个快照可能被删除后以同名重新创建,但内容完全不同。此时:

  • 一个"旧"快照可能早已被同步;
  • 而"新"快照的创建发生在镜像被禁用期间;
  • 若仅以快照名称推断同步断点(point-of-continuation),就会导致新化身(incarnation)的快照永远不会被识别为需要同步。

解决方案:备(secondary)文件系统上的快照会记录其同步来源的 snap-id,该元数据存储在 MDS 的 SnapInfo 结构中。也就是说,同步断点的判定依据是 snap-id 而非快照名,从而正确区分同名快照的不同化身。

控制平面:mirroring Manager 模块

管理目录快照镜像的接口由 mirroring 模块(一个 Ceph Manager 插件)提供。Manager 接口大多是 monitor 命令的包装,是推荐的统一控制接口。其实现位于 src/pybind/mgr/mirroring/module.py,内部由 FSSnapshotMirror 完成具体逻辑。

关键设计点:

  • mirroring 模块不负责镜像守护进程的启停——systemctl 是启停守护进程的首选方式;未来将由 cephadm 统一部署管理(对应 Tracker issue #47261);
  • Manager 模块负责将目录分配给镜像守护进程。可启动多个守护进程以提升目录快照同步的并发度;当守护进程启动或终止时,模块会发现守护进程集合的变化并在新集合间重新平衡目录分配,从而提供高可用;
  • 原文特别提醒:多镜像守护进程的配置目前未经测试,仅推荐单守护进程。

启用与停用镜像

模块默认禁用,启用命令:

ceph mgr module enable mirroring

为某个文件系统启用/停用目录快照镜像:

ceph fs snapshot mirror enable <fs_name>
ceph fs snapshot mirror disable <fs_name>

注意命令前缀:mirroring 模块的命令使用 fs snapshot mirror 前缀,与 monitor 命令使用的 fs mirror 前缀不同,务必使用模块命令(fs snapshot mirror)。

对等端管理命令

启用镜像后,需要添加对等端(peer)作为快照同步的目标。Peer 遵循 <client>@<cluster> 规范,添加时会被分配一个唯一 ID(UUID)。

添加 peer(peer_add,已弃用,见下文):

ceph fs snapshot mirror peer_add <fs_name> <remote_cluster_spec> [<remote_fs_name>] [<remote_mon_host>] [<cephx_key>]
  • <remote_fs_name> 可选,默认取 <fs_name>(远端集群上的同名文件系统);
  • 该命令要求主集群(Manager 所在主机及运行镜像守护进程的主机)上已有远端集群的 Ceph 配置与用户 keyring;
  • peer_add 也支持直接传入远端 monitor 地址与用户 key,但 bootstrap 是推荐方式;
  • 当前仅支持单个 peer;peer_add 已弃用,将在未来版本移除,请改用 peer_bootstrap。

在 module.py 中,peer_add 的实现还会在输出中附加一条弃用警告,印证了这一趋势。

移除 peer(UUID 可通过 Mirror Daemon Status 一节的方法获取):

ceph fs snapshot mirror peer_remove <fs_name> <peer_uuid>

列出 peer:

ceph fs snapshot mirror peer_list <fs_name>

目录的添加、移除与路径归一化

配置某目录开始镜像:

ceph fs snapshot mirror add <fs_name> <path>

停止某目录的镜像:

ceph fs snapshot mirror remove <fs_name> <path>

只允许绝对路径,且路径会被 mirroring 模块归一化——/a/b/../b 与 /a/b 等价。例如:

mkdir -p /d0/d1/d2
ceph fs snapshot mirror add cephfs /d0/d1/d2 {}
ceph fs snapshot mirror add cephfs /d0/d1/../d1/d2

输出:

Error EEXIST: directory /d0/d1/d2 is already tracked

子目录/祖先目录约束:目录加入镜像后,其子目录或祖先目录不允许再被加入:

ceph fs snapshot mirror add cephfs /d0/d1
Error EINVAL: /d0/d1 is a ancestor of tracked path /d0/d1/d2
ceph fs snapshot mirror add cephfs /d0/d1/d2/d3
Error EINVAL: /d0/d1/d2/d3 is a subtree of tracked path /d0/d1/d2

此外模块还提供 ls、show distribution、checkpoint 系列(add/remove/ls/now)命令,其中 checkpoint 命令用于对指定快照添加/移除检查点或基于最新快照即时创建检查点,见 module.py。

对等端引导(Bootstrap Peers)

peer_add 要求主集群预先具备远端集群配置与用户 keyring,通过 peer token 引导(bootstrap)+ 导入(import) 可以省去这一前置条件。

1. 在备(peer)集群创建 bootstrap token:

ceph fs snapshot mirror peer_bootstrap create <fs_name> <client_entity> <site-name>

示例:

ceph fs snapshot mirror peer_bootstrap create backup_fs client.mirror_remote site-remote

输出 token 示例:

{"token": "eyJmc2lkIjogIjBkZjE3MjE3LWRmY2QtNDAzMC05MDc5LTM2Nzk4NTVkNDJlZiIsICJmaWxlc3lzdGVtIjogImJhY2t1cF9mcyIsICJ1c2VyIjogImNsaWVudC5taXJyb3JfcGVlcl9ib290c3RyYXAiLCAic2l0ZV9uYW1lIjogInNpdGUtcmVtb3RlIiwgImtleSI6ICJBUUFhcDBCZ0xtRmpOeEFBVnNyZXozai9YYUV0T2UrbUJEZlJDZz09IiwgIm1vbl9ob3N0IjogIlt2MjoxOTIuMTY4LjAuNTo0MDkxOCx2MToxOTIuMTY4LjAuNTo0MDkxOV0ifQ=="}

site-name 是用户自定义、用于标识远端文件系统的字符串;在 peer_add 语境下,它对应 remote_cluster_spec 中的 cluster 名称。

2. 在主集群导入 token:

ceph fs snapshot mirror peer_bootstrap import <fs_name> <token>

示例:

ceph fs snapshot mirror peer_bootstrap import cephfs eyJmc2lkIjogIjBkZjE3MjE3LWRmY2QtNDAzMC05MDc5LTM2Nzk4NTVkNDJlZiIsICJmaWxlc3lzdGVtIjogImJhY2t1cF9mcyIsICJ1c2VyIjogImNsaWVudC5taXJyb3JfcGVlcl9ib290c3RyYXAiLCAic2l0ZV9uYW1lIjogInNpdGUtcmVtb3RlIiwgImtleSI6ICJBUUFhcDBCZ0xtRmpOeEFBVnNyZXozai9YYUV0T2UrbUJEZlJDZz09IiwgIm1vbl9ob3N0IjogIlt2MjoxOTIuMTY4LjAuNTo0MDkxOCx2MToxOTIuMTY4LjAuNTo0MDkxOV0ifQ==

导入后,token 中携带的远端用户、mon 地址与密钥即被写入主集群,无需手工放置远端配置与 keyring。peer_bootstrap create/import 对应的模块实现见 module.py。

状态监控与运维(Mirror Daemon Status)

镜像守护进程会异步收到文件系统镜像状态与对等端更新的通知。以下是完整的运维观测手段。

1. 守护进程总体状态:daemon status

ceph fs snapshot mirror daemon status
ceph fs snapshot mirror daemon status | jq

输出示例(每个镜像守护进程实例一条记录,包含文件系统、目录数与 peer 信息及基础统计):

[
  {
    "daemon_id": 284167,
    "filesystems": [
      {
        "filesystem_id": 1,
        "name": "a",
        "directory_count": 1,
        "peers": [
          {
            "uuid": "02117353-8cd1-44db-976b-eb20609aa160",
            "remote": {
              "client_name": "client.mirror_remote",
              "cluster_name": "ceph",
              "fs_name": "backup_fs"
            },
            "stats": {
              "failure_count": 1,
              "recovery_count": 0
            }
          }
        ]
      }
    ]
  }
]

2. 目录快照同步指标(mgr 侧)

mirroring 模块实现了 ceph fs snapshot mirror status。cephfs-mirror 守护进程将每个目录的同步统计持久化到元数据池中的 cephfs_mirror 对象 omap,Manager 无需登录守护进程所在主机的 admin socket 即可通过 Ceph CLI 呈现这些指标。其关键实现细节(源自 doc/dev/cephfs-mirroring.rst):

  • metrics_status 处理器读取该 omap,对新增镜像目录应用**陈旧检测(stale detection)**与默认空闲指标,返回与 fs mirror peer status 相同的嵌套 metrics/<dir>/peer/<uuid> JSON 结构;
  • 当 snapshot_mirror_metrics_cache_enabled 为 true(默认开启,TTL 通过 snapshot_mirror_metrics_cache_ttl 设置,默认 15 秒)时,响应由完整缓存(全文件系统快照)提供;单目录查询在完整缓存未命中时走按目录的部分缓存,避免全量 omap 扫描;缓存关闭时每次查询直接读 omap;
  • omap 条目在持久化实例 ID(_instance_id)不在现存镜像实例集合中、或与目录当前追踪实例不符且持久化状态非 idle 时被标记为 stale;
  • 每个 omap 值包含 _instance_id(写入者 RADOS 客户端实例,用于陈旧检测,CLI 输出中会被剥离)与 metrics_updated_at(最近一次 omap 写入的墙上时钟时间,仅在 ceph fs snapshot mirror status 输出中暴露,用于结合 cephfs_mirror_tick_interval 持久化节奏与 Manager 缓存评估指标新鲜度);
  • 清理规则:目录移出镜像时删除该目录的 omap 条目;peer 被移除时删除该 peer(及其全部目录)的条目;文件系统停用镜像时删除该文件系统全部条目;镜像实例因 blocklist/故障重启会保留 omap,使同步得以续传;
  • 所有指标字段都会写入 omap,但守护进程重启时仅加载 last_synced_snap 元数据;按会话计数的 snaps_synced、snaps_deleted、snaps_renamed 会持久化但不加载,因此每个会话从零开始。

模块的两个相关运行时可调选项定义于 src/pybind/mgr/mirroring/module.py:

选项 类型 默认值 说明
snapshot_mirror_metrics_cache_enabled bool true 是否缓存 fs snapshot mirror status 的 omap 指标
snapshot_mirror_metrics_cache_ttl secs 15 缓存指标的 TTL

完整的命令语法、示例与运维指引参见仓库中的用户文档 doc/cephfs/cephfs-mirroring.rst。

3. admin socket 命令

列出守护进程支持的 admin socket 命令:

ceph --admin-daemon /path/to/mirror/daemon/admin/socket help

输出节选:

{
    ....
    "fs mirror status cephfs@360": "get filesystem mirror status",
    ....
}

fs mirror status 前缀的命令为镜像已启用的文件系统提供镜像状态。注意 cephfs@360 采用 文件系统名@文件系统ID 格式——由于守护进程异步接收文件系统镜像状态通知,而文件系统可能被删除后以同名重建,因此必须以 ID 精确区分。

查询文件系统镜像状态:

ceph --admin-daemon /var/run/ceph/cephfs-mirror.asok fs mirror status cephfs@360

输出示例:

{
  "rados_inst": "192.168.0.5:0/1476644347",
  "peers": {
      "a2dc7784-e7a1-4723-b103-03ee8d8768f8": {
          "remote": {
              "client_name": "client.mirror_remote",
              "cluster_name": "site-a",
              "fs_name": "backup_fs"
          }
      }
  },
  "snap_dirs": {
      "dir_count": 1
  }
}

其中的 peer-id(UUID)是执行 peer_remove 移除 peer 时必需的参数。

4. peer 同步状态:fs mirror peer status

命令形式为 文件系统名@文件系统ID peer-uuid:

ceph --admin-daemon /var/run/ceph/cephfs-mirror.asok fs mirror peer status cephfs@360 a2dc7784-e7a1-4723-b103-03ee8d8768f8

空闲(idle)状态输出示例:

{
  "metrics": {
      "/d0": {
          "peer": {
              "a2dc7784-e7a1-4723-b103-03ee8d8768f8": {
                  "state": "idle",
                  "last_synced_snap": {
                      "id": 120,
                      "name": "snap1",
                      "crawl_duration": "2s",
                      "datasync_queue_wait_duration": "1s",
                      "sync_duration": "33s",
                      "sync_time_stamp": "2026-07-15T12:00:00.558797+0530",
                      "sync_bytes": "149.94 MiB",
                      "sync_files": 5000
                  },
                  "snaps_synced": 2,
                  "snaps_deleted": 0,
                  "snaps_renamed": 0
              }
          }
      }
  }
}

输出中多个字段为便于阅读做了格式化(而非原始数值),时长、数据量、吞吐、百分比、计数与时间戳的格式说明见 doc/cephfs/cephfs-mirroring.rst。snaps_synced、snaps_deleted、snaps_renamed 在守护进程重启、或(多守护进程部署时)目录被重新分配给另一守护进程后会重置。

5. 目录状态机:idle / syncing / failed

一个目录可处于以下状态之一:

  • idle:当前未在进行同步;
  • syncing:当前正在同步;
  • failed:连续失败次数达到上限,被标记为失败。

同步中(syncing)状态的输出示例(含实时进度与 ETA):

{
  "metrics": {
      "/d0": {
          "peer": {
              "a2dc7784-e7a1-4723-b103-03ee8d8768f8": {
                  "state": "syncing",
                  "current_syncing_snap": {
                      "id": 121,
                      "name": "snap2",
                      "sync-mode": "full",
                      "avg_read_throughput_bytes": "13.03 MiB/s",
                      "avg_write_throughput_bytes": "24.24 MiB/s",
                      "crawl": {
                          "state": "completed",
                          "duration": "2s"
                      },
                      "datasync_queue_wait": {
                          "state": "complete",
                          "duration": "1s"
                      },
                      "bytes": {
                          "sync_bytes": "60.40 MiB",
                          "total_bytes": "149.94 MiB",
                          "sync_percent": "40.29%"
                      },
                      "files": {
                          "sync_files": 2013,
                          "total_files": 5000,
                          "sync_percent": "40.26%"
                      },
                      "eta": "7s"
                  },
                  "snaps_synced": 2,
                  "snaps_deleted": 0,
                  "snaps_renamed": 0
              }
          }
      }
  }
}

失败判定与重试由两个配置选项控制(定义于 src/common/options/cephfs-mirror.yaml.in):

选项 默认值 说明
cephfs_mirror_max_consecutive_failures_per_directory 10 目录连续同步失败多少次后被标记为 failed;失败目录会以更低频率重试
cephfs_mirror_retry_failed_directories_interval 60(秒) 失败目录的重试间隔

例如,将一个普通文件加入镜像同步会得到 failed 状态:

ceph fs snapshot mirror add cephfs /f0
ceph --admin-daemon /var/run/ceph/cephfs-mirror.asok fs mirror peer status cephfs@360 a2dc7784-e7a1-4723-b103-03ee8d8768f8
{
  "metrics": {
      "/d0": {
          "peer": {
              "a2dc7784-e7a1-4723-b103-03ee8d8768f8": {
                  "state": "idle",
                  "last_synced_snap": { ... },
                  "snaps_synced": 2,
                  "snaps_deleted": 0,
                  "snaps_renamed": 0
              }
          }
      },
      "/f0": {
          "peer": {
              "a2dc7784-e7a1-4723-b103-03ee8d8768f8": {
                  "state": "failed",
                  "snaps_synced": 0,
                  "snaps_deleted": 0,
                  "snaps_renamed": 0
              }
          }
      }
  }
}

这个行为同样允许预先添加一个尚不存在的目录:守护进程将其标记为 failed 并降频重试;当目录真正创建且首个快照同步成功后,守护进程会自动解除失败状态。

另外,当文件系统停用镜像时,fs mirror status 对应的命令将不再出现在命令帮助(help)中。

6. 目录到守护进程的映射:dirmap

ceph fs snapshot mirror dirmap cephfs /d0/d1/d2

输出示例:

{
  "instance_id": "404148",
  "last_shuffled": 1601284516.10986,
  "state": "mapped"
}

instance_id 是与镜像守护进程关联的 RADOS 实例 ID;state 与 last_shuffled 在运行多个镜像守护进程时更具参考意义。

若没有守护进程在运行:

ceph fs snapshot mirror dirmap cephfs /d0/d1/d2
{
  "reason": "no mirror daemons running",
  "state": "stalled"
}

这表示没有镜像守护进程在运行,镜像处于停滞(stalled)状态。

重新添加对等端(Re-adding Peers)的注意事项

当把 peer 重新分配(re-add)给另一个集群中的文件系统时,务必:

  1. 确认所有镜像守护进程已停止与该 peer 同步——可通过 admin socket 的 fs mirror status 命令检查(输出中不应再出现该 Peer UUID);
  2. 建议在重新添加前,从 peer(备集群)上清理(purge)已同步的目录——尤其是那些可能存在于新的主文件系统中的目录,以避免新旧数据混淆;
  3. 如果 peer 是重新添加回此前与之同步的同一个主文件系统,则无需清理。

特性状态与构建(Feature Status)

cephfs-mirror 守护进程默认构建,遵循 WITH_CEPHFS CMake 规则(见 src/tools/cephfs_mirror/CMakeLists.txt)。因此使用默认配置编译的 Ceph 发行版会直接包含本特性,无需额外开关。

守护进程关键配置选项速查

以下高级配置选项定义于 src/common/options/cephfs-mirror.yaml.in,仅作用于 cephfs-mirror 服务,可按需通过 ceph config set 调整:

选项 类型 默认值 说明
cephfs_mirror_max_concurrent_directory_syncs uint 3 可并发爬取(crawl)的目录快照数,即同步爬取线程数;这些线程也执行建目录、删文件、删/改名快照等条目操作
cephfs_mirror_max_datasync_threads uint 6 数据同步线程池大小,处理爬取线程产生的文件同步任务
cephfs_mirror_distribute_datasync_threads bool true 是否将数据同步线程在多个待同步快照间公平分配,防止单个大快照独占线程导致其他快照饥饿
cephfs_mirror_datasync_files_per_batch uint 64 每个调度周期内一个数据同步线程处理的最大文件数后让出线程(仅当 distribute 开启时生效)
cephfs_mirror_blockdiff_min_file_size size 16_M 启用块级 diff(块级增量同步)的最小文件字节阈值;小于等于该值的文件走全量拷贝
cephfs_mirror_action_update_interval secs 2 处理挂起的镜像更新动作的间隔
cephfs_mirror_restart_mirror_on_blocklist_interval secs 30 重启被 blocklist 的镜像实例的间隔;设为 0 表示禁用自动重启
cephfs_mirror_max_snapshot_sync_per_cycle uint 3 目录被工作线程选中后,一个周期内最多镜像的快照数
cephfs_mirror_directory_scan_interval uint 10 扫描已配置目录以镜像快照的间隔(秒)
cephfs_mirror_tick_interval secs 5 每 peer 的 tick 线程运行周期镜像工作的间隔;每轮迭代会重新读取该值,配置变更无需重启守护进程即生效
cephfs_mirror_max_consecutive_failures_per_directory uint 10 目录被标记为 failed 前的连续失败次数
cephfs_mirror_retry_failed_directories_interval uint 60 失败目录的重试间隔(秒)
cephfs_mirror_restart_mirror_on_failure_interval secs 20 重启失败镜像实例的间隔;设为 0 禁用
cephfs_mirror_mount_timeout secs 10 守护进程挂载主/备文件系统的超时,用于覆盖默认 client_mount_timeout;集群不可达时设得过高可能导致守护进程挂起
cephfs_mirror_perf_stats_prio int 5 镜像复制性能计数器优先级,低于 mgr_stats_threshold 时不会上报给 Manager

结语

CephFS 快照镜像提供了一条轻量、目录粒度、基于快照的异步复制路径:主集群上由 cephfs-mirror 守护进程借助 Snapdiff 增量识别目录树变化、批量同步数据并在远端创建同名快照,控制面由 mirroring Manager 模块统一管理。部署时只需依次完成:创建主备集群用户 → 启动守护进程 → 启用 mirroring 模块与文件系统镜像 → 通过 peer_bootstrap 引导导入对等端 → 添加目标目录;之后通过 daemon status、admin socket 的 fs mirror peer status 与 mgr 侧 fs snapshot mirror status 持续观测 idle/syncing/failed 状态即可。结合 src/common/options/cephfs-mirror.yaml.in 中的并发、批大小与重试参数,可在不同规模的目录集与网络条件下进一步调优同步吞吐与失败恢复行为。

登录后查看全文
ceph