Ceph 术语表深度指南:从 RADOS 到 RGW 的核心概念全解

原创2026-09-23 20:57:491,964 阅读
文章标签:分布式文件系统对象存储存储云原生集群管理高可用指标监控可观测性

Ceph 术语表深度指南:从 RADOS 到 RGW 的核心概念全解

Ceph 是一个分布式对象、块与文件存储平台。对于初次接触 Ceph 的开发者、运维人员,或是需要在日常排障中准确理解官方文档的工程师而言,一套准确、成体系的术语认知是入门的关键。本篇以仓库内 doc/glossary.rst 官方术语表为骨架,结合 src/ 下的实际源码实现,系统梳理 Ceph 的核心概念、守护进程、存储类型、数据分布机制与运维术语,帮助你建立从"概念"到"代码"的完整认知闭环。

一、Ceph 的根基:RADOS 与 Ceph Storage Cluster

RADOS(Reliable Autonomic Distributed Object Store)

RADOS 是 Ceph 集群的核心组件,一个为可变大小对象提供可扩展服务的对象存储。它是整个 Ceph 集群的"数据平面":所有上层存储形态(块、文件、对象)最终都以对象的形式落盘在 RADOS 之上。从源码结构看,src/osd/ 与 src/mon/ 构成了 RADOS 的两个核心角色:

术语表中将 RADOS 的另一表述 "Reliable Autonomic Distributed Object Store"(可靠、自治、分布式对象存储)单列为一条,其定义为"存储用户数据的核心存储软件集合(MON+OSD)"。可以认为,RADOS 就是 Ceph 存储集群(Ceph Storage Cluster)在"存储与复制数据"这一职能上的具体化。

Ceph Storage Cluster

Ceph 存储集群是共同协作以存储和复制数据的守护进程集合,包括:

  • Ceph Monitor(MON):维护集群状态地图的守护进程;
  • Ceph Manager(MGR):收集并聚合整个集群状态;
  • Ceph Metadata Server(MDS):CephFS 文件系统元数据服务;
  • OSD(Object Storage Daemon):实际存储对象数据并执行复制。

集群接收来自客户端(Ceph Client)的数据。相关架构细节见 存储集群架构。

值得区分的是,术语表中另有一条 RADOS Cluster,指 Ceph Cluster 的"真子集",仅包含 OSD、Monitor 与 Manager——即去掉 MDS 之后的存储核心部分。而 Ceph Node(Ceph 节点)是集群中与其他节点通信以复制和重新分布数据的单元,包含 OSD、Monitor、Manager 与 MDS,通常等同于文档语境中的 "host"。运行中的集群可用 ceph node ls all 列出全部节点。

Cluster Map 与 Monitors

Cluster Map 是由 monitor map、OSD map、PG map、MDS map 与 CRUSH map 组成的一组地图集合,共同报告 Ceph 集群的状态(详见 Cluster Map 章节)。Ceph Monitor 正是维护这些地图的守护进程,它保存的"集群状态"即上述各 map。

Monitor 的关键运行特性:

  • 一个 Ceph 集群至少需要 三个运行中的 Monitor 才能同时满足冗余与高可用;
  • 术语 Quorum(法定人数)指集群中多数 Monitor 处于 up 状态时形成的状态,三个 Monitor 是 Quorum 成立的最低条件;
  • Monitor Store 是 Monitor 使用的持久化存储,包含 Monitor 的 RocksDB 以及 /var/lib/ceph 下的相关文件。

从 Monitor.h 的源码可以看出,Monitor 类继承自 Dispatcher,并持有 MonMap *monmap 等成员,负责分发消息并维护 monmap 状态。

Ceph 集群的角色划分

  • Ceph Monitor:见上文;
  • Ceph Manager(MGR):从 Luminous(12.x)版本起,任何正常运行功能的 Ceph 集群都必须包含一个运行的 ceph-mgr 守护进程。MGR 的作用是把整个集群的状态收集到一处,供外部监控与管理系统对接;
  • Ceph Metadata Server(MDS):即 ceph-mds,任何运行 CephFS 文件系统的集群都必须运行该守护进程,它存储全部文件系统元数据,并与客户端协作维护分布式元数据缓存;
  • Ceph OSD:Ceph Object Storage Daemon,与逻辑磁盘交互的对象存储守护进程。

二、三种存储类型:块、文件、对象

Ceph 同时支持三种存储形态,术语表对三者做了明确界定:

存储类型 核心组件 一句话定位
块存储 RBD / librbd 将块数据切分为 "chunks" 并以对象形式存储在 RADOS
文件存储 CephFS / MDS 基于 RADOS 的 POSIX 兼容文件系统
对象存储 RGW 提供 S3 与 Swift RESTful API 的网关

Ceph Block Storage 与 RBD

Ceph Block Device,又称 RADOS Block Device(RBD),是一种编排块数据在 Ceph 中存储的软件组件:它把基于块的应用数据切分为 "chunks",RADOS 将这些 chunks 作为对象存储,Ceph Block Device 则负责协调这些对象在存储集群中的分布。

Ceph Block Storage 是 Ceph 的块存储"产品"形态,指块存储相关服务与能力,使用时通常搭配三件套:

  1. librbd(提供对 RBD 镜像类似文件访问的 Python 模块);
  2. 一个 hypervisor(如 QEMU 或 Xen);
  3. 一个 hypervisor 抽象层(如 libvirt)。

对应的真实 API 位于 src/librbd/(C++ 实现)与 src/pybind/rbd(Python 绑定),使用文档可参考 RBD 文档。

Ceph File System(CephFS)

CephFS 是构建在 RADOS 之上的 POSIX 兼容文件系统,依赖 MDS 维护元数据,由 ceph-fuse 或内核模块挂载。其客户端形态包括:

  • ceph-fuse:FUSE(Filesystem in USErspace)客户端,将 CephFS 挂载到指定挂载点,对应源码 src/ceph_fuse.cc;
  • Ceph Kernel Modules:内核态客户端,如 ceph.ko、rbd.ko。

详细架构见 CephFS 架构文档。

Ceph Object Storage 与 RGW

Ceph Object Store 由 Ceph Storage Cluster 与 Ceph Object Gateway(RGW) 组成。RGW 是构建在 librados 之上的对象存储接口,为应用程序与 Ceph 存储集群之间提供 RESTful 网关,同时支持 Amazon S3 与 OpenStack Swift 两种 API。RGW 相关源码位于 src/rgw/,文档见 RGW 文档。

术语表中还澄清了 S3 与 Swift 的关系:在 Ceph 语境下,S3 与 OpenStack Swift 是 Ceph Object Store 支持的两种 API(Swift 用 "container" 指代 S3/RGW 所称的 "bucket")。RADOS Gateway 是 RGW 的全称别名。

三、数据分布与可靠性:CRUSH、PG 与 Pool

CRUSH 算法

CRUSH 是 Controlled Replication Under Scalable Hashing(可扩展哈希下的受控复制)的缩写,是 Ceph 计算对象存储位置的算法。它的核心价值在于:客户端与 OSD 无需查询中心元数据服务器,即可通过哈希计算直接确定对象应存放的位置。

CRUSH 的完整实现位于 src/crush/:核心算法在 crush.c 与 crush.h,映射逻辑在 mapper.c,哈希函数在 hash.c,此外还有用于解析和编译 crush map 的 CrushWrapper.cc 与 CrushCompiler.cc。

CRUSH rule 指应用于某个或某几个 pool 的 CRUSH 数据放置规则。

Placement Group(PG)

Placement Group 是每个逻辑 Ceph pool 的子集,其职责是"成组地"将对象放置到 OSD 中。Ceph 在内部以 PG 粒度管理数据,这比直接管理数量多得多、粒度细得多的单个 RADOS 对象扩展性更好。关键事实:

  • 集群中 PG 数量越大(例如每个 OSD 100 个 PG),与数量更少的同类集群相比负载均衡越好;
  • Ceph 内部每个 RADOS 对象都映射到特定 PG,且每个 PG 恰好属于一个 pool。

Pool、Primary Affinity

Pool 是用于存储对象的逻辑分区。Primary Affinity 是 OSD 的一个特性,控制该 OSD 在 acting set 中被选为主 OSD(lead OSD)的可能性,该特性于 Firefly(v0.80)引入。

四、存储后端:BlueStore

BlueStore 是 OSD 守护进程使用的存储后端,专为 Ceph 设计:

  • 于 Kraken 版本引入,Luminous 版本起成为默认 OSD 后端,取代 FileStore;
  • 自 Reef 版本起,FileStore 不再作为可用存储后端;
  • BlueStore 直接在原始块设备或分区上存储对象,不经过挂载的文件系统;
  • BlueStore 使用 RocksDB 的键值数据库 将对象名映射到磁盘上的块位置。

源码层面,BlueStore 的实现位于 src/os/bluestore/BlueStore.cc 与 src/os/bluestore/BlueStore.h:其中 class BlueStore : public ObjectStore 定义了后端主体,并包含 onode(对象 inode)缓存统计(如 l_bluestore_onodes、l_bluestore_onode_hits 等指标),可见其内部以 onode 为中心管理对象元数据。同目录下的 BlueFS.cc(BlueFS 文件系统)与 RocksDB 配合,构成 BlueStore 的元数据与预写日志子系统。

与存储硬件相关的术语:

  • Hybrid OSD:同时拥有 HDD 与 SSD 的 OSD;
  • PLP(Power Loss Protection):掉电保护技术,通过电容延长数据从 DRAM 缓存写入 SSD 永久存储的时间,消费级 SSD 很少配备;
  • DAS(Direct-Attached Storage):直连存储,与 NAS、SAN 相对;
  • DC:Data Center 的缩写。

五、对象存储网关(RGW)细节:Bucket、Realm、Zone、Period

Bucket

在 RGW 语境下,bucket 是对象的集合。在"对象类比文件、bucket 类比目录"的文件系统类比中,bucket 对应目录。bucket 概念源自 AWS S3;OpenStack Swift 则用 "containers" 指代同一概念。bucket 上可以设置多站点同步策略(Multisite sync policies),实现对数据从一个 zone 到另一个 zone 移动的细粒度控制。

Realm、Zone、Period

RGW 多站点配置中三个层层嵌套的概念:

  • Realm(域):一个全局唯一的命名空间,由一个或多个 zonegroup 组成;
  • Zone(区域):一个由一个或多个 RGW 实例组成的逻辑组,其配置状态存储在 period 中;
  • Period(周期):Realm 的配置状态。period 存储多站点配置的配置状态,当 period 更新时,称其 "epoch" 已改变。

源码中,Realm/Period 的实现与数据结构位于 src/rgw/rgw_realm.cc,周期历史的缓存逻辑在 src/rgw/rgw_period_history.h(其中声明了 class RGWPeriodHistory)。Zone 相关参数结构(RGWZoneParams)与 ZoneGroup 结构在 src/rgw/driver/rados/rgw_rados.h 中可见。

omap(Object Map)

omap("object map")是一个键值存储(数据库),用于减少读写 Ceph 集群的耗时。关键事实:

  • RGW bucket 索引以 omap 形式存储;
  • 纠删码池(erasure-coded pools)默认无法存储 RADOS omap 数据结构,可通过启用 EC 优化在非 Crimson 的纠删码池中开启该功能;
  • 可用 ceph osd df 命令查看每个 OSD 上 omap 占用的存储空间。

源码中,PG 层面对 omap 的处理可见于 src/osd/PG.cc(其中多处涉及 omap 操作)。

六、数据完整性:Scrub、CRC

Scrubbing(清扫)

Scrub 是 Ceph 确保数据完整性的过程:Ceph 生成 PG 中所有对象的清单,然后通过将每个主对象与其存储在其他 OSD 上的副本比较,确保没有任何对象缺失或不匹配。任何被认为"某份拷贝与其他拷贝不同或完全缺失"的 PG 会被标记为 inconsistent。

Scrub 分为两种:

类型 频率 检查内容
Light scrub(轻清扫) 每日 仅确认对象存在且元数据正确
Deep scrub(深度清扫) 每周 读取数据并使用校验和确保数据完整性

在 OSD 源码中,清扫相关的调度与执行逻辑可见于 src/osd/OSD.h:OsdScrub m_osd_scrub 是负责清扫相关操作的对象实体,queue_for_scrub、queue_for_scrub_resched 等方法负责按优先级排队清扫任务,另有 scrub_reserver(AsyncReserver)跟踪副本清扫操作的计数并异步授予清扫预留请求。

CRC(Cyclic Redundancy Check)

CRC(循环冗余校验)是检测数据传输错误的算法,只能检错、不能纠错。

Flapping OSD

Flapping OSD 指在短时间内被反复标记为 up 又 down 的 OSD。

七、客户端、库与接口

Client 与 Application

Client(客户端)是任何位于 Ceph 外部、使用 Ceph 集群存储和复制数据的程序。术语 Application 即更规范的 Client 的别名。

Ceph Client 与 Ceph Client Libraries

Ceph Client 指所有能够访问 Ceph 存储集群的 Ceph 组件,包括 Ceph Object Gateway、Ceph Block Device、Ceph File System 及其对应库,也包括内核模块和 FUSE 客户端。Ceph Client Libraries 是可用于与 Ceph 集群组件交互的库的集合。客户端架构详见 Ceph 客户端架构。

librados

librados 是可用于创建自定义接口以访问 Ceph 存储集群的 API,使应用程序能够与 Ceph Monitor 和 OSD 交互。其 C++ 头文件位于 src/include/rados 与 src/librados/,Python 绑定位于 src/pybind/rados。

CephX 认证

CephX 是 Ceph 的认证协议,用于对用户与守护进程进行认证。它运作方式类似 Kerberos,但没有单点故障,且允许对一类服务进行认证。相关实现位于 src/auth/,配置参考见架构文档的 高可用认证章节。

secrets(机密)

Secrets 是执行数字认证时使用的凭据,可以是密码、API 密钥、令牌、SSH 密钥、私有证书或加密密钥。

八、管理、监控与运维生态

Ceph Dashboard 与 Dashboard Plugin

Ceph Dashboard 是内置于 Ceph 的基于 Web 的管理与监控应用,通过它可以检查和管理集群内的各种资源,以 Ceph Manager 模块 的形式实现(实现代码位于 src/pybind/mgr/dashboard)。Dashboard Plugin 则是 Mimic 时代的旧版 Web 应用,使用由 Ceph Manager 托管的 Web 服务器可视化集群信息与统计。

Prometheus 模块

Prometheus 是开源监控与告警工具集。Ceph 提供 Prometheus 模块,它提供一个 Prometheus exporter,将 ceph-mgr 中收集点的性能计数器传递给 Prometheus。相关文档位于 doc/mgr。

ceph-ansible

ceph-ansible 是一个 GitHub 仓库,从 Jewel 到 Quincy 版本受支持,用于简化 Ceph 集群的安装。它由后起的 cephadm(文档见 doc/cephadm)取代。仓库中亦保留了与部署相关的脚本,如 src/cephadm/。

Teuthology 与 systemd oneshot

Teuthology 是对 Ceph 执行脚本化测试的软件集合(相关测试任务代码位于 qa/tasks/)。systemd oneshot 是一种 systemd Type,在 ExecStart 中定义一个命令,命令完成后即退出(不进行 daemonize)。

LVM tags

LVM tags(逻辑卷管理器标签)是 LVM 卷与卷组的可扩展元数据,用于存储设备与 OSD 之间关系的 Ceph 特有信息。Ceph 的 LVM 相关实现可参考 src/ceph-volume/ceph_volume/devices/lvm 与文档 doc/ceph-volume/lvm。

User 与 Cloud Platforms

User 指使用 Ceph 客户端与 Ceph 存储集群交互的个人或系统参与者(如应用程序)。Cloud Platforms / Cloud Stacks 指 OpenStack、CloudStack、OpenNebula、Proxmox VE 等第三方云供给平台。

九、OSD 标识与发布体系

OSD ID、OSD FSID 与 OSD UUID

  • OSD ID:每个 OSD 唯一的整数 ID,在创建 OSD 时由 Monitor 生成;
  • OSD FSID / OSD UUID:OSD 的唯一标识符,两个术语可互换使用,FSID 可在 OSD 路径下的 osd_fsid 文件中找到。

Releases 版本体系

术语表对 Ceph 发布体系做了分类界定:

术语 定义
Ceph Interim Release 尚未通过 QA 测试、可能包含新特性的版本
Ceph Point Release 仅包含 bug 修复与安全修复的临时发布
Ceph Release 任一独立编号的 Ceph 版本
Ceph Release Candidate 已通过初步 QA 测试、可供 beta 测试者使用的版本
Ceph Stable Release 前一阶段 interim releases 的所有特性均已成功通过 QA 测试的版本

其他常用术语

  • Ceph Stack:两个或更多 Ceph 组件的集合;
  • Ceph Platform:所有 Ceph 软件(托管于 https://github.com/ceph 的任意代码);
  • Ceph Project:Ceph 的人、软件、使命与基础设施的聚合称谓;
  • Crimson:下一代 OSD 架构,目标是降低跨核通信带来的延迟成本,通过重新设计 OSD 减少数据路径上 shard 间的通信来降低锁竞争,并通过消除对线程池的依赖提升性能(相关开发者文档见 doc/dev/crimson);
  • FQDN(Fully Qualified Domain Name):完全限定域名,指明节点在 DNS 树形层次中的确切位置;
  • Host:Ceph 集群中的任何单台机器或服务器,即 Ceph Node;
  • SDS:Software-Defined Storage(软件定义存储);
  • Object Storage:Ceph 三种存储形态中最基础的一种(其余为文件存储与块存储);
  • Object Storage Device:即 OSD 的另一含义——"对象存储设备",指物理或逻辑存储单元(如 LUN),与 Ceph 社区惯用的 "Object Storage Daemon" 含义不同,阅读旧文档时需注意区分;
  • Ceph Cluster Map / Ceph Manager Dashboard / Ceph Metadata Server / Ceph OSD Daemon(s) / RADOS Gateway / Reliable Autonomic Distributed Object Store / Swift / Pools / Node:均为上述各主词条的别名或参见项。

结语:术语即索引

Ceph 的术语体系与其架构设计高度同构:RADOS 是数据底座,MON/MGR/MDS/OSD 四大守护进程构成集群骨架,CRUSH + PG + Pool 决定数据如何分布,BlueStore 决定数据如何落盘,RGW 则把对象能力以 S3/Swift 形式对外开放。当你在阅读 doc/glossary.rst 之外的运维文档或源码时,这份术语映射可以帮助你快速定位:看到 omap 想到 bucket 索引,看到 scrub 想到 OSD.h 中的清扫队列,看到 Period 想到 rgw_realm.cc 的多站点配置状态。以术语为索引,Ceph 的庞大代码库将不再是黑盒。

登录后查看全文
ceph