Ceph iSCSI 网关性能监控实战:用 gwtop 实时观测导出的 RBD 镜像 I/O 指标
Ceph iSCSI 网关性能监控实战:用 gwtop 实时观测导出的 RBD 镜像 I/O 指标
Ceph 为 iSCSI 网关环境提供了一套专用的性能监控工具 gwtop,它以类似 Linux 系统 top 命令的交互方式,聚合展示通过 iSCSI 协议导出给客户端的所有 RBD 镜像的性能指标。本文以 doc/rbd/iscsi-monitoring.rst 为核心,结合仓库中 iSCSI 网关相关的架构文档,完整讲解 gwtop 的工作原理、安装部署步骤、配置对象机制以及输出解读方法,帮助你在现有 iSCSI 网关环境中快速建立对导出卷性能的实时可视能力。
一、背景:Ceph iSCSI 网关的监控需求
Ceph 的 iSCSI 网关(iSCSI Gateway)通过 Linux-IO target(LIO)内核子系统提供 iSCSI 协议支持,LIO 利用用户态直通(TCMU)机制与 Ceph 的 librbd 库交互,将 RBD 镜像作为 SCSI 磁盘导出给 iSCSI initiator(客户端),从而使没有原生 Ceph 客户端支持的主机也能访问 Ceph 块存储(参见 doc/rbd/iscsi-overview.rst)。
在高可用(HA)网关环境中,通常存在多个网关节点同时导出同一批 RBD 镜像,运维人员需要回答几个关键问题:每个镜像当前的吞吐量是多少?哪些客户端正在连接?集群整体是否健康?gwtop 正是为解决这些问题而设计:它聚合多网关节点的性能数据,以单一视图呈现所有已导出镜像的 I/O 状态。
维护状态提示:根据 doc/rbd/iscsi-overview.rst 中的说明,iSCSI 网关自 2022 年 11 月起进入维护模式(maintenance),不再新增功能,本文档服务于现有部署场景。新部署应优先考虑通过
librbd、QEMU、Kubernetes CSI 等方式直接访问 RBD 镜像,或使用 NVMe-oF 网关 提供 NVMe 访问。
二、gwtop 的工作原理:PCP 与 LIO PMDA
gwtop 的监控数据链路由两部分组成:
- Performance Co-Pilot(PCP):一套开源的系统性能监控框架,其核心守护进程
pmcd在各网关节点上收集并对外提供性能指标。 - Performance Metrics Domain Agent(PMDA):PCP 的指标采集代理。其中 Linux-IO target(LIO)PMDA 专门负责从 LIO 内核目标中提取每个已导出 RBD 镜像、每个已连接客户端及其关联的 I/O 指标。
gwtop 从这些 PMDA 获取数据后,将多网关的信息聚合展示:
- 列出每个导出的 RBD 镜像;
- 列出连接该镜像的客户端(iSCSI initiator);
- 列出每个镜像关联的 I/O 指标(IOPS、读写带宽等)。
从数据流上看,gwtop 本身不直接接触 RBD 层,而是站在 LIO 的观测点上,因而能同时覆盖所有通过 iSCSI 导出镜像的实时流量,且对客户端侧透明、无需安装任何客户端代理。
三、部署环境需求
使用 gwtop 的前提条件非常明确:
- 一个正在运行的 Ceph iSCSI 网关:即至少一个已完成配置并正常导出 RBD 镜像的网关节点。网关的部署方式可以是 Ansible 方式 或 命令行方式,也可通过 cephadm 管理 iSCSI 服务 部署;
- RHEL/CentOS 系发行版:本文档中的安装命令基于
yum包管理器,适用于 Red Hat Enterprise Linux、CentOS Stream 等系统(这与 iSCSI 网关本身对 RHEL/CentOS 系的平台要求一致,参见 doc/rbd/iscsi-targets.rst)。
四、安装与配置步骤
以下操作均需以 root 身份在每一个 iSCSI 网关节点上执行。
1. 安装 gwtop 工具包
yum install ceph-iscsi-tools
ceph-iscsi-tools 提供 gwtop 命令本身。该工具集由 Ceph 项目为 iSCSI 网关环境提供(相关文档在 doc/changelog/v12.2.1.txt 中亦有收录记录)。
2. 安装 Performance Co-Pilot 框架
yum install pcp
该包提供 PCP 框架及其核心守护进程 pmcd,是指标收集的基础设施。
3. 安装 LIO PMDA 代理
yum install pcp-pmda-lio
该包提供从 LIO 内核目标采集 iSCSI 导出镜像性能指标的 PMDA 代理。
4. 启用并启动 PCP 服务
systemctl enable pmcd
systemctl start pmcd
确保 pmcd 守护进程开机自启并立即运行。
5. 注册 LIO PMDA 代理
cd /var/lib/pcp/pmdas/lio
./Install
运行安装脚本完成 PMDA 的注册,使 pmcd 能够加载并开始采集 LIO 指标。注册完成后,网关节点即可对外提供镜像级性能数据,gwtop 也就可以正常工作了。
五、配置对象:gateway.conf 与覆盖选项
gwtop 需要知道应该联系哪些 iSCSI 网关来汇总统计信息。这一信息并非保存在本地配置文件,而是存储在 Ceph 集群的 RADOS 对象中:
- 默认位置:
rbd池中名为gateway.conf的 RADOS 对象; - 该配置对象定义了需要联系以获取性能统计数据的 iSCSI 网关列表;
- 该对象由 iSCSI 网关的部署工具(如
gwcli对应的管理流程)创建维护,与网关自身的配置体系保持一致。
如果实际的配置对象存放位置与默认不同,可以通过 gwtop 的命令行标志覆盖:
-g标志;-c标志。
关于这两个标志的精确参数格式与组合方式,请以实际环境中的 gwtop --help 输出为准。
六、LIO 配置与 collector 的自动选择
LIO 的配置决定了从 PCP 中提取哪种类型的性能统计数据。gwtop 在启动时会读取 LIO 配置并做出判断:
- 如果 LIO 配置中检测到 用户空间磁盘(user-space disks),即通过 TCMU 用户态直通方式工作的磁盘,
gwtop会自动选择对应的 LIO collector 来采集指标。
这一自动选择机制意味着:在采用 TCMU 用户态直通的标准 Ceph iSCSI 网关部署中,gwtop 开箱即用,无需手工指定采集器类型,降低了配置出错的可能。
七、输出解读:从聚合视图到逐镜像指标
以下是一个典型的 gwtop 输出示例(来自 doc/rbd/iscsi-monitoring.rst):
gwtop 2/2 Gateways CPU% MIN: 4 MAX: 5 Network Total In: 2M Out: 3M 10:20:00
Capacity: 8G Disks: 8 IOPS: 503 Clients: 1 Ceph: HEALTH_OK OSDs: 3
Pool.Image Src Size iops rMB/s wMB/s Client
iscsi.t1703 500M 0 0.00 0.00
iscsi.testme1 500M 0 0.00 0.00
iscsi.testme2 500M 0 0.00 0.00
iscsi.testme3 500M 0 0.00 0.00
iscsi.testme5 500M 0 0.00 0.00
rbd.myhost_1 T 4G 504 1.95 0.00 rh460p(CON)
rbd.test_2 1G 0 0.00 0.00
rbd.testme 500M 0 0.00 0.00
头部信息(Header)
| 字段 | 含义 |
|---|---|
gwtop 2/2 Gateways |
共 2 个网关节点,全部在线并已成功聚合数据(已联系数/总数) |
CPU% MIN: 4 MAX: 5 |
各网关节点 CPU 使用率的最小值与最大值 |
Network Total In/Out |
网关侧网络流量的总入/出速率 |
10:20:00 |
本次采样的时间戳 |
Capacity: 8G |
已导出镜像的总容量 |
Disks: 8 |
已导出的 RBD 镜像(磁盘)数量 |
IOPS: 503 |
所有镜像的聚合 IOPS |
Clients: 1 |
当前连接的 iSCSI initiator 数量 |
Ceph: HEALTH_OK |
Ceph 集群健康状态 |
OSDs: 3 |
集群 OSD 数量 |
数据表(每镜像一行)
| 列 | 含义 |
|---|---|
Pool.Image |
RBD 镜像所在池与镜像名,形如 iscsi.t1703、rbd.myhost_1 |
Src |
数据来源标记,T 表示该镜像当前有数据流量(示例中 rbd.myhost_1 的 T 即对应其活跃的 I/O) |
Size |
镜像大小,如 500M、1G、4G |
iops |
该镜像的每秒 I/O 次数 |
rMB/s |
读吞吐(MB/s) |
wMB/s |
写吞吐(MB/s) |
Client |
连接该镜像的 iSCSI initiator 名称 |
客户端状态标记
Client 列中的标记是判断客户端连接状态的关键:
(CON):表示该 iSCSI initiator(客户端)当前已登录到 iSCSI 网关,处于连接状态。例如示例中rbd.myhost_1对应客户端rh460p(CON);-multi-:表示有多个客户端同时映射到同一个 RBD 镜像(多路径或多主机共享场景)。当出现该标记时,说明一个镜像被多个 initiator 共享,需要特别关注锁与一致性方面的负载特征。
八、典型使用场景
基于以上能力,gwtop 可用于以下典型场景:
- 容量与负载巡检:一眼查看所有导出镜像的容量、IOPS 与读写带宽分布,定位热点镜像;
- 客户端连接审计:通过
(CON)与-multi-标记确认哪些客户端在线、哪些镜像被多客户端共享; - 网关健康观察:头部信息中的网关在线数、CPU 范围、网络吞吐与 Ceph 集群健康状态,可在单个界面完成网关层与集群层的快速体检;
- 故障排查辅助:当某客户端报性能问题时,通过逐镜像的
iops/rMB/s/wMB/s快速判断瓶颈在镜像层还是客户端层。
九、相关文档导航
如需深入了解 iSCSI 网关的完整体系,可继续阅读以下仓库文档:
- Ceph iSCSI 网关概览(架构与 TCMU/librbd 机制)
- iSCSI 目标部署要求与方式
- 命令行部署 iSCSI 网关
- Ansible 部署 iSCSI 网关
- iSCSI initiator(客户端)配置
- 通过 cephadm 管理 iSCSI 服务
- NVMe-oF 网关(iSCSI 网关的现代替代方案)
综上所述,gwtop 借助 PCP 与 LIO PMDA,将多网关的 iSCSI 导出性能数据汇聚成单一视图,为 Ceph 块存储的 iSCSI 访问路径提供了轻量、实时的监控手段。按本文步骤在网关节点上安装 ceph-iscsi-tools、pcp 与 pcp-pmda-lio 并注册 PMDA 后,即可通过 gwtop 快速掌握每个导出镜像的实时 I/O 状况与客户端连接状态。