Ceph iSCSI 网关性能监控实战:用 gwtop 实时观测导出的 RBD 镜像 I/O 指标

原创2026-09-23 17:28:511,352 阅读
文章标签:分布式文件系统对象存储存储云原生集群管理高可用指标监控可观测性

Ceph iSCSI 网关性能监控实战:用 gwtop 实时观测导出的 RBD 镜像 I/O 指标

Ceph 为 iSCSI 网关环境提供了一套专用的性能监控工具 gwtop,它以类似 Linux 系统 top 命令的交互方式,聚合展示通过 iSCSI 协议导出给客户端的所有 RBD 镜像的性能指标。本文以 doc/rbd/iscsi-monitoring.rst 为核心,结合仓库中 iSCSI 网关相关的架构文档,完整讲解 gwtop 的工作原理、安装部署步骤、配置对象机制以及输出解读方法,帮助你在现有 iSCSI 网关环境中快速建立对导出卷性能的实时可视能力。

一、背景:Ceph iSCSI 网关的监控需求

Ceph 的 iSCSI 网关(iSCSI Gateway)通过 Linux-IO target(LIO)内核子系统提供 iSCSI 协议支持,LIO 利用用户态直通(TCMU)机制与 Ceph 的 librbd 库交互,将 RBD 镜像作为 SCSI 磁盘导出给 iSCSI initiator(客户端),从而使没有原生 Ceph 客户端支持的主机也能访问 Ceph 块存储(参见 doc/rbd/iscsi-overview.rst)。

在高可用(HA)网关环境中,通常存在多个网关节点同时导出同一批 RBD 镜像,运维人员需要回答几个关键问题:每个镜像当前的吞吐量是多少?哪些客户端正在连接?集群整体是否健康?gwtop 正是为解决这些问题而设计:它聚合多网关节点的性能数据,以单一视图呈现所有已导出镜像的 I/O 状态。

维护状态提示:根据 doc/rbd/iscsi-overview.rst 中的说明,iSCSI 网关自 2022 年 11 月起进入维护模式(maintenance),不再新增功能,本文档服务于现有部署场景。新部署应优先考虑通过 librbd、QEMU、Kubernetes CSI 等方式直接访问 RBD 镜像,或使用 NVMe-oF 网关 提供 NVMe 访问。

二、gwtop 的工作原理:PCP 与 LIO PMDA

gwtop 的监控数据链路由两部分组成:

  1. Performance Co-Pilot(PCP):一套开源的系统性能监控框架,其核心守护进程 pmcd 在各网关节点上收集并对外提供性能指标。
  2. Performance Metrics Domain Agent(PMDA):PCP 的指标采集代理。其中 Linux-IO target(LIO)PMDA 专门负责从 LIO 内核目标中提取每个已导出 RBD 镜像、每个已连接客户端及其关联的 I/O 指标。

gwtop 从这些 PMDA 获取数据后,将多网关的信息聚合展示:

  • 列出每个导出的 RBD 镜像;
  • 列出连接该镜像的客户端(iSCSI initiator);
  • 列出每个镜像关联的 I/O 指标(IOPS、读写带宽等)。

从数据流上看,gwtop 本身不直接接触 RBD 层,而是站在 LIO 的观测点上,因而能同时覆盖所有通过 iSCSI 导出镜像的实时流量,且对客户端侧透明、无需安装任何客户端代理。

三、部署环境需求

使用 gwtop 的前提条件非常明确:

  • 一个正在运行的 Ceph iSCSI 网关:即至少一个已完成配置并正常导出 RBD 镜像的网关节点。网关的部署方式可以是 Ansible 方式 或 命令行方式,也可通过 cephadm 管理 iSCSI 服务 部署;
  • RHEL/CentOS 系发行版:本文档中的安装命令基于 yum 包管理器,适用于 Red Hat Enterprise Linux、CentOS Stream 等系统(这与 iSCSI 网关本身对 RHEL/CentOS 系的平台要求一致,参见 doc/rbd/iscsi-targets.rst)。

四、安装与配置步骤

以下操作均需以 root 身份在每一个 iSCSI 网关节点上执行。

1. 安装 gwtop 工具包

yum install ceph-iscsi-tools

ceph-iscsi-tools 提供 gwtop 命令本身。该工具集由 Ceph 项目为 iSCSI 网关环境提供(相关文档在 doc/changelog/v12.2.1.txt 中亦有收录记录)。

2. 安装 Performance Co-Pilot 框架

yum install pcp

该包提供 PCP 框架及其核心守护进程 pmcd,是指标收集的基础设施。

3. 安装 LIO PMDA 代理

yum install pcp-pmda-lio

该包提供从 LIO 内核目标采集 iSCSI 导出镜像性能指标的 PMDA 代理。

4. 启用并启动 PCP 服务

systemctl enable pmcd
systemctl start pmcd

确保 pmcd 守护进程开机自启并立即运行。

5. 注册 LIO PMDA 代理

cd /var/lib/pcp/pmdas/lio
./Install

运行安装脚本完成 PMDA 的注册,使 pmcd 能够加载并开始采集 LIO 指标。注册完成后,网关节点即可对外提供镜像级性能数据,gwtop 也就可以正常工作了。

五、配置对象:gateway.conf 与覆盖选项

gwtop 需要知道应该联系哪些 iSCSI 网关来汇总统计信息。这一信息并非保存在本地配置文件,而是存储在 Ceph 集群的 RADOS 对象中:

  • 默认位置:rbd 池中名为 gateway.conf 的 RADOS 对象;
  • 该配置对象定义了需要联系以获取性能统计数据的 iSCSI 网关列表;
  • 该对象由 iSCSI 网关的部署工具(如 gwcli 对应的管理流程)创建维护,与网关自身的配置体系保持一致。

如果实际的配置对象存放位置与默认不同,可以通过 gwtop 的命令行标志覆盖:

  • -g 标志;
  • -c 标志。

关于这两个标志的精确参数格式与组合方式,请以实际环境中的 gwtop --help 输出为准。

六、LIO 配置与 collector 的自动选择

LIO 的配置决定了从 PCP 中提取哪种类型的性能统计数据。gwtop 在启动时会读取 LIO 配置并做出判断:

  • 如果 LIO 配置中检测到 用户空间磁盘(user-space disks),即通过 TCMU 用户态直通方式工作的磁盘,gwtop 会自动选择对应的 LIO collector 来采集指标。

这一自动选择机制意味着:在采用 TCMU 用户态直通的标准 Ceph iSCSI 网关部署中,gwtop 开箱即用,无需手工指定采集器类型,降低了配置出错的可能。

七、输出解读:从聚合视图到逐镜像指标

以下是一个典型的 gwtop 输出示例(来自 doc/rbd/iscsi-monitoring.rst):

gwtop  2/2 Gateways   CPU% MIN:  4 MAX:  5    Network Total In:    2M  Out:    3M   10:20:00
Capacity:   8G    Disks:   8   IOPS:  503   Clients:  1   Ceph: HEALTH_OK          OSDs:   3
Pool.Image       Src    Size     iops     rMB/s     wMB/s   Client
iscsi.t1703             500M        0      0.00      0.00
iscsi.testme1           500M        0      0.00      0.00
iscsi.testme2           500M        0      0.00      0.00
iscsi.testme3           500M        0      0.00      0.00
iscsi.testme5           500M        0      0.00      0.00
rbd.myhost_1      T       4G      504      1.95      0.00   rh460p(CON)
rbd.test_2                1G        0      0.00      0.00
rbd.testme              500M        0      0.00      0.00

头部信息(Header)

字段 含义
gwtop 2/2 Gateways 共 2 个网关节点,全部在线并已成功聚合数据(已联系数/总数)
CPU% MIN: 4 MAX: 5 各网关节点 CPU 使用率的最小值与最大值
Network Total In/Out 网关侧网络流量的总入/出速率
10:20:00 本次采样的时间戳
Capacity: 8G 已导出镜像的总容量
Disks: 8 已导出的 RBD 镜像(磁盘)数量
IOPS: 503 所有镜像的聚合 IOPS
Clients: 1 当前连接的 iSCSI initiator 数量
Ceph: HEALTH_OK Ceph 集群健康状态
OSDs: 3 集群 OSD 数量

数据表(每镜像一行)

列 含义
Pool.Image RBD 镜像所在池与镜像名,形如 iscsi.t1703、rbd.myhost_1
Src 数据来源标记,T 表示该镜像当前有数据流量(示例中 rbd.myhost_1 的 T 即对应其活跃的 I/O)
Size 镜像大小,如 500M、1G、4G
iops 该镜像的每秒 I/O 次数
rMB/s 读吞吐(MB/s)
wMB/s 写吞吐(MB/s)
Client 连接该镜像的 iSCSI initiator 名称

客户端状态标记

Client 列中的标记是判断客户端连接状态的关键:

  • (CON):表示该 iSCSI initiator(客户端)当前已登录到 iSCSI 网关,处于连接状态。例如示例中 rbd.myhost_1 对应客户端 rh460p(CON);
  • -multi-:表示有多个客户端同时映射到同一个 RBD 镜像(多路径或多主机共享场景)。当出现该标记时,说明一个镜像被多个 initiator 共享,需要特别关注锁与一致性方面的负载特征。

八、典型使用场景

基于以上能力,gwtop 可用于以下典型场景:

  1. 容量与负载巡检:一眼查看所有导出镜像的容量、IOPS 与读写带宽分布,定位热点镜像;
  2. 客户端连接审计:通过 (CON) 与 -multi- 标记确认哪些客户端在线、哪些镜像被多客户端共享;
  3. 网关健康观察:头部信息中的网关在线数、CPU 范围、网络吞吐与 Ceph 集群健康状态,可在单个界面完成网关层与集群层的快速体检;
  4. 故障排查辅助:当某客户端报性能问题时,通过逐镜像的 iops/rMB/s/wMB/s 快速判断瓶颈在镜像层还是客户端层。

九、相关文档导航

如需深入了解 iSCSI 网关的完整体系,可继续阅读以下仓库文档:

综上所述,gwtop 借助 PCP 与 LIO PMDA,将多网关的 iSCSI 导出性能数据汇聚成单一视图,为 Ceph 块存储的 iSCSI 访问路径提供了轻量、实时的监控手段。按本文步骤在网关节点上安装 ceph-iscsi-tools、pcp 与 pcp-pmda-lio 并注册 PMDA 后,即可通过 gwtop 快速掌握每个导出镜像的实时 I/O 状况与客户端连接状态。

登录后查看全文
ceph