FIO性能问题分析与优化建议

问题背景

在Proxmox/Ceph环境下使用FIO进行存储性能测试时，用户遇到了两个主要问题：一是FIO初始化布局阶段耗时过长，二是整体存储性能较之前相同硬件配置下的测试结果下降了约3倍。测试环境为3节点Proxmox Ceph集群，使用10块3TB NVMe硬盘组成的RBD池，测试虚拟机运行Ubuntu 22.04系统。

问题表现

用户使用的FIO测试命令为：

fio --name=blockchain_test --ioengine=libaio --iodepth=64 --rw=randrw --rwmixread=70 --bs=8k --direct=1 --size=5G --numjobs=8 --runtime=600 --group_reporting

主要问题表现为：

1. 初始布局阶段耗时过长（约6分51秒）
2. 整体性能显著低于预期

技术分析

初始布局耗时问题

FIO在测试开始前需要准备测试文件，这个过程称为"Laying out IO file"。当使用--numjobs=8参数时，FIO会为每个job创建独立的测试文件。在用户案例中，8个job每个需要创建5GB文件，总共需要创建40GB的测试数据。

在Ceph环境下，这种大量小文件写入操作可能会遇到以下瓶颈：

1. Ceph的分布式特性导致小文件写入延迟较高
2. RBD层的额外开销
3. 可能的网络带宽限制

性能下降原因推测

与之前相同硬件配置下的测试结果相比，性能下降可能由以下因素导致：

1. Ceph配置差异（如副本数、CRUSH规则等）
2. 底层存储设备的磨损状态变化
3. 系统参数调优差异（如内核参数、Ceph参数）
4. 网络配置变化

优化建议

1. 测试文件准备优化

对于性能测试场景，可以采取以下优化措施：

• 使用--fallocate=none避免预分配（用户已尝试）
• 减小测试文件大小（如从5G降至512M）
• 添加--overwrite=1参数允许覆盖写入
• 考虑使用--pre_read参数提前读取测试文件

2. 测试参数调整

为快速获取性能数据，可简化测试场景：

• 先使用单一工作负载测试（如纯写--rw=write）
• 减少job数量，增加单个job的iodepth
• 缩短测试时间，快速验证配置变更效果

3. Ceph环境优化建议

针对Ceph环境特有的优化方向：

1. 检查Ceph集群健康状态和性能指标
2. 验证RBD缓存配置
3. 检查网络延迟和带宽
4. 考虑使用rbd_cache=false进行测试
5. 验证OSD的journal配置和NVMe调度器设置

总结

FIO在分布式存储系统上的性能表现受多种因素影响。当遇到性能问题时，建议采用分步排查法：先从最简单的测试场景开始，逐步增加复杂度；同时比较不同环境下的配置差异。在Ceph环境下，除了FIO参数优化外，更需要关注底层存储系统的配置和状态。

对于需要频繁执行性能测试的场景，建议建立基准测试套件，记录每次测试的环境配置和参数，便于后续对比分析。性能优化是一个系统工程，需要综合考虑存储系统、网络、操作系统和测试工具多个层面的配置调优。