BCC工具集biotop显示所有IO操作均为读取的问题分析

问题背景

在Linux内核性能分析工具BCC的biotop工具中，用户发现了一个异常现象：无论实际执行的是读取还是写入操作，biotop工具都会将所有磁盘I/O操作显示为读取(R)。这个问题在Azure环境的5.15.0-1052-azure内核版本上被发现。

问题复现

通过一个简单的测试用例可以复现该问题：

1. 使用dd命令执行写入操作：

dd if=/dev/zero of=/tmp/test bs=1M oflag=direct

2. 同时运行biotop工具观察输出：

python3 biotop.py -C

预期结果应该显示写入(W)操作，但实际输出却将所有操作标记为读取(R)。

根本原因分析

经过深入调查，发现问题的根源在于biotop.py源代码中的两个关键缺陷：

1. 条件判断被错误注释：原本用于区分读写操作的条件判断代码被注释掉了，导致工具无法正确识别操作类型。

2. 变量作用域问题：在__trace_req_completion函数中，block request req变量不在其作用域内，导致无法获取请求的命令标志。

解决方案

通过以下修改可以解决该问题：

1. 在start_req_t结构体中添加cmd_flags字段，用于存储请求的命令标志。

2. 在trace_req_start函数中将请求的cmd_flags保存到start_req_t结构体中。

3. 在__trace_req_completion函数中，使用保存的cmd_flags来判断操作类型，而不是直接访问req变量。

关键修改点是从startp->cmd_flags获取命令标志，并通过REQ_OP_MASK和REQ_OP_WRITE进行位操作来判断是否为写入操作。

验证结果

修复后，biotop工具能够正确区分读写操作：

• 对于写入操作，正确显示为"W"
• 对于读取操作，正确显示为"R"

通过dd命令的读写测试验证了修复效果，工具输出与实际操作类型完全一致。

技术细节

在Linux块设备层，每个I/O请求都带有命令标志(cmd_flags)，其中包含操作类型信息。通过检查cmd_flags & REQ_OP_MASK的结果是否等于REQ_OP_WRITE，可以确定操作是否为写入。

这个问题的修复不仅解决了显示问题，还保持了与不同内核版本的兼容性，因为命令标志的处理方式是相对稳定的内核API。

总结

BCC工具集中的biotop是一个强大的实时块设备I/O监控工具。这次修复确保了它能够正确反映系统的实际I/O模式，为性能分析和故障排查提供了准确的数据基础。对于需要精确监控磁盘I/O的用户，建议更新到包含此修复的版本。