bpftrace项目中biosnoop工具在新内核上的兼容性问题分析

背景介绍

bpftrace是一个基于eBPF的高级跟踪工具，它允许用户通过简单的脚本语言来编写强大的内核和用户空间跟踪程序。其中，biosnoop是bpftrace工具集中的一个重要工具，用于跟踪和显示块设备I/O操作的详细信息，包括延迟、磁盘名称、进程信息等。

问题现象

在较新的Linux内核版本(如6.11.4)上运行时，bpftrace的biosnoop工具会出现无法正常工作的问题。具体表现为：

1. 工具运行时提示多个内核函数(如blk_account_io_start、__blk_account_io_start等)不可追踪
2. 尝试附加kprobe时返回"Invalid argument"错误
3. 最终无法捕获任何块设备I/O事件

根本原因分析

经过深入分析，发现这是由于Linux内核5.10版本引入的块I/O跟踪机制变更导致的。具体变化包括：

1. 内核将blk_account_io_start和blk_account_io_done等关键函数标记为static并进行了内联优化
2. 内核新增了block:block_io_start和block:block_io_done跟踪点作为替代方案
3. 新跟踪点缺少磁盘名称信息，而这是biosnoop工具的重要输出项

技术解决方案探讨

面对这一问题，开发者考虑了多种解决方案：

1. 添加新的bpftrace内置函数：实现设备ID到磁盘名称的转换，通过异步查询/proc/diskstats实现。虽然可行，但会增加bpftrace的复杂性。

2. 添加新的内核kfunc：专门用于设备ID转换。但这种方法需要内核支持，且只能在新内核上工作。

3. 简化输出内容：移除磁盘名称显示，仅输出设备ID。这是最直接的解决方案，保持了工具的可用性。

4. 尝试内联探测：使用bpftrace的probe_inline配置选项，但测试发现虽然能附加探针，却无法捕获事件。

最终，开发者选择了第三种方案，即修改biosnoop工具输出设备ID而非磁盘名称。这一方案具有以下优点：

• 实现简单，不需要修改bpftrace核心功能
• 保持工具的可用性，用户可以通过其他方式转换设备ID
• 兼容所有内核版本

技术细节说明

新版本biosnoop工具的主要变更包括：

1. 从使用kprobe跟踪blk_account_io_*函数改为使用tracepoint跟踪block:block_io_*事件
2. 输出中的DISK列现在显示设备主次设备号而非名称
3. 保持了原有的延迟测量和进程信息功能

对于需要磁盘名称的用户，可以通过以下方式转换设备号：

ls -l /dev/disk/by-id/ | grep "8:16"  # 假设设备号为8:16

总结与建议

bpftrace的biosnoop工具在新内核上的兼容性问题展示了Linux内核跟踪机制演进的挑战。通过这次调整，工具保持了核心功能的同时适应了内核变化。对于用户来说：

1. 如果需要完整功能，可以考虑使用BCC版本的biosnoop
2. 理解设备ID与磁盘名称的映射关系有助于分析新版本输出
3. 关注内核跟踪机制的变更可以更好地理解类似工具的演进

这一案例也提醒我们，在依赖内核内部实现时，使用标准接口(tracepoint)通常比依赖具体函数(kprobe)具有更好的长期稳定性。