Aya-rs项目中的BPF验证失败问题分析与解决方案

问题背景

在使用Aya-rs项目开发eBPF程序时，开发者遇到了一个典型的BPF验证失败问题。具体场景是尝试通过uretprobe钩子监控/usr/bin/bash的readline函数时，程序在加载阶段被BPF验证器拒绝，错误信息显示"Permission denied (os error 13)"。

问题现象

开发者提供了两段相似的代码实现：

第一段代码能够正常运行，它使用固定大小的缓冲区(16字节)来读取用户空间字符串：

fn try_test(ctx: ProbeContext) -> Result<c_long, c_long> {
    info!(&ctx, "running into monitor function");
    let pid = ctx.pid();
    let ret_ptr: *const u8 = ctx.ret().unwrap();

    let mut limit_buf = [0u8; 16];
    let cmd = unsafe {
        bpf_probe_read_user_buf(ret_ptr, &mut limit_buf)?;
        core::str::from_utf8_unchecked(&limit_buf)
    };

    info!(&ctx, "/usr/bin/bash pid: {}, cmd: {}", pid, cmd);
    Ok(0)
}

而第二段代码则无法通过验证，它尝试使用PerCPU数组作为缓冲区：

#[repr(C)]
pub struct Buf {
    pub buf: [u8; 64],
}

#[map]
pub static mut BUF: PerCpuArray<Buf> = PerCpuArray::with_max_entries(1, 0);

fn try_test(ctx: ProbeContext) -> Result<c_long, c_long> {
    info!(&ctx, "running into monitor function");
    let pid = ctx.pid();
    let ret_ptr: *const u8 = ctx.ret().unwrap();

    let buf = unsafe {
        let ptr = BUF.get_ptr_mut(0).ok_or(0)?;
        &mut *ptr
    };
    let cmd = unsafe {
        core::str::from_utf8_unchecked(bpf_probe_read_user_str_bytes(ret_ptr, &mut buf.buf)?)
    };

    info!(&ctx, "/usr/bin/bash pid: {}, cmd: {}", pid, cmd);
    Ok(0)
}

错误分析

验证器输出的关键错误信息是："R5 min value is negative, either use unsigned or 'var &= const'"，这表明在调用bpf_perf_event_output时，寄存器R5的值可能为负数，违反了BPF验证器的要求。

根本原因

经过深入分析，这个问题实际上与内核版本密切相关。开发者最终发现：

1. 在较新的内核版本(5.14.0-148.el9.x86_64)上，程序可以正常运行
2. 在较旧的内核版本(5.4.143)上，程序会触发验证失败
3. 在更老的内核(3.10.0-1160.102.1.e17.x86_64)上，甚至会出现函数重定位错误

技术背景

eBPF技术在不同内核版本中的支持程度差异较大：

• 基本eBPF功能从Linux 4.1内核开始引入
• 完整稳定的eBPF功能在Linux 4.4及以后版本才完全可用
• 较新的eBPF特性(如BPF trampoline、BPF LSM等)需要更新的内核版本

解决方案

针对这类问题，建议采取以下措施：

1. 升级内核版本：确保使用较新的内核版本(推荐5.8+)，以获得更好的eBPF支持和更宽松的验证规则

2. 简化BPF程序逻辑：

   • 避免使用复杂的数据结构
   • 使用固定大小的缓冲区
   • 减少不必要的指针操作

3. 验证器提示处理：

   • 对于"R5 min value is negative"这类错误，可以尝试显式地进行数值范围检查
   • 使用位掩码操作确保数值在有效范围内(var &= const)

4. 替代方案：

   • 对于必须支持旧内核的场景，可以考虑使用SystemTap等替代方案
   • 或者将监控逻辑移到用户空间实现

最佳实践

开发基于Aya-rs的eBPF程序时，建议：

1. 明确目标环境的内核版本要求
2. 从简单功能开始，逐步增加复杂性
3. 充分利用Aya-rs提供的安全抽象，减少unsafe代码块
4. 针对不同内核版本进行充分测试

通过理解eBPF验证器的限制和内核版本差异，开发者可以更高效地编写出稳定可靠的BPF程序。