OP-TEE项目中QEMU环境下syscall ftrace功能失效问题分析

问题背景

在OP-TEE项目开发过程中，开发人员发现当在QEMU v7平台上启用系统调用跟踪功能(CFG_SYSCALL_FTRACE)时，系统会出现严重问题。具体表现为当尝试加载trusted keys TA时，系统会完全挂起，并在控制台输出RCU(Read-Copy-Update)相关的错误信息。

问题现象

开发人员使用以下编译选项时触发了该问题：

CFG_FTRACE_SUPPORT=y 
CFG_SYSCALL_FTRACE=y 
CFG_FTRACE_BUF_SIZE=1000000 
CFLAGS_ta_arm32=-pg 
QEMU_VIRTFS_AUTOMOUNT=y

系统挂起时输出的关键错误信息包括：

rcu: INFO: rcu_sched detected stalls on CPUs/tasks:
rcu:    0-...0: (6 ticks this GP) idle=0174/1/0x40000000 softirq=97/101 fqs=995
rcu:    (detected by 1, t=2103 jiffies, g=-1107, q=13 ncpus=2)

问题分析

1. RCU机制简介：RCU是Linux内核中使用的一种同步机制，它允许读操作在无锁情况下进行，同时确保数据的一致性。当RCU检测到CPU或任务停滞时，会输出类似上述的错误信息。

2. 问题根源：通过实验发现，当从编译选项中移除-pg标志(用于函数调用跟踪)时，问题消失。这表明问题与函数调用跟踪机制有关。

3. 深入分析：

   • -pg标志会为函数添加额外的调用跟踪代码
   • 在OP-TEE的核心组件中，某些关键函数可能不适合被跟踪
   • 当这些关键函数被跟踪时，可能导致系统调度或同步机制出现问题
   • 特别是当加载TA(Trusted Application)时，系统进入关键路径，此时跟踪机制可能干扰正常操作

解决方案

开发团队通过以下方式解决了该问题：

1. 选择性应用跟踪：不是全局启用-pg标志，而是有选择地在特定模块(如Mbed TLS)中应用。

2. 核心函数保护：识别出不应被跟踪的核心函数，确保这些函数不会被-pg标志影响。

3. 代码优化：对跟踪机制本身进行优化，确保它不会干扰系统的关键操作。

技术启示

1. 调试工具的影响：即使是调试和性能分析工具本身，也可能对系统行为产生重大影响，特别是在安全关键系统中。

2. 选择性跟踪的重要性：在复杂系统中，全量跟踪可能带来不可预见的问题，需要有策略地选择跟踪目标。

3. RCU机制的敏感性：RCU作为内核关键同步机制，其异常往往反映了更深层次的系统问题。

这个问题及其解决方案为OP-TEE开发者提供了宝贵的经验，特别是在处理系统级调试工具与核心功能交互时的注意事项。