Drake项目中Leak Sanitizer在CI环境下段错误问题分析

问题背景

在Drake机器人仿真与控制系统开发项目中，开发团队发现了一个与内存泄漏检测工具(Leak Sanitizer)相关的稳定性问题。具体表现为在持续集成(CI)环境中运行某些测试用例时，会出现间歇性的段错误(Segmentation Fault)。这个问题主要影响规划(planning)模块中的可见性图(visibility graph)测试和IRIS Zo测试。

问题现象

开发团队观察到以下现象：

1. 在Ubuntu 22.04系统上使用Clang编译器构建时，测试会随机失败
2. 即使将线程数限制为1(DRAKE_NUM_THREADS=1)，问题仍然存在
3. 段错误发生在测试主体代码执行之前，表明问题与测试逻辑本身无关
4. 使用bazel test --runs_per_test=10命令进行多次测试时，通常会有2-3次失败

深入分析

通过核心转储分析，开发团队发现段错误发生在Leak Sanitizer的初始化阶段。具体调用栈显示问题出现在__sanitizer::internal_mmap函数中，这是内存映射相关的底层操作。

进一步研究发现：

1. 该问题与OpenMP并行化无关，无论是否启用OpenMP都会出现
2. 在Ubuntu 24.04上使用Clang-15可以复现问题，但切换到Clang-18后问题消失
3. 问题与Linux内核的地址空间布局随机化(ASLR)设置有关，特别是mmap_rnd_bits参数

技术原理

地址空间布局随机化(ASLR)是一种安全技术，通过随机化内存区域的位置来增加攻击难度。mmap_rnd_bits参数控制着mmap分配的随机化程度。当这个值设置过大时，会导致Leak Sanitizer在初始化阶段无法正确分配所需的内存区域，从而引发段错误。

Leak Sanitizer作为内存检测工具，需要在程序启动时预留特定的地址空间范围来跟踪内存分配情况。当ASLR随机化程度过高时，可能导致Sanitizer无法找到合适的连续地址空间来建立其内部数据结构。

解决方案

针对这个问题，开发团队采取了以下解决方案：

1. 调整系统参数，降低mmap_rnd_bits的值
2. 在测试环境中明确设置合理的ASLR参数
3. 考虑升级到更新的Clang版本(如Clang-18)，其中可能已经修复了相关兼容性问题

经验总结

这个问题给我们的启示是：

1. 内存检测工具与系统安全特性之间可能存在微妙的交互问题
2. CI环境中的系统配置可能与开发环境不同，需要特别注意
3. 编译器版本的选择可能影响工具的稳定性
4. 对于偶发性问题，需要结合核心转储分析和环境配置检查来定位根本原因

通过解决这个问题，Drake项目在内存检测方面的稳定性得到了提升，为后续开发工作提供了更可靠的测试保障。