Drake项目中测试输出文件保存机制的优化

在软件开发过程中，测试环节至关重要，特别是当测试在持续集成(CI)环境中失败时，开发人员需要足够的诊断信息来定位问题。本文将介绍Drake项目如何优化其测试输出文件的保存机制，特别是针对那些未在测试中显式声明的输出文件。

背景与挑战

在Drake项目的持续集成流程中，当测试失败时，开发人员通常只能获取到控制台输出的文本日志。然而，某些测试用例会生成二进制输出文件，如图像或压缩日志等，这些文件对于诊断复杂问题至关重要。在Bazel测试框架中，这类文件被称为"未声明输出"(undeclared outputs)。

传统上，这些二进制输出文件无法通过CI系统自动保存和提供下载，导致开发人员在调试时需要采取变通方法，如将二进制文件编码为文本格式。这种方法不仅效率低下，而且对于大型二进制文件不切实际。

技术实现方案

Drake项目团队设计了一套解决方案来保存这些测试输出文件：

1. 文件收集机制：系统会自动收集测试生成的输出文件，特别是位于bazel-testlogs目录下的outputs.zip文件及其内容。随着Bazel 8的更新，输出文件默认不再压缩，系统也相应调整以处理未压缩的输出文件。

2. 智能保存策略：系统仅保存失败测试的输出文件，避免不必要地存储通过测试的数据。同时，特别排除了代码覆盖率(kcov)构建产生的输出文件，因为这些文件通常体积庞大且已有专门的覆盖率摘要上传。

3. 渐进式部署：初期采用简化方案，将所有输出文件与构建关联上传，而非逐个测试关联。这种设计避免了复杂的Bazel JSON到CTest XML的转换问题。

实施过程中的挑战

在实施过程中，团队遇到了CDash系统的性能问题。当大量测试输出文件上传时，CDash的处理队列会出现积压和延迟。团队采取了以下应对措施：

1. 短期修复：实施了热修复方案，暂时缓解队列压力，确保系统正常运行。

2. 长期解决方案：向CDash项目提交了修复补丁，从根本上解决队列处理性能问题。该补丁将在CDash 3.10版本中正式发布。

未来展望

当前方案已能有效满足基本需求，团队计划在CDash 3.10发布后实施更完善的长期解决方案。这将包括：

1. 更精细化的文件管理策略
2. 与CDash更好的集成体验
3. 可能的性能优化措施

通过这套测试输出保存机制，Drake项目显著提升了开发者在CI环境中诊断测试失败问题的效率，为项目质量保障提供了有力支持。