Expensify/App项目中AWS设备农场E2E测试失败分析与解决方案

背景介绍

在Expensify/App项目的持续集成流程中，发现了一个关键的性能测试问题。当代码被合并到主分支后，AWS设备农场(Device Farm)中的端到端(E2E)测试出现了异常失败。这类问题在大型应用开发中尤为常见，特别是在涉及跨平台测试和性能评估的场景下。

问题现象

测试运行过程中出现了几个明显的异常现象：

1. 测试进程以退出码1结束，表明存在错误
2. 系统无法找到预期的日志文件debug.log
3. 测试运行在1090秒和4120秒后失败，远低于设置的7200秒超时限制
4. 系统自动重试了两次测试，均以失败告终

技术分析

从错误信息来看，问题可能涉及多个层面：

1. 资源管理问题

测试在远低于超时限制的时间点失败，可能表明存在资源耗尽的情况。AWS设备农场对测试运行有资源限制，当测试消耗过多内存或CPU时，可能会被强制终止。

2. 日志系统异常

系统无法找到预期的日志文件，这给问题诊断带来了困难。可能的原因包括：

• 日志路径配置错误
• 文件权限问题
• 日志系统初始化失败

3. 测试稳定性问题

测试在两次重试后均失败，表明这不是偶发性问题，而是存在系统性缺陷。可能涉及：

• 测试用例设计不合理
• 应用性能瓶颈
• 环境配置问题

解决方案

项目维护者采取了以下措施：

1. 问题优先级调整：将问题从"每小时"监控降级为"每日"监控，为深入调查争取时间
2. 根本原因修复：通过专门的修复提交解决了底层问题

经验总结

对于类似的项目，建议：

1. 增强测试监控：实现更细粒度的测试阶段监控，便于快速定位问题点
2. 优化资源使用：分析测试过程中的资源消耗模式，避免超出平台限制
3. 完善日志系统：确保测试失败时能获取足够的诊断信息
4. 建立回退机制：对于关键测试失败，应有自动回滚或标记机制

这类性能测试问题在跨平台应用开发中具有典型性，通过系统化的分析和改进，可以显著提升持续集成流程的稳定性。