Oppia项目中端到端测试失败视频记录方案设计与实现

背景介绍

在Oppia项目的自动化测试实践中，端到端(e2e)测试和验收测试(acceptance test)的稳定性一直是个挑战。当测试失败时，开发团队往往需要更多的上下文信息来诊断问题，而传统的日志和截图有时不足以完全重现问题场景。

现有问题分析

当前Oppia项目测试框架存在两个主要痛点：

1. 诊断信息不足：测试失败时仅能提供静态截图和日志，缺乏操作过程的动态记录
2. 稳定性问题：默认开启视频录制会导致测试不稳定，增加flake（非确定性失败）的发生率

解决方案设计

整体架构

我们采用两阶段执行策略：

1. 首次执行：不录制视频，仅收集基本失败信息
2. 二次执行：当首次执行失败时，自动重试并录制视频

关键技术实现

视频录制模块

基于Puppeteer生态，我们选择puppeteer-screen-recorder库实现视频录制功能。该库的优势在于：

• 轻量级集成
• 支持多浏览器标签页同时录制
• 可配置视频质量参数

录制功能被集成到BaseUser基类中，通过重写openBrowser()和closeBrowser()方法实现自动化的录制启停。

质量优化方案

为减少视频录制对测试稳定性的影响，我们实施了以下优化：

1. 降低ffmpeg编码质量参数
2. 限制视频帧率和分辨率
3. 采用更高效的视频编码格式

执行流程控制

测试工作流的具体控制逻辑如下：

1. 首次执行不启用视频录制
2. 检测到失败后：
   • 上传首次执行的日志和截图
   • 自动触发二次执行（启用视频录制）
3. 二次执行结果处理：
   • 若失败：上传视频及二次执行的诊断信息
   • 若成功：标记为需人工检查的潜在flake

实现细节

多用户场景处理

在验收测试中，Oppia项目需要模拟多用户交互场景。我们的方案为每个用户会话创建独立的视频记录，最终打包为ZIP归档。例如，一个涉及4个用户的测试用例将生成4个独立的视频文件。

错误处理机制

为确保测试可靠性，我们建立了严格的错误处理规则：

1. 无论二次执行结果如何，首次失败都会导致工作流失败
2. 二次执行成功时，在日志中添加明确警告，提示需要人工检查潜在问题

实施效果

该方案实施后带来了显著改进：

1. 问题诊断效率提升：视频记录提供了完整的操作上下文
2. 测试稳定性保障：通过优化录制参数和二次执行策略，减少了视频录制引入的flake
3. 资源利用优化：仅在必要时才进行资源密集的视频录制

最佳实践建议

基于Oppia项目的实施经验，我们总结出以下建议：

1. 视频参数调优：需要在视频质量和执行稳定性间找到平衡点
2. 执行策略定制：根据测试场景复杂度调整重试次数和录制范围
3. 结果分析流程：建立标准化的视频分析流程，提高问题定位效率

这套方案不仅解决了Oppia项目的特定需求，其设计思路也可为其他Web应用项目的测试框架优化提供参考。