Playwright测试框架中--last-failed与--shard参数的正确使用方式

问题背景

在使用Playwright测试框架时，开发人员经常会遇到需要重新运行失败测试用例的场景。Playwright提供了--last-failed参数来专门执行上次运行失败的测试，同时--shard参数可以实现测试的并行执行。然而在Playwright 1.50.1版本中，这两个参数的组合使用出现了一些预期之外的行为。

参数组合的行为变化

在Playwright 1.49版本中，开发人员可以这样组合使用这两个参数：

npx playwright test --last-failed --shard=${CI_NODE_INDEX}/${CI_NODE_TOTAL}

这种方式能够正确地将失败的测试用例均匀分配到各个shard节点上执行。

但在1.50.1及后续版本中，这种参数顺序会导致只有第一个shard节点执行所有失败测试，其他节点不执行任何测试。经过社区讨论发现，参数顺序需要调整为：

npx playwright test --shard=${CI_NODE_INDEX}/${CI_NODE_TOTAL} --last-failed

这种顺序虽然能让部分节点执行测试，但测试分配不再均匀，往往集中在少数节点上。

技术原理分析

Playwright处理测试执行时，参数解析顺序会影响最终的执行策略。--shard参数首先确定测试集的分片策略，而--last-failed则在此基础上筛选出需要执行的测试。

在1.50.1版本后，框架对参数处理逻辑进行了调整，使得：

1. 当--shard在前时，系统先分片整个测试集，然后在每个分片中查找失败的测试
2. 当--last-failed在前时，系统先收集所有失败测试，再尝试分片

最佳实践建议

基于社区经验和技术分析，推荐以下实践方案：

1. 分离失败测试收集与执行：先收集所有失败测试信息，再根据收集结果进行分片执行。这可以通过编写脚本合并各节点的.last_run.json文件实现。

2. 合理设置输出目录：在CI环境中，为每个shard节点设置独立的测试结果输出目录，避免结果文件冲突：

outputDir: process.env.CI ? 'test-results' : `./test-results-${process.env.SHARD_INDEX || 1}`

3. 版本适配策略：如果项目依赖1.49版本的行为，可以考虑锁定版本或实现自定义的分片逻辑。

总结

Playwright测试框架在版本演进过程中，对参数处理逻辑的调整可能导致现有CI/CD流程的中断。理解参数解析顺序对执行策略的影响，采用合理的测试结果收集和分片策略，能够确保测试任务的高效执行。对于关键测试流程，建议进行版本兼容性验证，并建立相应的自动化适配机制。