深入解析sitespeed.io S3上传插件文件丢失问题及修复方案

问题背景

在网站性能监控工具sitespeed.io的36.x版本中，用户报告了一个关键问题：当使用S3上传插件时，生成的测试报告文件会出现随机丢失的情况，特别是pages.html文件经常缺失。这个问题导致上传到S3存储桶的报告不完整，影响了报告的可用性。

问题现象分析

经过详细排查，我们发现以下典型现象：

1. 本地生成的报告文件完整，但上传后部分文件缺失
2. 问题在版本35.7.5升级到36.4.1后开始出现
3. 文件丢失呈现随机性，但pages.html文件缺失最为常见
4. 日志显示上传过程未完全执行完毕

根本原因

问题的根源在于36版本引入的并发控制机制存在缺陷。具体表现为：

1. 并发控制逻辑错误：在PR #4394中引入的runWithConcurrencyLimit方法实现有误，未能正确等待所有异步任务完成
2. Promise处理不当：方法提前返回，导致部分上传任务被中断
3. 资源清理问题：Docker环境下未完成的Promise可能被提前终止

技术细节

原实现的问题代码逻辑如下：

async function runWithConcurrencyLimit(tasks, concurrency) {
  // 有缺陷的实现
}

该方法本应控制最多同时运行指定数量的任务，并等待所有任务完成。但实际上：

• 它只等待当前批次的任务完成
• 未正确处理后续批次的任务
• 导致部分上传操作被中断

解决方案

项目维护者在37.1版本中重构了这部分代码：

1. 简化了并发控制逻辑
2. 确保所有上传任务都能完成
3. 移除了容易出错的复杂实现

验证结果

升级到修复版本后：

• 所有报告文件都能完整上传
• 不再出现随机文件丢失
• 系统稳定性得到提升

最佳实践建议

对于使用sitespeed.io S3上传插件的用户：

1. 及时升级到37.1或更高版本
2. 定期检查上传的报告完整性
3. 重要任务建议先本地验证报告完整性再上传

总结

这个案例展示了并发控制在异步编程中的重要性，特别是在文件操作场景下。正确的Promise处理和任务调度对于保证系统可靠性至关重要。sitespeed.io团队快速响应并修复问题的做法值得赞赏，也提醒我们在升级版本时需要关注可能引入的副作用。