Artillery Fargate 模式下虚拟用户(VU)生成异常问题分析

Artillery 是一款流行的开源负载测试工具，其 Fargate 模式允许用户在 AWS 上分布式运行测试。近期有用户报告在使用 Fargate 模式时遇到了虚拟用户(VU)生成数量不符合预期的问题，本文将深入分析这一现象及其解决方案。

问题现象

用户在使用 Artillery 2.0.5 版本时，配置了以下测试场景：

• 10个 Fargate 工作节点
• 测试时长50分钟
• 总虚拟用户数300个

理论上，这应该平均每10秒生成1个虚拟用户，10个节点合计每10秒生成10个虚拟用户。但实际运行中，系统仅生成了约2个虚拟用户/10秒，远低于预期值。

问题排查

通过进一步测试，发现了几个关键现象：

1. 当增加虚拟用户密度时（如将配置改为50分钟600个虚拟用户，即每5秒1个虚拟用户），问题有所缓解
2. 检查单个Fargate节点的完成情况时，发现每个节点都100%完成了分配的任务
3. 问题似乎出现在Fargate到SQS再到AWS CLI的通信环节

解决方案

测试发现，将长时段测试拆分为多个短时段可以完全解决问题。例如：

原始配置（有问题）：

phases:
  - duration: 10m
    arrivalCount: 120

优化配置（正常工作）：

phases:
  - duration: 60
    arrivalCount: 12
  - duration: 60 
    arrivalCount: 12
  # 重复10次

这种分段配置确保了虚拟用户按预期速率生成，10个节点合计每5秒生成10个虚拟用户，完美匹配理论值。

技术分析

这个问题可能源于以下几个方面：

1. 长时段调度精度问题：Artillery在长时间段的虚拟用户调度上可能存在精度损失
2. 分布式协调挑战：多个Fargate节点间的任务分配和同步在长时间运行中可能出现偏差
3. 资源预热延迟：AWS Fargate容器在初始阶段可能需要时间达到全速运行状态

最佳实践建议

对于需要精确控制虚拟用户生成速率的场景，特别是进行延迟基准测试时，建议：

1. 采用分段式配置代替单一时段长运行
2. 监控每个Fargate节点的独立日志以确保任务分配正确
3. 对于关键测试，考虑使用Artillery Cloud服务以获得更完善的监控和报告功能

通过这种分段配置方法，用户可以确保获得稳定且可预测的负载，从而进行准确的性能比较和基准测试。