Qinglong项目中的并发执行优化方案探讨

背景介绍

在自动化脚本管理工具Qinglong中，用户经常需要处理大量账号的批量任务执行。现有并发功能虽然支持全账号并发或指定账号范围并发，但在实际使用中可能会遇到服务器资源不足导致卡死的问题。本文将深入分析这一技术痛点，并提出可行的优化方案。

现有并发机制分析

Qinglong当前提供了两种并发执行模式：

1. 全账号并发：一次性启动所有账号的脚本执行
2. 指定范围并发：通过参数指定特定序号范围的账号并发执行

这两种模式虽然简单直接，但在处理大规模账号时存在明显不足：

• 服务器负载不可控
• 资源分配不均衡
• 无法根据实际硬件性能灵活调整

用户需求场景

典型的使用场景包括：

• 100个账号需要执行同一脚本
• 服务器性能有限，无法承受全部并发
• 希望分批执行，如每次5-10个账号
• 需要自动完成所有批次的执行

技术解决方案探讨

方案一：分组并发控制

借鉴autman的设计思路，可以引入两个关键参数：

1. conc参数：指定并发使用的环境变量名称
2. groups参数：定义分组并发策略

示例实现：

conc=JD_COOKIE&groups=[0,4-20],[1],[2],[3]

这表示：

• 并发JD_COOKIE环境变量
• 分4组执行：
  • 第1组：序号0和4-20的变量(共18个)
  • 第2组：序号1变量
  • 第3组：序号2变量
  • 第4组：序号3变量

方案二：批次并发控制

更简单的实现方式是引入批次大小参数：

conc=JD_COOKIE&batch_size=5

这表示每次并发执行5个账号，自动分批完成所有账号。

实现建议

1. 参数解析层：

   • 增强参数解析能力，支持复杂的分组表达式
   • 实现范围解析器(如"4-20"解析为4到20的序列)

2. 任务调度层：

   • 根据分组或批次参数拆分任务队列
   • 实现批次间的自动衔接

3. 资源监控层：

   • 可选地增加系统资源监控
   • 动态调整并发数量

技术优势

1. 资源利用率优化：避免服务器过载
2. 执行效率提升：相比全串行大幅缩短总执行时间
3. 配置灵活性：可根据不同场景调整并发策略
4. 可扩展性：为未来更复杂的调度策略奠定基础

实际应用建议

对于不同规模的部署环境，建议：

• 低配服务器：使用小批次(3-5个)并发
• 中配服务器：中等批次(10-20个)并发
• 高配服务器：可考虑大批次或全并发

总结

Qinglong的并发执行功能优化不仅能解决当前用户面临的性能问题，还能为系统带来更强大的任务调度能力。通过引入分组或批次控制参数，可以在保证系统稳定性的同时提高任务执行效率。这种改进对于管理大规模账号的自动化任务场景尤为重要，是Qinglong项目值得考虑的功能增强方向。