Pollinations项目中的并发控制架构优化实践

背景与问题分析

在现代AI服务架构中，并发控制是保障系统稳定性的关键技术。Pollinations项目作为一个提供多种AI生成服务（如文本、图像生成）的平台，面临着不同服务间并发策略不一致的问题。

通过分析项目代码发现，文本服务和图像服务在处理用户请求并发时采用了不同的策略：

• 文本服务实现了基于用户等级(tier)的动态并发控制，种子用户(seed tier)限制为3个并发请求，其他等级用户允许20个并发
• 图像服务则采用了固定的并发限制，无论用户等级如何，统一限制为1个并发请求

这种实现方式带来了三个主要问题：

1. 代码重复：每个服务都需要自行实现并发控制逻辑
2. 体验不一致：相同等级用户在不同服务中获得的服务质量不同
3. 维护困难：当需要调整并发策略时，需要在多个服务中分别修改

解决方案设计

针对上述问题，我们设计了一套集中化的并发控制方案，将核心逻辑抽象到共享模块中。该方案具有以下技术特点：

1. 分层控制架构

新的并发控制系统采用三层结构：

• 基础设施层：由共享的ipQueue模块提供基础队列功能
• 策略层：在ipQueue中实现统一的并发策略逻辑
• 应用层：各服务只需配置基础参数，无需关心策略细节

2. 智能并发限制算法

系统根据请求认证状态自动选择适当的并发策略：

• 认证请求：根据用户等级动态调整
  • 种子用户：3并发
  • 高级用户：20并发
• 非认证请求：使用服务配置的基础并发限制

3. 无侵入式集成

为了确保平滑升级，设计方案保持了完全的向后兼容性：

• 现有服务无需修改调用方式
• 未认证请求的处理逻辑保持不变
• 各服务仍可设置自己的基础间隔时间(interval)

实现细节

在具体实现上，我们对共享的ipQueue模块进行了增强：

1. 请求上下文感知：队列系统现在能够识别请求的认证状态和用户等级
2. 动态容量计算：根据认证信息自动计算适用的并发限制
3. 策略集中管理：所有并发策略规则统一维护在一处

服务端集成变得极为简洁：

// 服务只需配置基础参数
await enqueue(req, generateFunction, { 
  interval: 6000,  // 服务特定的间隔时间
  cap: 1           // 非认证请求的基础并发限制
});

技术优势

本次架构优化带来了多方面的技术收益：

1. 一致性提升：所有服务采用相同的并发策略，用户体验一致
2. 可维护性增强：策略变更只需修改一处代码
3. 代码精简：各服务去除重复的策略逻辑
4. 扩展性改善：未来新增服务可立即获得标准并发控制
5. 透明升级：现有功能不受影响，无缝获得新特性

实施效果

在实际部署后，系统表现出以下改进：

• 文本服务和图像服务对相同等级用户提供一致的并发能力
• 种子用户在图像服务中的并发限制从1提升到3，体验显著改善
• 代码库减少了约30%的重复策略逻辑
• 后续新增的音频服务等可直接继承标准并发控制

这种架构优化模式也为其他AI服务平台提供了可借鉴的设计思路，展示了如何通过中间件抽象来实现跨服务的策略统一。