Higress项目中AI-token限流插件在流式输出场景下的失效问题分析

在Higress网关的实际应用场景中，AI-token限流插件是保障服务稳定性的重要组件。然而，近期发现该插件在处理流式输出请求时存在失效现象，这一问题值得深入探讨其技术原理和解决方案。

问题现象

当客户端发起流式对话请求时（即请求中设置stream=true参数），系统会出现以下异常表现：

1. Redis中的token计数key值未按预期更新
2. 统计界面无法显示正确的token消耗量
3. 限流机制完全失效，无法起到保护作用

而在非流式请求场景下，所有功能均正常工作，包括token计数和限流控制。

技术原理分析

通过对问题场景的深入分析，发现核心问题出在响应数据的处理环节。在流式输出模式下，AI服务返回的数据包具有以下特征：

1. 分块传输：响应被拆分为多个data事件分片
2. 增量更新：每个分片仅包含当前生成的内容片段
3. 延迟统计：最终的usage统计信息通常只在最后一个分片中返回

关键问题在于：

• 插件在中间分片处理时无法获取usage统计信息（值为null）
• 错误处理逻辑导致整个统计流程被跳过
• 最终分片的统计信息未被正确处理

解决方案

针对这一问题，建议从以下几个层面进行改进：

1. 缓冲机制：对流式响应建立临时缓存，等待最终分片到达后再统一处理统计信息

2. 容错处理：优化插件代码，对null值usage进行特殊处理而非直接跳过

3. 异步统计：实现后台统计线程，与流式响应处理解耦

4. 配置优化：明确区分流式和非流式场景的统计策略

最佳实践建议

对于使用Higress网关的开发者，在处理类似问题时可以注意：

1. 测试阶段应同时覆盖流式和非流式场景
2. 监控日志中出现的wasm警告信息
3. 定期验证限流机制的实际效果
4. 关注响应数据结构的完整性验证

该问题的解决不仅修复了功能缺陷，也为处理类似流式数据传输场景提供了参考方案。通过完善插件的容错能力和处理逻辑，可以确保AI服务在各种输出模式下都能得到有效的流量控制和资源保护。