Higress AI Token限流插件不生效问题分析与解决

问题背景

在使用Higress网关代理大模型服务时，发现AI Token限流插件(ai-token-ratelimit)虽然能够正常连接Redis并设置初始Token值，但在实际请求过程中Token数量并未按预期减少，导致限流功能失效。

问题现象

用户部署了一个本地大模型服务，通过Higress网关进行代理访问。环境配置如下：

1. 已启用ai-static插件，并能正常查询到route_upstream_model_input_token指标
2. 使用ai-token-ratelimit插件配置了基于请求头的Token限流规则
3. 每次请求时Redis中会生成对应的key/value记录，如higress-token-ratelimit:myrule:limit_by_header:test:abc=3
4. Prometheus监控显示token使用指标正常增长

但实际测试发现，虽然Redis中设置了初始Token值，但每次请求后Token数量并未减少，导致限流功能失效。

问题分析

通过排查发现，该问题与以下几个技术点相关：

1. 插件配置验证：用户配置了基于请求头的Token限流规则，规则本身语法正确，且能正常连接Redis服务。

2. 全局配置检查：用户已正确设置global.onlyPushRouteCluster=false参数，确保插件能正常访问Redis服务。

3. WASM插件版本：通过检查configdump中的WASM插件MD5码，发现实际运行的插件版本与最新开源版本不一致。

根本原因

问题根源在于Higress官方仓库中的最新AI Token限流插件镜像未及时同步到公开镜像仓库。导致用户部署的插件版本存在功能缺陷，无法正确解析和扣除请求消耗的Token数量。

解决方案

1. 更新插件镜像：Higress团队已重新构建并推送最新版本的AI Token限流插件镜像到公开仓库。

2. 重启插件：用户只需简单关闭再重新启用插件，即可自动拉取最新版本的插件镜像。

3. 验证修复：更新后测试确认Token扣除功能恢复正常，限流策略按预期工作。

技术要点

1. WASM插件机制：Higress使用WebAssembly(WASM)技术实现插件功能，插件以独立模块形式运行，需要确保版本一致性。

2. Token限流原理：AI Token限流插件通过解析请求响应中的token使用量，并在Redis中维护剩余配额实现限流控制。

3. 配置热更新：Higress支持插件配置的动态更新，无需重启服务即可应用变更。

最佳实践建议

1. 版本管理：定期检查并更新Higress插件至最新稳定版本。

2. 监控集成：结合Prometheus监控Token使用指标，验证限流效果。

3. 测试验证：上线前充分测试限流规则，确认Redis中Token扣除行为符合预期。

4. 日志分析：关注网关日志，及时发现并处理插件异常情况。

通过本次问题的排查和解决，不仅修复了特定功能缺陷，也为Higress用户提供了关于插件管理和限流配置的宝贵经验。