Higress项目中AI统计模块获取模型失败问题分析与解决方案

问题背景

在Higress项目中，AI统计模块(ai-statistics)负责收集和上报各个AI上游服务的token使用情况。近期发现，当配置多个AI上游服务(如qwen、baichuan、zhipuai)时，统计模块在某些情况下无法正确获取模型使用数据。

问题现象

具体表现为：

1. 对于qwen服务，统计功能工作正常
2. 对于zhipuai和baichuan服务，统计功能失效
3. 日志显示获取模型失败，特别是在处理HTTP流式响应时，最后一个chunk的处理存在问题

技术分析

通过深入调试发现，问题的核心在于getLastChunk函数的实现逻辑。当前实现简单地尝试获取最后一个数据块作为包含usage信息的片段，但实际情况可能更为复杂：

1. HTTP流式响应特性：AI服务的响应通常是流式的，数据分多个chunk传输
2. 数据分布不确定性：usage信息不一定总是出现在最后一个chunk中
3. 空chunk处理：调试发现某些情况下bodySize为0，但当前逻辑未妥善处理这种情况

解决方案

针对上述问题，建议从以下几个方面进行改进：

1. 增强chunk解析逻辑：不应假设usage信息一定在最后一个chunk，而应遍历所有chunk寻找包含usage信息的部分
2. 空chunk容错处理：当遇到空chunk时，应有相应的容错机制，避免直接跳过有效数据
3. 多服务适配：针对不同AI服务提供商可能存在的响应格式差异，增加适配层

实现建议

具体到代码层面，应修改plugin_wrapper.go中的相关逻辑：

1. 修改chunk处理流程，记录所有可能包含usage信息的chunk
2. 增加对空chunk的检测和处理
3. 针对不同服务提供商实现特定的usage信息提取逻辑

总结

这个问题揭示了在流式HTTP响应处理中的一个常见陷阱：不能简单假设关键信息一定出现在特定的数据块中。通过改进chunk处理逻辑，可以显著提高统计模块的健壮性和兼容性，使其能够更好地支持多种AI服务提供商。

对于开发者而言，这也提醒我们在处理流式数据时，需要考虑数据的完整性和分布特性，不能依赖于简单的假设。这种改进不仅解决了当前的问题，也为未来支持更多AI服务打下了良好的基础。