Portkey-AI网关中DeepSeek模型令牌统计缺失问题解析

在Portkey-AI网关项目的实际应用中，开发人员发现了一个关于DeepSeek模型令牌统计数据的异常现象。当通过网关调用DeepSeek模型的流式响应时，返回的usage对象中缺少了prompt_tokens和total_tokens这两个关键字段，仅包含completion_tokens信息。

问题现象分析

在标准的API响应中，usage对象应当完整包含以下令牌统计信息：

• prompt_tokens：提示词消耗的令牌数
• completion_tokens：生成内容消耗的令牌数
• total_tokens：总令牌消耗数

然而在Portkey-AI网关的流式响应中，返回的JSON数据仅包含completion_tokens字段，这给开发者进行精确的API调用成本计算带来了不便。这种差异在非流式调用中并不存在，说明问题特定于流式传输场景。

技术背景

令牌统计是大型语言模型API调用中的重要指标，它直接影响着：

1. 成本计算：大多数API按令牌数计费
2. 性能监控：令牌数可以反映模型处理复杂度
3. 配额管理：帮助开发者控制API使用量

在流式传输场景下，由于响应是分块返回的，令牌统计的实现需要特殊处理。通常的做法是在最后一个数据块中包含完整的usage信息。

解决方案

项目维护团队迅速定位了问题根源并提交了修复。该修复确保了在流式响应中，DeepSeek模型的usage对象能够完整包含所有令牌统计字段，包括prompt_tokens和total_tokens，与非流式调用保持一致性。

最佳实践建议

对于使用Portkey-AI网关的开发者，在处理流式响应时应当：

1. 检查最后一个数据块中的usage对象
2. 实现健壮的错误处理，应对可能的字段缺失
3. 对于关键业务逻辑，考虑添加数据验证步骤
4. 保持客户端与网关API版本的同步更新

这个问题的高效解决体现了Portkey-AI项目团队对API一致性和开发者体验的重视，也提醒我们在使用新兴AI网关服务时需要关注这类实现细节。