LiteLLM项目中Bedrock Anthropic模型流式调用时的Token计数问题分析

在LiteLLM项目(v1.63.14版本)中，开发团队发现了一个与AWS Bedrock Anthropic模型相关的Token计数异常问题。该问题表现为在使用流式(streaming)调用方式时，Token计数结果与常规调用方式存在明显差异，而这一问题在非流式调用场景下则不会出现。

问题现象

当用户使用相同的提示词"Write Hi"进行测试时，发现：

1. 使用常规router.acompletion方式调用时，Token计数准确
2. 使用流式调用方式时，Token计数出现错误

这种不一致性仅在使用Bedrock Anthropic模型时出现，其他模型则表现正常。从用户提供的截图可以看出，两种调用方式返回的usage统计存在明显差异。

技术背景

在大型语言模型应用中，准确统计Token使用量至关重要，这直接关系到：

1. 成本核算和计费准确性
2. 系统资源分配和性能监控
3. API调用配额管理

流式调用与非流式调用在实现机制上的主要区别在于：

• 非流式调用：一次性获取完整响应，Token计数基于完整响应内容
• 流式调用：分块获取响应，需要实时累计各块的Token使用量

问题根源

经过开发团队分析，该问题源于Bedrock Anthropic模型的流式响应处理逻辑中Token计数算法的实现缺陷。具体表现为：

1. 流式响应分块处理时，Token计数逻辑没有正确累加
2. 可能忽略了某些特殊字符或控制字符的Token计算
3. 分块边界处理不当导致部分Token被重复计算或遗漏

解决方案

开发团队通过以下措施解决了这一问题：

1. 重构了Bedrock Anthropic模型的流式响应处理器
2. 实现了更精确的分块Token计数算法
3. 增加了对特殊字符和控制字符的处理逻辑
4. 完善了分块边界情况的处理机制

这些改进已在v1.65.1及以上版本中发布，确保了在各种调用方式下Token计数的一致性。

最佳实践建议

对于使用LiteLLM与Bedrock Anthropic模型的开发者，建议：

1. 确保使用v1.65.1或更高版本
2. 定期检查Token计数与实际使用情况的一致性
3. 对于关键业务场景，建议同时记录非流式调用的基准数据作为参考
4. 关注官方更新日志，及时获取最新的稳定性改进

该问题的解决体现了LiteLLM项目团队对API稳定性和计量准确性的高度重视，也为开发者提供了更可靠的模型调用体验。