Pydantic AI项目中Usage类的扩展性与模型响应数据处理

在Pydantic AI项目的最新版本中，开发者发现了一个关于模型响应数据处理的有趣现象。当使用大语言模型(LLM)进行交互时，模型除了返回主要结果外，通常还会附带一些额外的统计信息，如token消耗量和处理时间等指标。

Pydantic AI框架中的Usage类原本设计用于跟踪token使用情况，包括请求token(request_tokens)和响应token(response_tokens)。根据文档说明，该类还包含一个details字段，理论上应该存储"模型返回的任何额外细节"。然而在实际使用中发现，某些后端模型(如llama-server)返回的时间统计信息(如prompt_ms、prompt_per_token_ms等)并未被自动捕获到这个details字段中。

经过深入分析，这实际上是一个设计决策而非缺陷。Usage类的核心职责是专门跟踪token消耗，并且会在多个LLM调用间自动累加这些值。这种累加机制对于token计数是合理的，但对于时间指标(如每个token的处理时间)则会产生无意义的聚合结果。

对于开发者而言，如果需要获取这些额外的模型性能指标，目前推荐的解决方案是创建自定义模型类来继承OpenAIModel，并在其中实现特定的响应数据处理逻辑。这种方法既保持了框架核心的简洁性，又为特定需求提供了扩展空间。

值得注意的是，Pydantic AI团队正在考虑引入vendor_metadata字典结构来更好地处理这类供应商特定的元数据。这一改进将为未来更灵活地处理各种模型返回的额外信息提供标准化途径。

对于需要即时解决方案的用户，可以考虑使用Pydantic的Logfire可观测性平台，通过其HTTP流量捕获功能来获取完整的模型响应数据，包括各种时间统计指标。这种方法不需要修改现有代码，同时提供了强大的查询能力。

这个案例很好地展示了在框架设计中平衡标准化与扩展性的挑战，以及如何为特定用例提供灵活解决方案的实践智慧。