Promptflow项目中字典与字典相加类型错误的分析与解决

问题背景

在Promptflow项目使用过程中，当运行chat-with-wikipedia流程时，用户遇到了一个类型错误问题。错误信息显示在尝试合并两个字典时出现了"unsupported operand type(s) for +: 'dict' and 'dict'"的错误。这个错误发生在Promptflow的追踪(tracing)模块中，具体是在收集OpenAI令牌(token)使用情况时。

错误现象

错误发生时，系统会抛出以下关键错误信息：

TypeError: unsupported operand type(s) for +: 'dict' and 'dict'

同时伴随多个OpenTelemetry警告，提示某些属性的类型不符合预期：

WARNING:opentelemetry.attributes:Invalid type dict for attribute '__computed__.cumulative_token_count.completion' value...

这些警告表明系统期望某些属性是基本类型（如bool、str、int、float等），但实际接收到了字典类型。

问题根源分析

经过深入分析，这个问题主要源于Promptflow的追踪机制在处理OpenAI API调用返回的令牌使用信息时，对数据结构类型的假设与实际返回类型不匹配。具体表现为：

1. 追踪模块期望令牌计数是简单的数值类型（整数或浮点数）
2. 但实际从OpenAI API返回的数据中，某些令牌计数信息是以字典形式提供的
3. 当追踪模块尝试对这些数据进行累加操作时，出现了字典与字典相加的类型错误

影响范围

这个问题影响以下场景：

• 使用Promptflow进行流程开发和测试
• 特别是涉及OpenAI API调用的流程
• 启用了追踪功能的流程（默认情况下追踪是启用的）

解决方案

临时解决方案

对于需要立即解决问题的用户，可以采用以下临时方案：

1. 禁用追踪功能
   在流程定义文件(flow.dag.yaml)中添加：

   environment_variables:
     PF_DISABLE_TRACING: true
   

   或者在运行环境中设置相应环境变量。

2. 使用特定模型
   有用户报告，使用gpt-4o而非gpt-4o-mini可以避免此问题。

长期解决方案

Promptflow团队已在1.17.0版本中修复了此问题。建议用户升级到最新版本：

pip install --upgrade promptflow promptflow-core promptflow-devkit promptflow-tracing

升级后版本应显示为：

{
  "promptflow": "1.17.0",
  "promptflow-core": "1.17.0",
  "promptflow-devkit": "1.17.0",
  "promptflow-tracing": "1.17.0"
}

技术细节

这个问题的本质在于类型系统的严格性。Python虽然是动态类型语言，但在运算符重载时仍然需要类型一致性。当追踪模块尝试执行类似下面的操作时：

merged_tokens = {
    key: (self._span_id_to_tokens[parent_span_id].get(key, 0) or 0) + 
         (tokens.get(key, 0) or 0)
    for key in set(self._span_id_to_tokens[parent_span_id]) | set(tokens)
}

它假设tokens.get(key, 0)总是返回数值类型，但实际上有时会返回字典类型，导致加法操作失败。

最佳实践建议

1. 保持Promptflow组件更新
   定期检查并更新Promptflow相关组件，以获取最新的错误修复和功能改进。

2. 合理使用追踪功能
   追踪功能虽然有用，但在生产环境中如果不需要详细监控，可以考虑禁用以提高性能。

3. 错误处理
   在自定义工具(tool)中添加适当的错误处理逻辑，特别是当与外部服务(如OpenAI API)交互时。

4. 日志监控
   密切关注OpenTelemetry发出的警告信息，它们往往能提前预示潜在问题。

总结

Promptflow项目中出现的字典相加类型错误是一个典型的接口不匹配问题，反映了外部服务返回数据与内部处理逻辑之间的类型假设差异。通过升级到最新版本或暂时禁用追踪功能，用户可以有效地解决这个问题。随着Promptflow项目的持续发展，这类问题有望通过更严格的类型检查和更健壮的错误处理机制得到进一步改善。