OpenLLmetry项目中OpenAI助手消息分类问题的技术解析

背景介绍

OpenLLmetry是一个开源的观测性工具包，专门用于监控和分析生成式AI系统的运行情况。在OpenLLmetry的OpenAI Instrumentation组件中，存在一个关于消息分类的潜在问题，这可能会影响对AI助手交互过程的准确监控。

问题本质

在OpenAI助手的交互过程中，消息通常分为几种角色：

• 系统消息(System)：定义助手的行为和规则
• 用户消息(User)：用户输入的查询或指令
• 助手消息(Assistant)：AI助手的回复

当前实现中，所有非系统消息都被错误地归类为"completions"(完成)，即AI助手的输出。这导致了用户消息也被标记为AI生成内容，与实际情况不符。

技术影响

这种错误的分类会带来几个问题：

1. 监控数据失真：用户输入被错误计入AI生成内容，影响用量统计和分析
2. 追踪困难：难以区分对话中哪些是用户原始输入，哪些是AI响应
3. 计费混淆：如果基于监控数据进行计费，可能导致计算错误

解决方案分析

正确的实现应该基于消息的"role"属性进行区分：

1. 系统消息应始终标记为"prompt"(提示)
2. 用户消息也应标记为"prompt"
3. 只有助手消息才应标记为"completion"

这种分类更符合实际交互逻辑，也与OpenAI API的设计理念一致。

实现建议

在代码层面，可以通过以下方式改进：

for i, message in enumerate(messages):
    if message.role == "system":
        span.set_attribute(f"gen_ai.prompt.{i}.role", message.role)
        span.set_attribute(f"gen_ai.prompt.{i}.content", message.content)
    elif message.role == "user":
        span.set_attribute(f"gen_ai.prompt.{i}.role", message.role)
        span.set_attribute(f"gen_ai.prompt.{i}.content", message.content)
    elif message.role == "assistant":
        span.set_attribute(f"gen_ai.completions.{i}.role", message.role)
        span.set_attribute(f"gen_ai.completions.{i}.content", message.content)

未来考量

随着OpenLLmetry向事件型监控架构演进，这类属性的命名和分类可能会有所调整。但基本原则不变：必须准确反映消息的来源和性质。建议在架构演进过程中保持这一分类逻辑的一致性。

总结

准确的消息分类对于AI系统的可观测性至关重要。OpenLLmetry作为监控工具，应当确保其数据采集的准确性，以便开发者能够基于可靠的数据进行分析和优化。这一改进虽然看似微小，但对于确保监控数据的真实性和可用性具有重要意义。