OpenLLMetry项目中Gemini模型输入属性设置问题分析

问题背景

在OpenLLMetry项目中对Google的Gemini生成式AI模型进行instrumentation时，发现输入消息属性设置存在不正确的问题。具体表现为gen_ai.prompt.N.*属性的设置方式与其他主流模型(如OpenAI和Anthropic)不一致，这可能导致监控数据的不一致性和分析困难。

问题表现

当前实现中，Gemini模型的instrumentation会设置以下属性：

gen_ai.completion.0.content: "cold\n"
gen_ai.prompt.0.user: "The opposite of hot is\n"

而按照OpenAI和Anthropic的标准实现，正确的属性设置应该是：

gen_ai.prompt.0.content: "The opposite of hot is\n"
gen_ai.prompt.0.role: "user"
gen_ai.completion.0.content: "cold\n"
gen_ai.completion.0.role: "assistant"

技术分析

这种不一致性主要源于instrumentation层对Gemini API响应结构的处理方式。Gemini API返回的数据结构与OpenAI等有所不同，但instrumentation层应该保持统一的监控数据格式。

问题的核心在于_set_input_attributes函数的实现没有遵循统一的标准。该函数需要处理两种主要类型的请求：

1. Completion类型请求：处理单次完成的请求
2. Chat类型请求：处理对话式的多轮请求

解决方案

要实现统一的属性设置，需要对instrumentation代码进行以下调整：

1. 统一prompt属性设置：

   • 使用gen_ai.prompt.N.content代替gen_ai.prompt.N.user
   • 显式设置role属性为"user"

2. 完善completion属性：

   • 除了设置content外，还应设置role为"assistant"

3. 多消息支持：

   • 对于多轮对话，需要为每条消息设置正确的序号和角色

实现建议

修改后的instrumentation代码应该能够正确处理各种请求类型，同时保持与其他模型instrumentation的一致性。这包括：

• 正确解析Gemini API的请求和响应结构
• 按照标准格式设置监控属性
• 处理单次完成和对话式交互的不同场景

影响评估

这一修改将带来以下好处：

1. 监控数据一致性：所有模型的监控数据将采用相同格式
2. 分析工具兼容性：现有分析工具可以直接处理Gemini的监控数据
3. 用户体验统一：开发者无需关注不同模型间的监控数据差异

总结

保持不同AI模型instrumentation的一致性对于构建可靠的监控系统至关重要。通过修正Gemini模型的属性设置问题，OpenLLMetry项目将能够提供更加统一和可靠的AI模型监控能力，为开发者提供更好的使用体验。