AutoGen项目中Gemini模型处理多系统消息的问题分析

在微软AutoGen项目的开发过程中，我们发现当使用Google Gemini模型配合OpenAI SDK时，模型无法正确处理多个系统消息(SystemMessage)的问题。这个问题在项目开发中显得尤为突出，因为其他主流模型如Claude和GPT-4都能很好地处理这种情况。

问题现象

当开发者向Gemini模型发送多个系统消息时，例如：

1. 第一个系统消息要求"所有回复以'FOO'开头"
2. 第二个系统消息要求"所有回复以'BAR'结尾"

Gemini模型只会响应最后一个系统消息，即只会在回复结尾加上"BAR"，而忽略了开头的"FOO"要求。相比之下，Claude和GPT-4模型都能正确理解并执行这两个系统消息的要求。

技术分析

通过进一步的测试，我们发现如果将两个系统消息合并为一个，Gemini模型就能正确处理：

SystemMessage(content="当你说任何话时以'FOO'开头\n当你说任何话时以'BAR'结尾")

这表明问题不是Gemini模型本身无法理解复合指令，而是在OpenAI SDK与Gemini模型集成时，对多个系统消息的处理方式存在差异。

底层原因

经过代码分析，这个问题可能源于以下几个方面：

1. 消息合并机制差异：Gemini的OpenAI SDK实现可能没有正确处理多个系统消息的合并逻辑，导致只保留了最后一个系统消息。

2. 模型API规范差异：不同模型提供商对系统消息的处理规范可能不同，Gemini可能更倾向于接受单一系统消息。

3. 上下文理解限制：Gemini模型在处理分开发送的多个系统指令时，可能没有建立指令间的关联性，导致部分指令被忽略。

解决方案

针对这个问题，开发团队已经提出了修复方案：

1. 消息预处理：在将消息发送给Gemini模型前，自动合并多个系统消息为一个复合系统消息。

2. 模型适配层：为Gemini模型实现专门的适配层，确保其消息处理方式与其他模型保持一致。

3. 文档说明：在项目文档中明确说明Gemini模型的这一特性，指导开发者正确使用系统消息。

对开发者的建议

对于使用AutoGen框架的开发者，在处理Gemini模型时，可以采取以下最佳实践：

1. 尽量将相关的系统指令合并为一个系统消息
2. 使用清晰的分隔符(如换行符)来区分不同的指令
3. 在关键业务场景中，优先测试模型对复杂指令的理解能力

这个问题不仅揭示了不同大语言模型在API实现上的差异，也提醒我们在构建多模型支持的系统时，需要考虑模型间的行为一致性。AutoGen团队正在积极解决这一问题，以确保开发者能够无缝地在不同模型间切换。