SWE-agent项目中Ollama模型消息格式兼容性问题分析与解决方案

在SWE-agent项目的开发过程中，我们发现了一个与Ollama模型交互时出现的消息格式兼容性问题。这个问题主要出现在使用litellm库与Ollama模型进行通信时，特别是在使用ollama_chat/前缀调用模型的情况下。

问题背景

SWE-agent是一个基于Python开发的智能代码助手工具，它能够通过与代码仓库交互来解决开发问题。在最近的版本更新中，项目引入了历史消息处理器（history_processor.py）的改进，特别是新增了_set_cache_control函数，这改变了发送给语言模型的消息格式结构。

技术细节分析

问题的核心在于消息格式的不兼容。Ollama模型期望接收的消息格式为简单的键值对结构：

{'role': 'user', 'content': 'some text'}

然而，经过改进后的SWE-agent发送的消息格式变得更加复杂：

{'role': 'user', 'content': [{'type': 'text', 'text': 'some text', 'cache_control': {'type': 'ephemeral'}}]}

这种格式差异导致了Ollama模型的API端点（特别是/api/chat）无法正确解析请求，返回400错误："json: cannot decode array into Go struct field ChatRequest.messages of type string"。

影响范围

这个问题主要影响以下使用场景：

1. 使用ollama_chat/前缀调用Ollama模型
2. 需要工具调用功能的场景
3. 启用了缓存控制功能的对话

值得注意的是，使用ollama/前缀调用/api/generate端点时，这种消息格式仍然可以正常工作。

解决方案

经过深入分析，我们找到了几种可行的解决方案：

1. 禁用缓存控制处理器：这是最简单的临时解决方案。在配置文件中移除或注释掉cache_control处理器：

agent:
    history_processors:
        # - type: cache_control
        #    last_n_messages: 2

2. 修改litellm库的Ollama适配器：可以扩展litellm库，使其能够正确处理新的消息格式。

3. 开发格式转换中间件：在发送请求前，将复杂消息格式转换为Ollama兼容的简单格式。

技术建议

对于长期解决方案，我们建议：

1. 实现消息格式的自动检测和转换机制
2. 为不同的模型端点提供专门的消息格式化器
3. 增强错误处理和回退机制

总结

这个问题展示了在集成不同AI模型时可能遇到的接口兼容性挑战。通过分析消息格式差异和API端点特性，我们不仅找到了临时解决方案，也为未来的架构改进提供了方向。开发者在使用SWE-agent与Ollama模型交互时，应注意消息格式的兼容性问题，并根据实际需求选择合适的解决方案。

这个案例也提醒我们，在开发AI工具链时，保持接口的灵活性和可扩展性至关重要，特别是在整合不同厂商的模型服务时。