MetaGPT项目中使用Ollama本地LLM的JSON解析问题分析与解决方案

问题背景

MetaGPT作为一个多智能体框架，在项目开发过程中需要与大型语言模型(LLM)进行交互。当使用本地部署的Ollama LLM服务时，开发人员遇到了JSON解析错误的问题，这直接影响了项目的正常运行。

问题现象

在使用Ollama作为LLM后端时，MetaGPT框架在解析LLM返回的响应数据时会出现JSONDecodeError异常。具体表现为：

1. 当执行metagpt "create flappy bird as a web app"等命令时
2. 系统尝试将LLM返回的非标准JSON格式数据解析为JSON对象
3. 抛出json.decoder.JSONDecodeError: Expecting value: line X column Y (char Z)错误

技术分析

根本原因

Ollama LLM返回的数据格式与OpenAI API的标准格式存在差异：

1. Ollama返回的是流式响应，每条消息以"data: "前缀开头
2. 消息体可能包含非JSON内容（如"[DONE]"标记）
3. 原始代码直接尝试解析整个响应体为JSON，导致解析失败

数据格式对比

Ollama返回的原始数据格式示例：

data: {"id":"chatcmpl-471","object":"chat.completion.chunk","created":1720838591,"model":"llama3","system_fingerprint":"fp_ollama","choices":[{"index":0,"delta":{"role":"assistant","content":"I"},"finish_reason":null}]

期望的标准JSON格式：

{
    "id": "chatcmpl-471",
    "object": "chat.completion.chunk",
    "created": 1720838591,
    "model": "llama3",
    "choices": [
        {
            "index": 0,
            "delta": {
                "role": "assistant",
                "content": "I"
            }
        }
    ]
}

解决方案

配置调整

在config2.yaml中增加以下配置：

llm:
  api_type: "ollama"
  model: "llama3"  # 或其他支持的模型
  base_url: "http://127.0.0.1:11434/api"  # Ollama API端点
  repair_llm_output: true  # 启用输出修复

代码修改建议

对于Ollama的响应处理，建议修改解码逻辑：

def _decode_and_load(self, chunk: bytes, encoding: str = "utf-8") -> dict:
    chunk = chunk.decode(encoding)
    json_data = chunk.removeprefix('data: ').strip()
    
    if not json_data:  # 空数据
        return {}
    elif json_data.lower().find("done") != -1:  # 结束标记
        return {"done": True}
    else:  # 有效JSON数据
        ret = json.loads(json_data)
        delta = ret.get('choices', [{}])[0].get('delta', {})
        ret["message"] = delta
        return ret

流式响应处理

在处理流式响应时，需要调整处理逻辑：

async for raw_chunk in stream_resp:
    chunk = self._decode_and_load(raw_chunk)
    if not chunk:  # 跳过空数据
        continue
    if chunk.get("done", False):  # 结束处理
        break
    # 正常处理chunk数据

最佳实践

1. 模型选择：推荐使用较新的模型如llama3或deepseek-r1:14b
2. 端点配置：确保base_url正确指向Ollama的API端点（通常是http://127.0.0.1:11434/api）
3. 错误处理：增加对非标准响应的容错处理
4. 性能监控：监控LLM的响应时间和资源使用情况

验证方法

可以通过以下命令验证配置是否生效：

metagpt "Write a command-line program to input any number and print how many small stars"

成功运行后，应该能在workspace目录下看到生成的代码文件，并能正常执行。

总结

MetaGPT框架与本地Ollama LLM的集成需要特别注意数据格式的兼容性问题。通过调整配置和修改响应处理逻辑，可以解决JSON解析错误的问题，使本地LLM能够顺利参与到智能体协作开发流程中。这种解决方案不仅适用于当前问题，也为将来集成其他本地LLM提供了参考模式。