Browser-Use项目中使用Ollama模型时工具调用格式问题的解决方案

在Browser-Use项目中集成Ollama大语言模型时，开发团队遇到了一个关于工具调用(tool calls)格式处理的棘手问题。这个问题会导致模型生成错误的工具调用格式，进而影响整个代理(agent)的工作流程。本文将深入分析问题原因，并提供完整的解决方案。

问题背景

当使用Ollama作为Browser-Use项目的语言模型后端时，特别是使用qwen2.5等模型时，系统在处理工具调用时会出现格式错误。具体表现为：

1. 历史消息中存储的工具调用被错误地保存为普通AI消息
2. 模型生成的工具调用缺少必要的格式标记
3. 后续解析步骤无法正确识别工具调用内容

根本原因分析

问题的核心在于消息管理器(message_manager)中的add_model_output方法实现不当。当前实现将模型输出直接以JSON格式转储为普通消息内容，而不是按照LangChain要求的工具调用格式存储。

错误实现如下：

def add_model_output(self, model_output: AgentOutput) -> None:
    content = model_output.model_dump_json(exclude_unset=True)
    msg = AIMessage(content=content)
    self._add_message_with_tokens(msg)

这种实现会导致历史消息中出现类似{"function": {"parameters": [...]}}的内容，而不是正确的<tool_call>...</tool_call>格式。

解决方案

1. 修正工具调用存储格式

正确的做法是将工具调用内容存储在AIMessage的tool_calls属性中，而不是直接作为消息内容。修改后的实现如下：

def add_model_output(self, model_output: AgentOutput) -> None:
    content = model_output.model_dump_json(exclude_unset=True)
    msg = AIMessage(content="", tool_calls=[
        {'name': 'AgentOutput', 'args': json.loads(content), 'id': '', 'type': 'tool_call'}
    ])
    self._add_message_with_tokens(msg)

这种修改确保了工具调用以LangChain能够正确处理的格式存储。

2. 添加示例工具调用

为了帮助模型(特别是较小的7B参数模型)更好地理解预期的工具调用格式，建议在初始化消息历史时添加一个示例工具调用：

# 在系统消息和任务消息之间添加示例
wait_for_human = AIMessage(
    content='',
    tool_calls=[{
        'name': 'AgentOutput',
        'args': {
            'current_state': {
                'evaluation_previous_goal': 'Unknown - No previous actions to evaluate.',
                'memory': '',
                'next_goal': "Obtain task from user"
            },
            'action': []
        },
        'id': '',
        'type': 'tool_call'
    }]
)

3. Ollama配置优化

使用Ollama时，还需要注意以下配置要点：

1. 确保使用最新版本的Ollama
2. 设置足够大的上下文窗口：

   llm = ChatOllama(model='qwen2.5:latest', num_ctx=128000)
   

3. 对于某些模型，可能需要使用OpenAI兼容的API端点：

   llm = ChatOpenAI(
       model='qwen2.5:latest',
       api_key='ollama',
       base_url='http://127.0.0.1:11434/v1',
   )
   

实施效果

经过上述修改后：

1. 模型能够正确生成工具调用格式
2. 历史消息保持正确的格式，避免模型学习错误的模式
3. 较小的7B参数模型也能稳定工作
4. 整个代理流程更加可靠

最佳实践建议

1. 对于Browser-Use项目，推荐使用granite3.1-dense:8b或qwen2.5系列模型
2. 始终检查模型返回的原始输出和解析结果
3. 在开发过程中，可以打印消息历史以验证格式是否正确
4. 对于新模型，建议先进行小规模测试验证工具调用功能

通过以上解决方案，Browser-Use项目可以更稳定地与Ollama模型集成，充分发挥大语言模型在浏览器自动化任务中的潜力。