SmolAgents项目中LiteLLMModel系统消息传递问题的分析与解决

在开源项目SmolAgents的使用过程中，开发者发现当使用LiteLLMModel连接Ollama和Qwen2.5-Instruct模型时，系统消息似乎未能正确传递给大语言模型(LLM)。本文将深入分析这一问题，并提供有效的解决方案。

问题现象

当开发者按照文档示例运行代码时，发现LLM生成的响应与直接向Ollama控制台提问的结果完全一致，这表明系统指令未被正确处理。系统消息中包含的关键代码调用指令未能影响模型行为，导致模型仅基于任务问题本身生成回答，而非按照预期的代码生成方式响应。

技术分析

经过深入排查，发现问题根源在于上下文窗口大小(num_ctx)参数的配置不足。在默认设置下，Ollama的上下文窗口可能无法完整容纳系统消息和任务提示的组合，导致系统消息被截断或忽略。特别是在使用较大模型如Qwen2.5-Instruct时，这一问题更为明显。

解决方案

通过调整num_ctx参数，显式扩大上下文窗口大小，可以确保系统消息被完整传递。以下是修正后的代码示例：

from smolagents import (
    CodeAgent,
    DuckDuckGoSearchTool,
    LiteLLMModel,
)

model_id = "ollama/qwen2.5-coder:32b"
model = LiteLLMModel(
    model_id=model_id,
    num_ctx=4096*4,  # 显式扩大上下文窗口
)

agent = CodeAgent(tools=[DuckDuckGoSearchTool()], model=model)
agent.run("How many seconds would it take for a leopard at full speed to run through Pont des Arts?")

实施效果

调整参数后，系统能够正确执行以下流程：

1. 识别任务需求
2. 自动生成搜索代码
3. 执行网络搜索获取桥梁长度和豹子速度数据
4. 计算最终结果

系统现在能够输出类似"Final answer: 7.8046558387824865"的精确计算结果，而非之前的理论估算。

最佳实践建议

1. 在使用较大LLM模型时，应预先检查并调整上下文窗口参数
2. 对于复杂任务，建议逐步增加num_ctx值直到系统消息被正确处理
3. 监控token使用情况，平衡性能与功能需求
4. 不同模型可能需要不同的参数优化策略

通过这一案例，我们认识到在使用LLM接口时，参数配置的细微差别可能导致完全不同的行为表现。正确的参数设置是确保系统按预期工作的关键因素。