深入解析ADK-Python项目中Ollama模型工具调用的异常问题

问题背景

在ADK-Python项目中使用Ollama本地模型时，开发者遇到了两个显著的工具调用问题：一是最终响应文本缺失，二是无限循环触发工具调用事件。这些问题在使用不同版本的Ollama模型时表现各异，影响了项目的正常功能实现。

问题现象分析

响应文本缺失问题

当使用ollama_chat/llama3.2:latest模型时，系统能够正确识别并执行工具调用，工具调用事件在ADK Web聊天界面中可见，但关键的最终响应文本却未能显示。从日志分析，工具函数确实被调用并返回了预期结果("Wellcome John, how are you?")，但系统未能将这个结果转化为自然语言响应呈现给用户。

无限工具调用循环

使用ollama/llama3.2:latest模型时，情况更为严重。系统会不断重复触发工具调用，形成一个无限循环，完全无法输出最终响应。这种异常行为不仅导致功能失效，还可能消耗大量系统资源。

技术原因探究

通过深入分析日志和代码，可以确定这些问题的根源在于Ollama模型的消息处理机制：

1. 消息格式不兼容：核心错误"json: cannot process array into Go struct field ChatRequest.messages.content of type string"表明，ADK-Python项目生成的消息格式与Ollama模型期望的格式不匹配。Ollama期望消息内容是字符串类型，而实际传递的是数组结构。

2. 模型指令设计缺陷：默认的Ollama模型模板强制要求LLM始终以JSON格式响应工具调用，缺乏对直接文本响应的支持机制，这导致了无限循环的工具调用。

3. 小型模型限制：3.2B参数的小型模型在处理复杂工具调用逻辑时表现不稳定，特别是当需要自主决定是否使用工具时，容易出现判断失误。

解决方案与实践

自定义模型模板

针对Ollama模型的指令设计问题，可以通过创建自定义模型模板来解决：

1. 导出原始模型配置：ollama show --modelfile llama3.2 > llama3.2_model_file
2. 修改模板指令，明确区分工具调用和直接响应的情况
3. 创建新模型：ollama create llama3.2-enhanced -f llama3.2_model_file

优化后的指令模板应包含明确的决策逻辑，指导模型根据具体情况选择工具调用或直接响应。

消息格式适配

对于消息格式不兼容问题，需要在ADK-Python的LiteLlm适配层进行以下改进：

1. 检查传递给Ollama模型的消息结构
2. 将数组格式的消息内容转换为Ollama兼容的字符串格式
3. 确保工具调用和响应的数据结构符合Ollama的预期

模型选择建议

在实际应用中，对于工具调用场景，建议：

1. 优先选择参数规模更大的模型(如7B以上版本)
2. 针对特定任务对模型进行微调
3. 在关键业务场景中使用更稳定的商业API模型

经验总结

通过本次问题排查，我们可以得出以下经验：

1. 本地模型与框架集成时需要特别注意消息格式的兼容性
2. 模型指令的设计直接影响工具调用的可靠性
3. 小型模型在复杂交互场景中可能存在局限性
4. 完善的日志系统对诊断此类问题至关重要

这些问题和解决方案不仅适用于ADK-Python项目，对于其他需要集成本地LLM模型的开源项目也具有参考价值。开发者在使用类似技术栈时，应当充分考虑模型特性与框架要求的匹配度，提前做好兼容性测试。