Open Interpreter 与 Litellm 版本兼容性问题解析

问题背景

在使用 Open Interpreter 项目时，用户发现当与 Ollama 本地模型交互时，系统会输出原始的工具调用标记而非预期的代码块格式。具体表现为，系统返回的是类似 <tool_call> 这样的 XML 样式标记，而不是直接执行或显示 Python 代码块。

问题现象

当用户执行类似 cat a part of the pdf 这样的命令时，系统本应返回可执行的 Python 代码来列出当前目录下的 PDF 文件。但在 Litellm 1.50.2 版本下，返回的是未经处理的工具调用标记：

<tool_call>       
{"name": "execute", "arguments": {"code": "import os\n# List all .pdf files in the current       
directory\npdf_files = [f for f in os.listdir('.') if f.endswith('.pdf')]\npdf_files",           
"language": "python"}} </tool_call>

问题根源

经过排查，这个问题与 Litellm 的版本直接相关。当将 Litellm 从 1.50.2 降级到 1.50.0 时，问题得到解决，系统能够正常显示和执行代码块：

import os

# List all .pdf files in the current directory.
pdf_files = [f for f in os.listdir() if f.endswith('.pdf')]

for i, pdf_file in enumerate(pdf_files):
    print(f"{i + 1}: {pdf_file}")

if not pdf_files:
    print("No PDF files found in the current directory.")

技术分析

这个问题特别出现在使用 Ollama 本地模型时，而使用如 Groq 等其他服务时则表现正常。这表明问题可能与 Litellm 对本地模型 API 响应的处理逻辑有关。

在 Litellm 1.50.2 版本中，可能对工具调用的响应格式处理出现了变化，导致系统无法正确解析和显示代码块。这种问题在 API 中间件更新中较为常见，特别是当涉及到不同后端服务的兼容性处理时。

解决方案

临时解决方案是将 Litellm 固定到 1.50.0 版本：

pip install litellm==1.50.0

长期来看，随着 Litellm 1.52.0 版本的发布，这个问题已经得到修复。用户可以通过升级到最新版本来解决：

pip install --upgrade litellm

最佳实践建议

1. 版本管理：在使用 Open Interpreter 时，注意监控依赖库的版本更新，特别是像 Litellm 这样的核心组件。

2. 本地模型使用：当使用 Ollama 等本地模型服务时，确保服务正常运行且 API 端点配置正确。

3. 问题排查：遇到类似问题时，可以尝试以下步骤：

   • 检查相关组件的版本
   • 尝试降级到已知稳定的版本
   • 查看项目 issue 跟踪是否有类似报告

4. 交互模式：Open Interpreter 提供了 --local 交互模式，可以更方便地选择和配置本地模型，建议优先使用这种方式。

总结

这个案例展示了开源项目中依赖管理的重要性，也提醒我们在使用 AI 开发工具时需要注意版本兼容性问题。通过及时更新或回退到稳定版本，可以确保开发体验的顺畅。随着 Litellm 1.52.0 的发布，这个问题已经得到官方修复，用户现在可以放心使用最新版本。