Twinny扩展与Ollama流式响应兼容性问题分析

在基于VS Code的AI编程助手Twinny使用过程中，部分用户遇到了聊天功能异常的情况。具体表现为系统持续返回"Sorry, I don't understand"的错误提示，而实际上Ollama服务端已经正确处理了请求并返回了响应。

问题本质

经过技术分析，该问题的核心在于客户端与服务端之间的通信协议不匹配。Twinny扩展在发送请求时启用了流式传输模式（stream:true），但未能正确处理Ollama返回的流式响应数据格式。具体表现为：

1. 客户端期望接收ServerMessage格式的响应
2. 服务端实际返回的是StreamResponse格式
3. 这种协议不匹配导致客户端无法解析有效内容

技术细节

从网络抓包分析可见，典型的请求格式如下：

{
  "model": "codellama:7b-instruct",
  "stream": true,
  "messages": [...],
  "keep_alive": "5m",
  "options": {...}
}

而Ollama返回的流式响应示例：

{
  "model": "codellama:7b-instruct",
  "created_at": "...",
  "message": {
    "role": "assistant",
    "content": "Hi"
  },
  "done": false
}

解决方案

项目维护者已确认这是近期更新引入的兼容性问题，并已发布修复版本。对于终端用户，可通过以下方式解决：

1. 确保API端点路径正确设置为"/v1/chat/completions"
2. 检查并更新至最新版本的Twinny扩展
3. 必要时重置提供程序配置为默认值

技术启示

该案例展示了AI编程工具集成中的典型挑战：

• 流式传输协议在不同实现间的细微差异
• 前后端数据格式的严格校验必要性
• 版本更新可能带来的兼容性风险

对于开发者而言，这强调了完善的协议测试和版本兼容性验证的重要性。对于用户，则提示了保持工具更新的必要性，以及遇到问题时检查基础配置的价值。

该问题的及时修复体现了开源社区响应迅速的优势，也展示了Twinny项目团队对用户体验的重视。