Verba项目中WebSocket超时问题的分析与解决方案

问题背景

在Verba项目（一个基于Weaviate的知识问答系统）的实际使用中，用户反馈了两个关键问题：

1. WebSocket连接在模型响应过程中会意外超时断开，导致生成内容中断
2. 连接断开后系统无法继续处理后续请求

这个问题在使用本地运行的Ollama大模型（如mixtral:8x22b或phi3）时尤为明显，特别是在硬件配置有限的情况下。

技术原理分析

WebSocket通信机制

Verba前端与后端通过WebSocket协议进行实时通信。当用户提问时，系统会建立WebSocket连接，后端通过流式传输(streaming)方式逐步返回模型生成的内容。

超时问题的根源

系统默认设置了较短的超时时间，而本地运行的LLM模型由于：

• 硬件性能限制（如CPU推理）
• 大模型参数量庞大
• 内存/显存带宽瓶颈 导致响应速度较慢，容易触发默认超时机制。

错误传播机制

当超时发生时，系统未能正确处理异常：

1. 原始的TimeoutError未被正确序列化为JSON
2. 异常未得到妥善捕获和处理
3. 连接状态未正确重置 导致后续请求全部失败。

解决方案

1. 增加超时配置参数

最新版本中已增加以下配置项：

• WEBSOCKET_TIMEOUT：控制WebSocket连接超时时间
• OLLAMA_TIMEOUT：控制Ollama模型响应超时时间

建议根据硬件配置适当调大这些参数，特别是使用大型本地模型时。

2. 异常处理优化

系统现在能够：

• 正确捕获和处理超时异常
• 将异常信息序列化为前端可识别的格式
• 在异常发生后保持系统可用性

3. 连接状态管理

改进后的连接管理机制确保：

• 异常断开后能自动清理资源
• 不影响后续新连接的建立
• 提供明确的错误反馈

最佳实践建议

对于本地模型部署，建议：

1. 硬件配置

• 确保足够的内存容量（建议≥64GB）
• 使用支持CUDA的GPU加速推理

2. 参数调优

WEBSOCKET_TIMEOUT=300  # 单位：秒
OLLAMA_TIMEOUT=600     # 大型模型需要更长时间

3. 模型选择

• 根据硬件能力选择适当规模的模型
• 考虑量化版本降低资源需求

总结