Devika项目中Ollama服务器连接异常的处理方案

问题背景

在Devika人工智能代理开发项目中，用户报告了一个与Ollama服务器连接相关的异常问题。当Devika的LLM模块尝试与Ollama服务器建立连接时，如果目标服务器未运行或拒绝连接，会导致整个应用程序崩溃。

异常分析

从错误堆栈中可以清晰地看到问题发生的完整链条：

1. 应用程序启动时，LLM模块尝试初始化模型列表
2. 调用ollama.list()方法获取可用模型
3. 底层HTTP客户端尝试连接Ollama服务器的API端点
4. 由于服务器未运行，操作系统返回了10061错误(WinError 10061)
5. 异常从httpcore层一直向上抛出，最终导致程序终止

这种未处理的连接异常会严重影响用户体验，特别是在开发或生产环境中，当Ollama服务暂时不可用时，应该优雅地降级处理而不是直接崩溃。

解决方案

1. 异常捕获与处理

在LLM模块初始化阶段，应该添加适当的异常处理逻辑：

try:
    for model in ollama.list()["models"]:
        # 正常处理模型列表
        pass
except httpx.ConnectError as e:
    # 记录错误日志
    logger.error(f"无法连接Ollama服务器: {str(e)}")
    # 使用默认模型或空列表继续运行
    models = []

2. 连接重试机制

对于暂时性的网络问题，可以实现指数退避的重试策略：

from time import sleep

max_retries = 3
base_delay = 1  # 初始延迟1秒

for attempt in range(max_retries):
    try:
        models = ollama.list()["models"]
        break
    except httpx.ConnectError:
        if attempt == max_retries - 1:
            raise
        sleep(base_delay * (2 ** attempt))

3. 健康检查与状态管理

在应用程序启动时，可以添加服务器健康检查：

def check_ollama_available():
    try:
        response = httpx.get("http://localhost:11434", timeout=5)
        return response.status_code == 200
    except (httpx.ConnectError, httpx.TimeoutException):
        return False

最佳实践建议

1. 模块化错误处理：将Ollama连接相关的错误处理封装成独立的函数或装饰器，便于复用

2. 配置灵活性：允许通过配置文件指定Ollama服务器地址和连接超时设置

3. 状态通知：当连接失败时，通过UI或日志明确通知用户，而不是静默失败

4. 备用方案：考虑在没有Ollama服务时提供降级方案，如使用本地小型模型或提示用户安装服务

实现示例

以下是改进后的LLM模块初始化代码示例：

import httpx
import logging
from typing import List
from enum import Enum

logger = logging.getLogger(__name__)

class Model(Enum):
    @classmethod
    def get_available_models(cls, retries: int = 3) -> List[str]:
        """获取可用的Ollama模型列表，带有重试机制"""
        for attempt in range(retries):
            try:
                response = ollama.list()
                return response.get("models", [])
            except httpx.ConnectError as e:
                if attempt == retries - 1:
                    logger.error("Ollama服务器连接失败，已达到最大重试次数")
                    return []
                wait_time = (attempt + 1) * 2
                logger.warning(f"Ollama连接失败，将在{wait_time}秒后重试...")
                sleep(wait_time)
        return []

    # 使用默认空列表初始化，避免启动时崩溃
    for model in get_available_models():
        locals()[model] = model

总结

在Devika这类依赖外部服务的AI项目中，健壮的错误处理机制至关重要。通过实现适当的异常捕获、重试策略和状态管理，可以显著提高应用程序的稳定性和用户体验。特别是在开发环境中，当依赖服务未正确配置时，优雅的降级处理比直接崩溃更能帮助开发者快速定位和解决问题。