解决GraphRAG项目中LLM调用错误的技术方案

在使用GraphRAG项目时，开发者可能会遇到LLM（大语言模型）调用失败的问题。本文深入分析该问题的根源，并提供一套完整的技术解决方案。

问题现象分析

当运行GraphRAG项目时，系统抛出如下错误：

Traceback (most recent call last):
  File "/graphrag/llm/base/base_llm.py", line 55, in _invoke
    output = await self._execute_llm(input, **kwargs)

这表明在调用大语言模型时出现了异常。经过深入排查，发现问题根源在于Ollama服务未正确启动。

技术背景

Ollama是一个用于本地运行大型语言模型的工具，需要保持后台服务运行才能正常响应API请求。在Kaggle等环境中，服务可能会因为各种原因未能自动启动。

解决方案

方案一：主动检测并启动服务

在base_llm.py文件中添加服务检测和启动功能：

import psutil
import subprocess
import time

def is_process_running(process_name):
    """检测指定进程是否正在运行"""
    for proc in psutil.process_iter(['pid', 'name']):
        if process_name.lower() in proc.info['name'].lower():
            return True
    return False

def start_ollama():
    """启动Ollama服务"""
    command = "nohup ollama serve &"
    process = subprocess.Popen(
        command, 
        shell=True, 
        stdout=subprocess.PIPE, 
        stderr=subprocess.PIPE
    )
    time.sleep(5)  # 等待服务初始化
    return process.pid

方案二：异常捕获后重启服务

在_invoke方法中添加异常处理逻辑：

async def _invoke(self, input: TIn, **kwargs: Unpack[LLMInput]) -> LLMOutput[TOut]:
    try:
        output = await self._execute_llm(input, **kwargs)
    except Exception as e:
        if "connection" in str(e).lower():
            start_ollama()
            # 重试逻辑
            output = await self._execute_llm(input, **kwargs)
        else:
            raise

实现原理

1. 进程检测：通过psutil库扫描系统进程，确认Ollama服务是否运行
2. 服务启动：使用subprocess在后台启动服务，nohup确保进程不会随终端关闭
3. 延时等待：服务启动需要时间，5秒延时确保服务就绪
4. 异常处理：捕获连接异常后自动重启服务

最佳实践建议

1. 在项目初始化时主动检测并启动服务
2. 添加服务健康检查机制
3. 考虑使用进程管理工具（如systemd）管理Ollama服务
4. 在Docker环境中运行时，确保服务在容器启动时自动运行

总结

通过实现服务自动检测和启动机制，可以有效解决GraphRAG项目中因Ollama服务未运行导致的LLM调用问题。这种方案不仅适用于当前问题，也为其他类似的服务依赖问题提供了解决思路。开发者可以根据实际环境需求，选择最适合的实现方式。