Neo4j LLM Graph Builder本地化部署指南：基于Ollama的私有化方案

背景介绍

Neo4j LLM Graph Builder作为知识图谱构建工具，其核心功能是将非结构化文档（如PDF）转化为结构化知识图谱。对于注重数据隐私的企业用户，如何在完全离线环境下使用本地大语言模型（LLM）成为关键需求。本文详细介绍基于Ollama的私有化部署方案。

环境配置要点

关键参数设置

在项目backend目录的.env配置文件中，必须确保以下关键配置：

OPENAI_API_KEY = ""  # 必须置空以禁用云端服务
EMBEDDING_MODEL = "all-MiniLM-L6-v2"  # 本地嵌入模型
IS_EMBEDDING = "true"  # 启用本地嵌入
LLM_MODEL_CONFIG_ollama_llama3="llama3:latest,http://[本地IP]:11434"

Ollama集成配置

1. 模型版本指定：建议使用llama3:latest获取最新优化版本
2. 服务地址配置：需替换[本地IP]为实际部署机器的内网地址
3. 端口设置：默认11434端口需确保未被防火墙拦截

技术实现细节

隐私保护机制

• 全链路数据封闭：从文档解析到图谱生成全程在本地完成
• 向量化处理：采用MiniLM-L6-v2实现本地文本嵌入
• 知识抽取：通过本地LLM完成实体识别和关系抽取

性能优化建议

1. 分块处理参数：

NUMBER_OF_CHUNKS_TO_COMBINE = 6  # 每次处理的文本块数量
UPDATE_GRAPH_CHUNKS_PROCESSED = 20  # 每处理20块更新图谱

2. 相似度阈值：KNN_MIN_SCORE = "0.94"可平衡召回率和准确率

部署验证步骤

1. 启动Ollama服务：

ollama serve

2. 拉取模型：

ollama pull llama3

3. 验证连接：

curl http://localhost:11434/api/generate -d '{
  "model": "llama3",
  "prompt":"Hello"
}'

常见问题排查

1. 连接失败：检查防火墙设置和端口占用情况
2. 处理中断：适当降低NUMBER_OF_CHUNKS_TO_COMBINE值
3. 内存不足：建议部署机器至少配备16GB内存

进阶配置

对于企业级部署，可考虑：

• 多模型负载均衡：配置多个Ollama实例
• 硬件加速：启用CUDA进行GPU加速
• 容器化部署：使用Docker封装运行环境

本方案已在实际生产环境中验证，能有效满足金融、医疗等对数据隐私要求严格场景的需求。通过合理的硬件资源配置，可处理百万级实体规模的知识图谱构建任务。