Hoarder项目中使用OLLAMA替代OpenAI的Docker Compose配置指南

在自托管内容管理工具Hoarder中，用户经常需要为内容添加智能标签。虽然官方默认使用OpenAI的API进行内容分析，但许多用户出于隐私或成本考虑，更倾向于使用本地运行的OLLAMA大语言模型。本文将详细介绍如何通过Docker Compose配置Hoarder项目，使其完美兼容OLLAMA本地推理服务。

核心配置原理

Hoarder通过环境变量控制其AI推理行为。要切换到OLLAMA，需要配置以下几个关键环境变量：

1. OLLAMA_BASE_URL：指向OLLAMA服务的地址
2. INFERENCE_TEXT_MODEL：指定文本分析使用的模型
3. INFERENCE_IMAGE_MODEL：指定图像分析使用的模型
4. INFERENCE_CONTEXT_LENGTH：调整上下文长度以获得更好的标签质量

完整Docker Compose示例

以下是一个经过验证的完整配置方案，特别解决了容器间网络通信和GPU加速问题：

version: '3.8'

services:
  web:
    image: ghcr.io/hoarder-app/hoarder:release
    container_name: hoarder-web
    restart: unless-stopped
    ports:
      - "3000:3000"
    volumes:
      - ./data:/data
    environment:
      MEILI_ADDR: http://meilisearch:7700
      BROWSER_WEB_URL: http://chrome:9222
      OLLAMA_BASE_URL: http://ollama:11434
      INFERENCE_TEXT_MODEL: phi3:3.8b
      INFERENCE_IMAGE_MODEL: llava:7b
      INFERENCE_CONTEXT_LENGTH: 2048
      INFERENCE_LANG: english
      INFERENCE_JOB_TIMEOUT_SEC: 60
      DATA_DIR: /data
    networks:
      - hoarder-net

  chrome:
    image: alpine-chrome:latest
    restart: unless-stopped
    command:
      - --no-sandbox
      - --disable-gpu
      - --disable-dev-shm-usage
      - --remote-debugging-address=0.0.0.0
      - --remote-debugging-port=9222
      - --hide-scrollbars
    networks:
      - hoarder-net

  meilisearch:
    image: getmeili/meilisearch:v1.11.1
    restart: unless-stopped
    environment:
      MEILI_NO_ANALYTICS: "true"
    volumes:
      - ./meilisearch:/meili_data
    networks:
      - hoarder-net

  ollama:
    container_name: ollama-service
    image: ollama/ollama:latest
    restart: unless-stopped
    volumes:
      - ./ollama:/root/.ollama
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: 1
    networks:
      - hoarder-net

networks:
  hoarder-net:
    driver: bridge

关键配置解析

1. 网络配置：创建专用网络hoarder-net确保各服务间可靠通信，避免了直接使用localhost带来的连接问题。

2. OLLAMA服务：

   • 使用官方OLLAMA镜像
   • 挂载volume持久化模型数据
   • 配置NVIDIA GPU支持(需宿主机已安装nvidia-container-toolkit)

3. 模型预加载：虽然可以在compose中尝试通过entrypoint预加载模型，但更可靠的方式是：

   docker exec -it ollama-service ollama pull phi3:3.8b
   docker exec -it ollama-service ollama pull llava:7b
   

常见问题解决方案

1. GPU加速问题：

   • 确保宿主机已安装NVIDIA驱动
   • 安装nvidia-container-toolkit
   • 在docker配置中启用GPU支持

2. 模型加载失败：

   • 检查OLLAMA日志确认模型下载是否完成
   • 验证模型名称拼写是否正确
   • 确保分配的磁盘空间足够

3. 跨平台适配：

   • Linux：推荐使用上述容器化方案
   • Windows/Mac：可将OLLAMA_BASE_URL改为http://host.docker.internal:11434访问宿主机服务

性能优化建议

1. 根据硬件配置调整INFERENCE_CONTEXT_LENGTH，值越大标签质量越好，但消耗资源更多
2. 对于文本分析，推荐使用较小的高效模型如phi3:3.8b
3. 图像分析可使用llava系列模型
4. 设置合理的INFERENCE_JOB_TIMEOUT_SEC防止长时间挂起

通过以上配置，用户可以在完全离线的环境中运行Hoarder，享受AI带来的智能标签功能，同时确保所有数据处理都在本地完成，满足最高级别的隐私保护需求。这种方案特别适合对数据敏感性要求高的企业环境或个人用户。