在 Olares 1.12.6 上自托管 Dify:接入 Ollama 本地模型并构建私有 RAG 知识库

原创2026-10-16 10:09:051,338 阅读
文章标签:云原生后端运维

在 Olares 1.12.6 上自托管 Dify:接入 Ollama 本地模型并构建私有 RAG 知识库

本文以 Olares 1.12.6 的《Dify 定制 AI 助手》实战文档为核心,完整走一遍在 Olares 上部署「Dify 共享版」、将其模型源切换为本地 Ollama 服务、并接入个人 /Documents 文件夹作为默认知识库的全流程。读完本文,你将能够:在不依赖云端大模型的前提下搭建一条完全私有化的 RAG 工作流,并理解「认证级别:内部」与 LarePass 专用网络在应用间互访中的作用。

Dify 配置 Ollama 模型提供商:填写模型名称 gemma2 与本地 Base URL

方案概览

Dify 是一个 AI 应用开发平台,也是 Olares 集成的关键开源项目之一。它在 Olares 上的定位是共享应用:由管理员统一部署和管理,集群中的其他成员无需自行安装即可从启动台直接打开使用。Dify 自带用户界面,属于「自带图形界面的完整应用」一类共享应用(共享应用说明)。

整条私有 RAG 链路由三个组件构成:

组件 角色 关键事实
Ollama 本地推理引擎,托管 gemma2、qwen 等语言模型 独立应用(非共享版),需已安装并运行
Open WebUI 提前下载好偏好语言模型的客户端 本文作为前置环境存在
Dify 共享版 AI 应用编排与知识库平台 由管理员安装,成员从桌面打开

数据始终留在自己的设备上,这是该方案与「直连云端模型」路线的核心差异。

开始之前的环境准备

要在 Dify 中使用本地 AI 模型,环境需满足以下条件(原文档要求,逐项保留):

  • Olares 上已有正在运行的独立 Ollama 应用。本节适用于已有安装;若是新部署,请参阅 Ollama Engine Base。
  • 已安装 Open WebUI,并下载了你偏好的语言模型。
  • 访问设备已安装 LarePass 并已启用专用网络。

模型选型建议:建议使用 gemma2 或 qwen 等轻量但功能强大的模型,可在速度和性能间取得良好平衡。

关于 LarePass 专用网络的一点补充:开启后,LarePass 会利用 Tailscale 建立安全连接并根据所处位置智能选择最快线路——居家时走局域网直连,外出时建立 P2P 加密隧道直连(LarePass 专用网络)。由于本文要求把 Ollama 入口设为「内部」级别,这个专用网络就是 Dify 免密访问 Ollama 的通道,属于硬性前提而非可选项。

安装 Dify 共享版

:::info 从 Olares 1.11.6 开始,如果已安装 "Dify For Cluster" 或 "Dify",需先卸载这些版本。 :::

  1. 从应用市场中安装 “Dify 共享版”。
  2. 从桌面打开 Dify。请确保管理员已安装 Dify 共享版。

这里有两个值得展开的背景事实:

第一,为什么成员打开前需要「确保管理员已安装」。 共享应用由管理员统一部署,集群中其他成员无需自行安装即可使用;市场中共享应用通常带有 共享应用、共享版 或群组图标等标识(共享应用概念)。也就是说,“从桌面打开 Dify” 这一步面向的是任意成员,而安装动作发生在管理员一侧。

第二,所有共享应用使用统一的 HTTPS 地址格式:https://<app-id>.<username>.<platform-domain>,每位成员通过自己的用户名访问同一共享应用(统一 HTTPS 地址)。这一点直接解释了后文 Ollama Base URL 中「路由 ID + 管理员用户名」的写法。

与旧版 Dify 的兼容提醒:如果你的 Dify 是 Olares 1.12.6 之前按 v2 架构安装的,不能直接原地更新。知识库的向量索引无法跨版本复用,新版 Dify 使用了更高效的检索引擎,因此需要手动迁移——将应用配置导出为 DSL 文件(.yml)、从 Cache > difyv2 > volumes > app > storage > upload_files 下载知识库原始文档,再重新上传重建。完整步骤见 将 Dify 迁移到新架构。迁移要点速览:

  • 应用配置通过 Studio 页面应用卡片上的 Export DSL 导出;日志和对话等运行时数据不保留。
  • 已处理的知识库 Chunk 不保留,只有原始文档可迁移。
  • 安装新版后需重新创建用户账号与权限、重新输入模型 API Key 与系统偏好、重新上传文档重建每个知识库。

创建 AI 助手应用

Dify 工作室中创建空白应用 Ashia

  1. 打开 Dify,在 工作室 选项卡下,点击 创建空白应用 创建一个 AI 助手应用。这里创建一个名为 “Ashia” 的 Agent。

  2. 右侧点击 去设置,进入模型供应商配置页面。你可以选择远程模型或本地托管模型。

    Dify 应用初始页面:提示前往设置模型供应商

本方案选择「本地托管模型」路径,下一步即为 Dify 接入 Ollama。

把 Ollama 入口设为「内部」级别

这是整套私有化链路中容易遗漏、却最关键的一步:

  1. 进入 设置 > 应用 > Ollama > 入口,设置 Ollama 的认证级别为 “内部”。该设置允许其他应用在本地网络环境下无需认证即可访问 Ollama 服务。

    Ollama 应用入口的访问策略设置为内部级别

「内部」这一认证级别在 Olares 的访问策略体系中含义明确(管理应用入口):

认证级别 访问行为
公开 任何人无需登录即可打开应用
私有 所有人访问前都必须完成认证
内部 通过 LarePass 专用网络(VPN)的用户无需认证;其他访问均需认证

从这张对照表可以看出:把 Ollama 设为「内部」后,走 LarePass 专用网络的 Dify 请求可以免认证直达 Ollama API,而局域网外、未走专用网络的请求仍会被要求认证——这正解释了「开始之前」一节为什么强制要求访问设备启用 LarePass 专用网络。若希望更精细地控制,还可以在访问策略面板中使用正则表达式管理子策略,为特定路径单独设置认证模式。

在 Dify 中添加 Ollama 作为模型提供商

在 Dify 的 模型提供商 配置页面中,选择 Ollama 作为模型提供商,并进行以下配置:

  • 模型名称:填写模型名称,例如:gemma2。

  • 基础 URL:填入 Ollama 本地地址:https://39975b9a1.{username}.olares.cn,将 {username} 替换为 Olares 管理员的用户名。例如:https://39975b9a1.marvin123.olares.com。

    配置 Ollama:模型名称与基础 URL 两个必填项

    其他必填字段可以保留默认值。

  1. 点击 保存。

两个细节说明:

  • Base URL 的结构:39975b9a1 是应用地址中的路由 ID(app-id)段,与共享应用统一地址格式 https://<app-id>.<username>.<platform-domain> 一致(共享应用)。用户名段对应的是管理员用户名,因为 Ollama 是由管理员安装的独立应用。
  • 模型名称须与 Ollama 中实际拉取的标签一致:gemma2、qwen 等必须是该 Ollama 实例已下载的模型名,Dify 保存配置时会向该 Base URL 发起连通性验证。

配置并试运行 Ashia

  1. 切换至 Dify 的 工作室 选项,并进入 Ashia 应用。

  2. 从右侧模型列表中选择已配置好的 Gemma2 本地模型。

    在模型列表中选择本地 Gemma2 模型

  3. 点击 发布。现在可以在 调试与预览 窗口试着和 Gemma2 聊天了。

    在调试与预览窗口与 Ashia 对话

到这一步,Dify 的编排层与 Ollama 推理层已经打通,整条推理链路(Dify → Ollama 内部入口 → 本地 GPU/CPU 推理)完全不经过外部模型服务。

设置本地知识库:让助手更懂你

Dify 的 RAG 能力通过「知识库」选项卡落地,Olares 为它预置了一个与文件应用联动的默认知识库:

  1. 在 Dify 中,进入 知识库 选项卡。

  2. 找到你的默认知识库。Dify 会监听你 Olares ID 名下的 /Documents 文件夹,作为其默认知识库(知识库以你的 Olares ID 命名)。

    以 Olares ID 命名的默认知识库

  3. 进入 /Documents 文件夹,添加文档至知识库。

    向 /Documents 文件夹添加文档

  4. 在 Ashia 的编排页面中,点击 添加,选择创建的知识库,为 Ashia 添加上下文支持。

    在编排页面为 Ashia 挂载知识库

  5. 点击 发布。现在有了知识库的帮助,你可以试着向助手问一个专业问题,验证检索增强效果。

    挂载知识库后回答专业问题的效果

这一设计的工程含义是:知识源的「摄取」被放在了操作系统层面——你只需把 PDF、笔记等文档丢进 Files 的 /Documents 目录,Dify 的监听机制会将其纳入默认知识库并处理成可检索的内容,而无需在 Dify 里手动配置数据源。需要强调的两个适用前提:

  • 默认知识库以 Olares ID 为单位,每个成员监听的是自己 Olares ID 名下的 /Documents,成员之间默认知识库相互独立。
  • 知识库索引与 Dify 版本绑定。若日后跨大版本迁移 Dify 共享版,旧索引不可复用,需按 迁移指南 重新上传文档重建索引。

小结

本文对应 Olares 1.12.6 环境下的官方实践路径,可复用的要点如下:

  1. 组件分工:Ollama 负责本地推理,Open WebUI 作为已就绪的客户端,Dify 共享版负责应用编排与知识库;三者全部本地化运行,数据由自己掌控。
  2. 打通关键在「内部」入口:将 Ollama 认证级别设为「内部」,让走 LarePass 专用网络的应用免认证访问模型服务——这是私有链路能免 API Key 直连的原因。
  3. RAG 的落点在 /Documents:默认知识库自动监听 Olares ID 名下的 /Documents 文件夹,把文档放进该目录即可获得检索增强问答。
  4. 版本注意:Olares 1.11.6 起旧版 Dify 需先卸载;1.12.6 之前按 v2 架构安装的 Dify 需按 迁移指南 导出 DSL 与原始文档后重建。

进一步延伸阅读:使用 Ollama、vLLM、llama.cpp 和 SGLang 运行本地大模型(新部署本地模型的方式)、管理应用入口(认证级别与访问策略)、通过 LarePass 专用网络访问 Olares(专用网络与连接状态诊断)。

登录后查看全文
Terminus