在 Olares 1.12.6 上自托管 Dify:接入 Ollama 本地模型并构建私有 RAG 知识库
在 Olares 1.12.6 上自托管 Dify:接入 Ollama 本地模型并构建私有 RAG 知识库
本文以 Olares 1.12.6 的《Dify 定制 AI 助手》实战文档为核心,完整走一遍在 Olares 上部署「Dify 共享版」、将其模型源切换为本地 Ollama 服务、并接入个人 /Documents 文件夹作为默认知识库的全流程。读完本文,你将能够:在不依赖云端大模型的前提下搭建一条完全私有化的 RAG 工作流,并理解「认证级别:内部」与 LarePass 专用网络在应用间互访中的作用。
方案概览
Dify 是一个 AI 应用开发平台,也是 Olares 集成的关键开源项目之一。它在 Olares 上的定位是共享应用:由管理员统一部署和管理,集群中的其他成员无需自行安装即可从启动台直接打开使用。Dify 自带用户界面,属于「自带图形界面的完整应用」一类共享应用(共享应用说明)。
整条私有 RAG 链路由三个组件构成:
| 组件 | 角色 | 关键事实 |
|---|---|---|
| Ollama | 本地推理引擎,托管 gemma2、qwen 等语言模型 |
独立应用(非共享版),需已安装并运行 |
| Open WebUI | 提前下载好偏好语言模型的客户端 | 本文作为前置环境存在 |
| Dify 共享版 | AI 应用编排与知识库平台 | 由管理员安装,成员从桌面打开 |
数据始终留在自己的设备上,这是该方案与「直连云端模型」路线的核心差异。
开始之前的环境准备
要在 Dify 中使用本地 AI 模型,环境需满足以下条件(原文档要求,逐项保留):
- Olares 上已有正在运行的独立 Ollama 应用。本节适用于已有安装;若是新部署,请参阅 Ollama Engine Base。
- 已安装 Open WebUI,并下载了你偏好的语言模型。
- 访问设备已安装 LarePass 并已启用专用网络。
模型选型建议:建议使用
gemma2或qwen等轻量但功能强大的模型,可在速度和性能间取得良好平衡。
关于 LarePass 专用网络的一点补充:开启后,LarePass 会利用 Tailscale 建立安全连接并根据所处位置智能选择最快线路——居家时走局域网直连,外出时建立 P2P 加密隧道直连(LarePass 专用网络)。由于本文要求把 Ollama 入口设为「内部」级别,这个专用网络就是 Dify 免密访问 Ollama 的通道,属于硬性前提而非可选项。
安装 Dify 共享版
:::info 从 Olares 1.11.6 开始,如果已安装 "Dify For Cluster" 或 "Dify",需先卸载这些版本。 :::
- 从应用市场中安装 “Dify 共享版”。
- 从桌面打开 Dify。请确保管理员已安装 Dify 共享版。
这里有两个值得展开的背景事实:
第一,为什么成员打开前需要「确保管理员已安装」。 共享应用由管理员统一部署,集群中其他成员无需自行安装即可使用;市场中共享应用通常带有 共享应用、共享版 或群组图标等标识(共享应用概念)。也就是说,“从桌面打开 Dify” 这一步面向的是任意成员,而安装动作发生在管理员一侧。
第二,所有共享应用使用统一的 HTTPS 地址格式:https://<app-id>.<username>.<platform-domain>,每位成员通过自己的用户名访问同一共享应用(统一 HTTPS 地址)。这一点直接解释了后文 Ollama Base URL 中「路由 ID + 管理员用户名」的写法。
与旧版 Dify 的兼容提醒:如果你的 Dify 是 Olares 1.12.6 之前按 v2 架构安装的,不能直接原地更新。知识库的向量索引无法跨版本复用,新版 Dify 使用了更高效的检索引擎,因此需要手动迁移——将应用配置导出为 DSL 文件(.yml)、从 Cache > difyv2 > volumes > app > storage > upload_files 下载知识库原始文档,再重新上传重建。完整步骤见 将 Dify 迁移到新架构。迁移要点速览:
- 应用配置通过 Studio 页面应用卡片上的 Export DSL 导出;日志和对话等运行时数据不保留。
- 已处理的知识库 Chunk 不保留,只有原始文档可迁移。
- 安装新版后需重新创建用户账号与权限、重新输入模型 API Key 与系统偏好、重新上传文档重建每个知识库。
创建 AI 助手应用
-
打开 Dify,在 工作室 选项卡下,点击 创建空白应用 创建一个 AI 助手应用。这里创建一个名为 “Ashia” 的 Agent。
-
右侧点击 去设置,进入模型供应商配置页面。你可以选择远程模型或本地托管模型。
本方案选择「本地托管模型」路径,下一步即为 Dify 接入 Ollama。
把 Ollama 入口设为「内部」级别
这是整套私有化链路中容易遗漏、却最关键的一步:
「内部」这一认证级别在 Olares 的访问策略体系中含义明确(管理应用入口):
| 认证级别 | 访问行为 |
|---|---|
| 公开 | 任何人无需登录即可打开应用 |
| 私有 | 所有人访问前都必须完成认证 |
| 内部 | 通过 LarePass 专用网络(VPN)的用户无需认证;其他访问均需认证 |
从这张对照表可以看出:把 Ollama 设为「内部」后,走 LarePass 专用网络的 Dify 请求可以免认证直达 Ollama API,而局域网外、未走专用网络的请求仍会被要求认证——这正解释了「开始之前」一节为什么强制要求访问设备启用 LarePass 专用网络。若希望更精细地控制,还可以在访问策略面板中使用正则表达式管理子策略,为特定路径单独设置认证模式。
在 Dify 中添加 Ollama 作为模型提供商
在 Dify 的 模型提供商 配置页面中,选择 Ollama 作为模型提供商,并进行以下配置:
-
模型名称:填写模型名称,例如:
gemma2。 -
基础 URL:填入 Ollama 本地地址:
https://39975b9a1.{username}.olares.cn,将{username}替换为 Olares 管理员的用户名。例如:https://39975b9a1.marvin123.olares.com。其他必填字段可以保留默认值。
- 点击 保存。
两个细节说明:
- Base URL 的结构:
39975b9a1是应用地址中的路由 ID(app-id)段,与共享应用统一地址格式https://<app-id>.<username>.<platform-domain>一致(共享应用)。用户名段对应的是管理员用户名,因为 Ollama 是由管理员安装的独立应用。 - 模型名称须与 Ollama 中实际拉取的标签一致:
gemma2、qwen等必须是该 Ollama 实例已下载的模型名,Dify 保存配置时会向该 Base URL 发起连通性验证。
配置并试运行 Ashia
到这一步,Dify 的编排层与 Ollama 推理层已经打通,整条推理链路(Dify → Ollama 内部入口 → 本地 GPU/CPU 推理)完全不经过外部模型服务。
设置本地知识库:让助手更懂你
Dify 的 RAG 能力通过「知识库」选项卡落地,Olares 为它预置了一个与文件应用联动的默认知识库:
-
在 Dify 中,进入 知识库 选项卡。
-
找到你的默认知识库。Dify 会监听你 Olares ID 名下的
/Documents文件夹,作为其默认知识库(知识库以你的 Olares ID 命名)。 -
进入
/Documents文件夹,添加文档至知识库。 -
在 Ashia 的编排页面中,点击 添加,选择创建的知识库,为 Ashia 添加上下文支持。
-
点击 发布。现在有了知识库的帮助,你可以试着向助手问一个专业问题,验证检索增强效果。
这一设计的工程含义是:知识源的「摄取」被放在了操作系统层面——你只需把 PDF、笔记等文档丢进 Files 的 /Documents 目录,Dify 的监听机制会将其纳入默认知识库并处理成可检索的内容,而无需在 Dify 里手动配置数据源。需要强调的两个适用前提:
- 默认知识库以 Olares ID 为单位,每个成员监听的是自己 Olares ID 名下的
/Documents,成员之间默认知识库相互独立。 - 知识库索引与 Dify 版本绑定。若日后跨大版本迁移 Dify 共享版,旧索引不可复用,需按 迁移指南 重新上传文档重建索引。
小结
本文对应 Olares 1.12.6 环境下的官方实践路径,可复用的要点如下:
- 组件分工:Ollama 负责本地推理,Open WebUI 作为已就绪的客户端,Dify 共享版负责应用编排与知识库;三者全部本地化运行,数据由自己掌控。
- 打通关键在「内部」入口:将 Ollama 认证级别设为「内部」,让走 LarePass 专用网络的应用免认证访问模型服务——这是私有链路能免 API Key 直连的原因。
- RAG 的落点在
/Documents:默认知识库自动监听 Olares ID 名下的/Documents文件夹,把文档放进该目录即可获得检索增强问答。 - 版本注意:Olares 1.11.6 起旧版 Dify 需先卸载;1.12.6 之前按 v2 架构安装的 Dify 需按 迁移指南 导出 DSL 与原始文档后重建。
进一步延伸阅读:使用 Ollama、vLLM、llama.cpp 和 SGLang 运行本地大模型(新部署本地模型的方式)、管理应用入口(认证级别与访问策略)、通过 LarePass 专用网络访问 Olares(专用网络与连接状态诊断)。









