在 Olares 上自托管私有 AI 搜索引擎:Vane(原 Perplexica)+ SearXNG + Olares Router 实战指南
在 Olares 上自托管私有 AI 搜索引擎:Vane(原 Perplexica)+ SearXNG + Olares Router 实战指南
Vane(原 Perplexica)是一款开源的 AI 问答引擎,它将 Web 搜索与本地或云端 LLM 结合,输出带引用来源的对话式答案,同时保护查询隐私。本文以 Olares 平台为运行环境,讲解如何在 Olares 1.12.7 及以后版本中,用 Qwen3.8-27B(llama.cpp) 作为默认聊天模型、经 Olares Router 完成模型接入、以 SearXNG 作为搜索后端,完整搭建一套私有化 Perplexity 替代方案。读完本文,你将掌握从应用市场安装、Router 连接参数获取到 Vane 内模型配置与提问验证的全流程。
Vane:私有的 AI 问答引擎
Vane 的核心定位是 开源的 AI 驱动应答引擎(AI-powered answering engine)。与普通搜索引擎不同,它不直接罗列结果页,而是:
- 结合 Web 搜索:先通过元搜索引擎获取网络内容;
- 结合本地或云端 LLM:将搜索结果交给大语言模型理解、归纳与推理;
- 输出带引用的对话式答案:每个结论都附有可溯源的信息来源;
- 保护查询隐私:整个搜索与问答过程在你的 Olares 设备上闭环完成,查询内容不会发送到第三方搜索厂商进行分析。
从仓库文档看,Vane 内置了 embedding 模型能力,因此在配置时即使没有单独安装 embedding 模型,也可以直接选用 Vane 内置模型完成向量化工作(见 docs/use-cases/perplexica.md 与旧版 docs/use-cases/perplexica-1.12.6.md)。
一套由三个组件构成的自托管体系
在 Olares 上运行 Vane,实际由三个独立组件协作:
| 组件 | 角色 | 来源 |
|---|---|---|
| Vane | 问答引擎客户端,负责对话界面、搜索调度与答案生成 | Olares Market 应用 |
| SearXNG | 隐私优先的元搜索引擎,聚合多家搜索引擎结果,为模型提供"干净的、无偏见的"检索素材 | Olares Market 共享应用 |
| Olares Router + 本地模型 | AI 网关与推理后端,为 Vane 提供 OpenAI 兼容的模型调用接口 | Olares 1.12.7 内置 + Market 模型应用 |
其中 Olares Router 是 1.12.7 起内置的 AI 网关(docs/use-cases/olares-router.md 明确说明 "Olares Router is the AI gateway built into Olares, shipping with v1.12.7")。它把所有 AI 能力——本地或云端——收敛到单一访问层:客户端不再直连本地模型或云端厂商,而是统一连接 Router,由 Router 完成鉴权、配额管理与路由分发。Vane 正是这类"客户端应用"的典型代表。
前置条件
在开始之前,请确认满足以下条件(对应 docs/reusables/ai-service-connections.md 中的 Router 前提说明):
- Olares 设备已升级到 1.12.7 或更高版本,且拥有足够的磁盘空间与内存;
- 能够访问 Router,用于建立本地模型连接;
- 从 Market 安装 Qwen3.8-27B(llama.cpp):本文以它作为默认聊天模型。Vane 可以使用内置 embedding 模型,因此无需额外安装 embedding 模型。
可选:更换为其他模型
如果你希望使用别的模型,有两种方式(详见 docs/reusables/ai-service-connections.md 的 "use-different-model" 小节):
- 从 Market 安装另一个聊天模型;
- 通过 Engine Base 应用克隆并部署自己的模型实例(可参考 llama.cpp / Ollama / vLLM / SGLang 引擎部署指南)。
随后在 Router 的 Default models 页面把新模型设为默认聊天模型即可。由于 Vane 使用 default-chat 这个路由名,更换默认模型后 Vane 无需修改任何模型配置,会自动跟随新默认模型;若希望 Vane 固定使用某个具体模型,则改用 Router "How to call this model" 窗口中的完整模型名。
安装 SearXNG
SearXNG 是隐私优先的元搜索引擎(meta-search engine),它会聚合多个搜索引擎的结果,但不追踪用户、不建立用户画像。Vane 用它来获取"干净的、无偏见的"搜索结果,作为模型处理的素材。
安装步骤:
- 打开 Market,搜索 SearXNG;
- 在应用详情页点击 Get,再点击 Install,等待安装完成。
从应用详情页可以看到,SearXNG 在 Olares 中以**共享应用(Shared app)**形式提供:由管理员统一安装部署,聚合 70 多家搜索服务,无追踪与用户画像,还可通过 Tor 实现匿名搜索(详见 docs/use-cases/searxng.md)。
补充:SearXNG 的所有偏好设置(语言、主题、启用的搜索引擎、插件等)保存在浏览器 Cookie 中,服务端不存用户数据。升级迁移或重装时,可通过 Preferences > Cookies > Copy preferences hash 复制偏好哈希并在新实例中还原,无需备份数据库。
安装 Vane
- 打开 Market,搜索 Vane;
- 点击 Get,再点击 Install,等待安装完成。
安装完成后,Vane 与 SearXNG 都会出现在 Launchpad 中。
从 Router 获取模型连接信息
在 Olares 1.12.7 及以后版本中,AI 客户端(包括 Vane)统一通过 Olares Router 连接模型。Router 负责提供 Base URL,并把 default-chat 路由到你指定的默认聊天模型。连接前需要先在 Router 上完成以下操作(对应 docs/reusables/ai-service-connections.md 的 "get-model-connection-details" 小节):
- 从 Launchpad 打开 Router;
- 在 Default models 页面,将 Qwen3.8-27B(llama.cpp) 设为默认聊天模型;
- 进入 LLM 分类,找到 Qwen3.8-27B(llama.cpp),点击该行右侧的 View connection example(查看连接示例);
- 在弹出的 How to call this model 窗口中,选择 Apps in Olares(Olares 内应用),复制 Base URL(务必包含
/v1路径); - 模型名使用
default-chat。
关于 Base URL、模型名与 API Key
结合 docs/use-cases/olares-router.md 与 docs/manual/best-practices/connect-ai-apps.md,需要理解三个连接参数:
- Base URL:标识 Router 的地址与 API 路径。Router 会针对 Apps in Olares、Devices in LAN、Remote 三种请求来源给出不同 URL,因为每种请求到达 Router 的网络路径不同。Vane 作为 Olares 内安装的应用,其服务进程发出的请求停留在 Olares 内网,因此选择 Apps in Olares 并复制含
/v1的完整 URL。 - 模型名
default-chat:这是一个路由名(routing name),而非真实模型名。Router 会把名为default-chat的请求转发到 Default models 页面当前选中的聊天模型。因此当你在 Router 上更换默认模型时,所有使用default-chat的客户端会自动跟随。 - API Key:Olares 内的应用请求由平台注入应用身份(
X-Olares-App-ID头)完成鉴权,无需 API Key。如果客户端的 Key 字段强制要求填值,填写olares即可。只有来自局域网或互联网的第三方调用者才需要 Router 签发的 API Key(携带Authorization: Bearer <api-key>)。
另外需要注意:default-chat 是路由名,不会被模型列表 API(model-list API)返回。如果客户端自动拉取模型列表,需要手动添加 default-chat;如果客户端只允许从列表中选择模型,则应改用 Router 提供的完整模型名。
配置 Vane 连接 Router
完成 Router 侧的准备后,进入 Vane 配置(对应 docs/use-cases/perplexica.md 的 "Configure Vane" 部分):
- 打开 Vane。在首次启动的设置向导(setup wizard)中,或稍后在 Settings 的模型区域,添加一个 OpenAI provider;
- Base URL 填 Router URL,包括
/v1; - API Key 填入
olares; - 在该 provider 下手动添加聊天模型:显示名可填
Router chat,模型 ID 填default-chat; - 选中这个聊天模型,并选择 Vane 内置的 embedding 模型(内置模型之一即可),完成设置。
说明:由于
default-chat是路由名而非真实模型,不会出现在模型列表 API 的返回值中,所以需要手动添加;这一步是配置能否成功的关键。
配置完成后,如果之后要更换模型或连接,点击 Vane 左下角的设置图标,打开 Settings 即可随时调整。
上下文窗口设置提示
在 Router 的 LLM 列表中,点击模型行右侧的信息图标可打开 Model card(模型卡片),查看 Context window 与 Engine args。以 llama.cpp 模型为例,-c 104448 表示配置的上下文长度为 104448 tokens(Router 界面显示为 102K)。当客户端询问 token 数量时,应以 Engine args 中的精确值为准(docs/reusables/ai-service-connections.md 的 "model-context-window" 小节)。
两点注意事项:
104448只是示例值,并非所有安装的固定值;-c参数是 llama.cpp 专属,其他推理引擎使用不同的上下文参数;- 客户端的上下文设置不能超过引擎配置的上下文大小——单方面调大客户端设置不会增加引擎容量。如果更换了
default-chat背后的模型,也请同步检查 Vane 的上下文设置。
开始提问,验证私有搜索环境
配置完成后,即可开始提问验证整套私有 AI 搜索环境是否正常工作。
尝试一次搜索类提问,观察 Vane 是否完成"SearXNG 检索 → Router 调度模型 → 归纳出带引用的答案"的完整链路。整个流程全部在 Olares 本地闭环运行:查询由 SearXNG 聚合第三方搜索服务获取素材,但不会留下搜索厂商可用的用户画像;答案由本地 Qwen3.8-27B(llama.cpp)通过 Router 生成,模型调用不经过任何外部云厂商。
延伸阅读
- 使用 Olares Router 作为你的 AI 网关:深入理解 Router 的架构、能力分类(LLM / Audio / Creative / Tools)、调用方鉴权方式与模型命名约定,是管理 Vane 所用模型的权威参考;
- AI 应用如何连接 Olares 模型:系统讲解 Provider、Base URL、模型名、API Key 四要素与三种请求来源的选型逻辑;
- 使用 Engine Base 应用运行本地 LLM:了解 llama.cpp、Ollama、vLLM、SGLang 四种引擎基座应用的克隆部署、环境变量与引擎调优参数;
- SearXNG 迁移指南:了解 SearXNG 共享应用架构与偏好哈希迁移方法;
- 构建你的本地 AI Agent:LobeHub、OpenCode AI 编码代理:更多通过 Router 连接 AI 客户端的实战范例。
上游开源项目 Vane(原 Perplexica)的 README、架构说明与社区信息可查阅其官方仓库;本文所述部署步骤均以当前 Olares 仓库中的文档与配置为准。


