如何为开源AI助手cue接入5种AI模型:OpenAI、Claude、Gemini、Azure与Ollama本地部署指南

原创2026-10-11 16:08:521,843 阅读

如何为开源AI助手cue接入5种AI模型:OpenAI、Claude、Gemini、Azure与Ollama本地部署指南

[cue悬浮面板与AI模型配置界面] 占位见下文

正文开始

cue 是一款开源的 AI 会议助手,它能悬浮在你的屏幕上、"看到"你的屏幕并"听到"会议内容,而且在你屏幕共享时自动隐藏。它采用"自带密钥"(bring-your-own-key)模式:你可以把 OpenAI、Claude、Gemini、Azure 或本地 Ollama 大模型接入 cue,全部数据只发往你选择的 AI 提供商,应用本身不收集任何信息。本文带你用 5 分钟完成这 5 种 AI 模型的接入配置。

cue悬浮AI助手接入OpenAI、Claude、Gemini等模型的界面示意

cue 是什么:先认识这个悬浮 AI 面板

cue 启动后,会在桌面上方悬浮一个半透明的小玻璃面板:

  • 看屏幕:截图发给大模型,帮你解答问题或解决屏幕上的编程题
  • 听会议:转写你的麦克风(You 频道)和会议对方声音(Them 频道)
  • 实时回答:回答逐字流式输出到面板上
  • 隐身共享:通过系统级窗口保护标志,在大多数屏幕共享中不显示自己

面板底部输入框里的 ... 按钮就是 Settings(设置) 入口,本文所有配置都在里面完成。首次启动时 cue 还会弹出引导教程:

cue首次启动的AI助手配置引导教程

5 种接入方式速览

在开始之前,先了解每种方式的差异(默认模型来自 src/store.js):

提供商 需要填什么 Fast 默认模型 Smart 默认模型 是否支持语音转写
OpenAI API Key gpt-4o-mini gpt-4o ✅ 同一把 Key
Claude(Anthropic) API Key claude-haiku-4-5 claude-sonnet-4-5 ❌ 需另配转写 Key
Gemini API Key gemini-3.8-flash gemini-3.1-pro-preview ✅ 同一把 Key
Azure AI Foundry Endpoint + Key gpt-4o-mini gpt-4o ❌ 需另配转写 Key
Ollama 无需 Key(本地 URL) llama3.2 llama3.3 ❌ 需另配转写 Key

每个提供商都区分 Fast(快而省)和 Smart(更聪明、更慢)两档模型,面板上的 Smart 开关就是在这两档之间切换。

打开设置:找到模型配置入口

点击输入框里的 ... 按钮(macOS 按 ⌘ + ,,Windows 按 Ctrl + ,)打开 Settings:

  1. 在顶部的提供商切换栏(Provider 分段按钮)中选择目标提供商,源码见 renderer/index.html
  2. 粘贴你的 API Key(Ollama 无需 Key)
  3. 如需修改 Fast/Smart 模型名,直接填入输入框,留空则使用上表默认值
  4. 保存后 Key 只写在本机的 cue-data.json 文件中,仅发送给你选择的提供商

下面按提供商逐个说明。

接入 OpenAI:一把 Key 打通聊天与转写

OpenAI 是最省心的选择——同一把 Key 既能驱动聊天,又能用于 Whisper 语音转写。

配置步骤:

  1. 前往 OpenAI 平台创建 API Key(Key 需要有 Whisper/音频权限,仅限聊天的"受限项目 Key"在转写时会报 403)
  2. 在 cue Settings 中选择 OpenAI,粘贴 Key
  3. 模型留空即可(默认 gpt-4o-mini / gpt-4o)

OpenAI 的调用走 src/llm.js 中的 streamOpenAI,支持把屏幕截图以图片形式一并发给模型,所以"解答屏幕上的编程题"功能开箱即用。

接入 Claude(Anthropic):屏幕与代码解答体验优秀

Claude 在屏幕理解和代码问题解答上表现出色,是唯一走 Anthropic 原生 Messages API(而非 OpenAI 兼容接口)的提供商,实现见 src/llm.js。

配置步骤:

  1. 在 Anthropic 控制台创建 API Key
  2. Settings 中选择 Anthropic,粘贴 Key
  3. Fast/Smart 默认分别为 claude-haiku-4-5 和 claude-sonnet-4-5,可留空

⚠️ 注意:Claude 本身不提供语音转写。如果你还想使用 cue 的"听会议"功能,建议同时填一把 OpenAI 或 Gemini Key 作为转写渠道。

另外 cue 内置了"自愈"逻辑:如果你手动填写了已退役的旧模型 ID(如 claude-3-5-haiku-latest),读取设置时会自动迁移为当前可用模型,避免一直报 404,见 src/llm.js。

接入 Gemini:聊天 + 转写一把 Key 全搞定

Gemini 与 OpenAI 类似,一把 Key 同时覆盖聊天和语音转写,对只想填一个 Key 的用户非常友好。

配置步骤:

  1. 在 Google AI Studio 免费申请 Gemini API Key
  2. Settings 中选择 Gemini,粘贴 Key
  3. 模型默认 Fast 为 gemini-3.8-flash、Smart 为 gemini-3.1-pro-preview

小技巧: 如果你只有 Gemini Key 却想要"逐字流式转写"体验,可在 Settings → Audio 页签中显式选择 Gemini,cue 会切换到 gemini-3.5-transcribe-live 流式模型。

Gemini 的流式请求实现在 src/llm.js(streamGemini)。值得注意的是 cue 会为 Gemini 自动处理 thinking token 预算——Fast 档位会调低思考等级以获得约 3 倍响应速度,Smart 档位则保留默认推理强度,这些细节你完全不用手动操心。

接入 Azure AI Foundry:企业环境的首选

企业内如果统一走 Azure,cue 也提供一等公民支持。Azure 比其他提供商多一项凭据:除 Key 外还必须填 Endpoint,见 src/llm.js。

配置步骤:

  1. Settings 中选择 Azure AI,会同时出现 Key 输入框和 Endpoint 输入框
  2. Endpoint 按你的资源类型填写:
    • Azure OpenAI 资源:https://<resource>.openai.azure.com/openai
    • Azure AI Foundry:https://<host>.cognitiveservices.azure.com(cue 会自动补上 /openai/v1 后缀,无需手动拼接)
  3. 模型栏填你的部署名(deployment name),而不是公共模型 ID
  4. Key 与 Endpoint 都填写后保存

⚠️ 常见坑:只填了 Key 没填 Endpoint 会提示"Add your Azure AI Foundry endpoint in Settings";模型名填成公共 ID(而非部署名)会报 404。Azure 同样没有语音转写,听会议功能需另配 OpenAI 或 Gemini Key。

接入 Ollama:完全本地、零成本部署

Ollama 是本地部署方案,所有推理都在你自己的电脑上完成,隐私性和长期成本最优。cue 把它作为独立提供商支持,无需任何 API Key——设置栏里填的是服务地址。

配置步骤:

  1. 安装 Ollama 并保持其服务运行(默认监听 http://localhost:11434)
  2. 拉取一个对话模型,例如:
ollama pull llama3.2
  1. 回到 cue Settings 选择 Ollama:Key 输入框留空(默认请求 http://localhost:11434),如果 Ollama 跑在别的地址,直接在这里填完整 URL
  2. Fast/Smart 模型默认 llama3.2 / llama3.3,改成你已 pull 的任意模型 ID 即可

如果你更喜欢用 Custom(自定义) 通道接本地模型,也可以把 Ollama 当作 OpenAI 兼容端点使用:Base URL 填 http://127.0.0.1:11434/v1,模型填已安装的 Ollama 模型 ID。

Ollama 的本地请求实现在 src/llm.js(streamOllama),它通过 Ollama 原生的 /api/chat 接口做 SSE 流式输出;连不上时会明确提示"Is Ollama running at …?",排查方向一目了然。

常见问题排查

现象 原因与解决
429 报错 多为速率限制,稍等片刻即可;若提示 quota exhausted,说明免费额度用完,需充值或换提供商
404 "model not found" 模型已退役或拼写错误,打开 Settings 换当前可用模型(留空即用默认值)
OpenAI 403 Key 是仅限聊天的项目 Key,需开启 Whisper/音频权限
Ollama 连接失败 确认 Ollama 服务已启动、地址正确

cue 对错误信息做了人性化封装:配额耗尽、限流、模型下线三种情况会分别给出不同的中文提示,实现见 src/llm.js。

核心源码与文件索引

想深入了解 cue 如何统一管理这 5 种(甚至更多)提供商,可以按下面的路径阅读:

文件 作用
src/llm.js LLM 工厂:5 种提供商的统一流式接口 stream()
src/store.js 设置存储:Key 与模型配置的本地持久化
src/openai-compatible.js OpenAI 兼容端点的 baseURL 归一化
renderer/renderer.js 设置界面:保存 Key 与模型配置的逻辑
README.md 官方文档:安装、权限、隐私与完整提供商列表

总结

cue 的模型接入设计非常直白:选提供商 → 填 Key(Ollama 除外)→ 留空或改模型名。五种方案中:

  • 最省心:OpenAI / Gemini(聊天 + 转写一把 Key)
  • 屏幕与代码最强:Claude
  • 企业合规:Azure AI Foundry
  • 零成本、全本地:Ollama

所有凭据只保存在你电脑的 cue-data.json 中,应用没有任何服务器、不收集遥测——这正是这类开源 AI 助手最大的价值所在。

登录后查看全文
cue