如何为开源AI助手cue接入5种AI模型:OpenAI、Claude、Gemini、Azure与Ollama本地部署指南
如何为开源AI助手cue接入5种AI模型:OpenAI、Claude、Gemini、Azure与Ollama本地部署指南
[
] 占位见下文
正文开始
cue 是一款开源的 AI 会议助手,它能悬浮在你的屏幕上、"看到"你的屏幕并"听到"会议内容,而且在你屏幕共享时自动隐藏。它采用"自带密钥"(bring-your-own-key)模式:你可以把 OpenAI、Claude、Gemini、Azure 或本地 Ollama 大模型接入 cue,全部数据只发往你选择的 AI 提供商,应用本身不收集任何信息。本文带你用 5 分钟完成这 5 种 AI 模型的接入配置。
cue 是什么:先认识这个悬浮 AI 面板
cue 启动后,会在桌面上方悬浮一个半透明的小玻璃面板:
- 看屏幕:截图发给大模型,帮你解答问题或解决屏幕上的编程题
- 听会议:转写你的麦克风(You 频道)和会议对方声音(Them 频道)
- 实时回答:回答逐字流式输出到面板上
- 隐身共享:通过系统级窗口保护标志,在大多数屏幕共享中不显示自己
面板底部输入框里的 ... 按钮就是 Settings(设置) 入口,本文所有配置都在里面完成。首次启动时 cue 还会弹出引导教程:
5 种接入方式速览
在开始之前,先了解每种方式的差异(默认模型来自 src/store.js):
| 提供商 | 需要填什么 | Fast 默认模型 | Smart 默认模型 | 是否支持语音转写 |
|---|---|---|---|---|
| OpenAI | API Key | gpt-4o-mini | gpt-4o | ✅ 同一把 Key |
| Claude(Anthropic) | API Key | claude-haiku-4-5 | claude-sonnet-4-5 | ❌ 需另配转写 Key |
| Gemini | API Key | gemini-3.8-flash | gemini-3.1-pro-preview | ✅ 同一把 Key |
| Azure AI Foundry | Endpoint + Key | gpt-4o-mini | gpt-4o | ❌ 需另配转写 Key |
| Ollama | 无需 Key(本地 URL) | llama3.2 | llama3.3 | ❌ 需另配转写 Key |
每个提供商都区分 Fast(快而省)和 Smart(更聪明、更慢)两档模型,面板上的 Smart 开关就是在这两档之间切换。
打开设置:找到模型配置入口
点击输入框里的 ... 按钮(macOS 按 ⌘ + ,,Windows 按 Ctrl + ,)打开 Settings:
- 在顶部的提供商切换栏(Provider 分段按钮)中选择目标提供商,源码见 renderer/index.html
- 粘贴你的 API Key(Ollama 无需 Key)
- 如需修改 Fast/Smart 模型名,直接填入输入框,留空则使用上表默认值
- 保存后 Key 只写在本机的
cue-data.json文件中,仅发送给你选择的提供商
下面按提供商逐个说明。
接入 OpenAI:一把 Key 打通聊天与转写
OpenAI 是最省心的选择——同一把 Key 既能驱动聊天,又能用于 Whisper 语音转写。
配置步骤:
- 前往 OpenAI 平台创建 API Key(Key 需要有 Whisper/音频权限,仅限聊天的"受限项目 Key"在转写时会报 403)
- 在 cue Settings 中选择 OpenAI,粘贴 Key
- 模型留空即可(默认
gpt-4o-mini/gpt-4o)
OpenAI 的调用走 src/llm.js 中的 streamOpenAI,支持把屏幕截图以图片形式一并发给模型,所以"解答屏幕上的编程题"功能开箱即用。
接入 Claude(Anthropic):屏幕与代码解答体验优秀
Claude 在屏幕理解和代码问题解答上表现出色,是唯一走 Anthropic 原生 Messages API(而非 OpenAI 兼容接口)的提供商,实现见 src/llm.js。
配置步骤:
- 在 Anthropic 控制台创建 API Key
- Settings 中选择 Anthropic,粘贴 Key
- Fast/Smart 默认分别为
claude-haiku-4-5和claude-sonnet-4-5,可留空
⚠️ 注意:Claude 本身不提供语音转写。如果你还想使用 cue 的"听会议"功能,建议同时填一把 OpenAI 或 Gemini Key 作为转写渠道。
另外 cue 内置了"自愈"逻辑:如果你手动填写了已退役的旧模型 ID(如 claude-3-5-haiku-latest),读取设置时会自动迁移为当前可用模型,避免一直报 404,见 src/llm.js。
接入 Gemini:聊天 + 转写一把 Key 全搞定
Gemini 与 OpenAI 类似,一把 Key 同时覆盖聊天和语音转写,对只想填一个 Key 的用户非常友好。
配置步骤:
- 在 Google AI Studio 免费申请 Gemini API Key
- Settings 中选择 Gemini,粘贴 Key
- 模型默认 Fast 为
gemini-3.8-flash、Smart 为gemini-3.1-pro-preview
小技巧: 如果你只有 Gemini Key 却想要"逐字流式转写"体验,可在 Settings → Audio 页签中显式选择 Gemini,cue 会切换到 gemini-3.5-transcribe-live 流式模型。
Gemini 的流式请求实现在 src/llm.js(streamGemini)。值得注意的是 cue 会为 Gemini 自动处理 thinking token 预算——Fast 档位会调低思考等级以获得约 3 倍响应速度,Smart 档位则保留默认推理强度,这些细节你完全不用手动操心。
接入 Azure AI Foundry:企业环境的首选
企业内如果统一走 Azure,cue 也提供一等公民支持。Azure 比其他提供商多一项凭据:除 Key 外还必须填 Endpoint,见 src/llm.js。
配置步骤:
- Settings 中选择 Azure AI,会同时出现 Key 输入框和 Endpoint 输入框
- Endpoint 按你的资源类型填写:
- Azure OpenAI 资源:
https://<resource>.openai.azure.com/openai - Azure AI Foundry:
https://<host>.cognitiveservices.azure.com(cue 会自动补上/openai/v1后缀,无需手动拼接)
- Azure OpenAI 资源:
- 模型栏填你的部署名(deployment name),而不是公共模型 ID
- Key 与 Endpoint 都填写后保存
⚠️ 常见坑:只填了 Key 没填 Endpoint 会提示"Add your Azure AI Foundry endpoint in Settings";模型名填成公共 ID(而非部署名)会报 404。Azure 同样没有语音转写,听会议功能需另配 OpenAI 或 Gemini Key。
接入 Ollama:完全本地、零成本部署
Ollama 是本地部署方案,所有推理都在你自己的电脑上完成,隐私性和长期成本最优。cue 把它作为独立提供商支持,无需任何 API Key——设置栏里填的是服务地址。
配置步骤:
- 安装 Ollama 并保持其服务运行(默认监听
http://localhost:11434) - 拉取一个对话模型,例如:
ollama pull llama3.2
- 回到 cue Settings 选择 Ollama:Key 输入框留空(默认请求
http://localhost:11434),如果 Ollama 跑在别的地址,直接在这里填完整 URL - Fast/Smart 模型默认
llama3.2/llama3.3,改成你已pull的任意模型 ID 即可
如果你更喜欢用 Custom(自定义) 通道接本地模型,也可以把 Ollama 当作 OpenAI 兼容端点使用:Base URL 填 http://127.0.0.1:11434/v1,模型填已安装的 Ollama 模型 ID。
Ollama 的本地请求实现在 src/llm.js(streamOllama),它通过 Ollama 原生的 /api/chat 接口做 SSE 流式输出;连不上时会明确提示"Is Ollama running at …?",排查方向一目了然。
常见问题排查
| 现象 | 原因与解决 |
|---|---|
| 429 报错 | 多为速率限制,稍等片刻即可;若提示 quota exhausted,说明免费额度用完,需充值或换提供商 |
| 404 "model not found" | 模型已退役或拼写错误,打开 Settings 换当前可用模型(留空即用默认值) |
| OpenAI 403 | Key 是仅限聊天的项目 Key,需开启 Whisper/音频权限 |
| Ollama 连接失败 | 确认 Ollama 服务已启动、地址正确 |
cue 对错误信息做了人性化封装:配额耗尽、限流、模型下线三种情况会分别给出不同的中文提示,实现见 src/llm.js。
核心源码与文件索引
想深入了解 cue 如何统一管理这 5 种(甚至更多)提供商,可以按下面的路径阅读:
| 文件 | 作用 |
|---|---|
| src/llm.js | LLM 工厂:5 种提供商的统一流式接口 stream() |
| src/store.js | 设置存储:Key 与模型配置的本地持久化 |
| src/openai-compatible.js | OpenAI 兼容端点的 baseURL 归一化 |
| renderer/renderer.js | 设置界面:保存 Key 与模型配置的逻辑 |
| README.md | 官方文档:安装、权限、隐私与完整提供商列表 |
总结
cue 的模型接入设计非常直白:选提供商 → 填 Key(Ollama 除外)→ 留空或改模型名。五种方案中:
- 最省心:OpenAI / Gemini(聊天 + 转写一把 Key)
- 屏幕与代码最强:Claude
- 企业合规:Azure AI Foundry
- 零成本、全本地:Ollama
所有凭据只保存在你电脑的 cue-data.json 中,应用没有任何服务器、不收集遥测——这正是这类开源 AI 助手最大的价值所在。
