用 Ollama 和 LM Studio 本地跑 OpenCrabs AI Agent:100% 隐私零成本完整指南
用 Ollama 和 LM Studio 本地跑 OpenCrabs AI Agent:100% 隐私零成本完整指南
OpenCrabs 是一个单文件 Rust 编写的自主 AI Agent,支持 TUI 终端界面、CLI 和后台 Daemon 运行,内置文件管理、深度研究、定时任务等能力,且零遥测。本文教你用 Ollama 和 LM Studio 这两个本地 LLM 推理工具,在完全离线的情况下驱动 OpenCrabs AI Agent——数据不离开你的电脑,推理不花一分钱。
为什么选择本地 LLM 跑 AI Agent?
很多人第一次听到"本地跑大模型"会担心:小模型能力够吗?Agent 这么复杂的任务它能干吗?
实际体验下来,7B~8B 参数的本地模型配合 OpenCrabs 的工具链(30+ 内置工具、记忆系统、自动上下文压缩),完成文件整理、代码审查、日常问答、定时任务这类工作完全够用。而收益是实打实的:
| 对比项 | 云端 API | 本地(Ollama / LM Studio) |
|---|---|---|
| 隐私 | 对话内容发送到第三方 API | 100% 留在本机 |
| 成本 | 按 token 计费,长期用很贵 | 模型下载一次,之后免费 |
| 离线 | 必须联网 | 断网也能用 |
| 速度 | 1~2 秒(网络延迟) | 2~10 秒(取决于硬件) |
配合 OpenCrabs 本身的"零遥测"架构(所有会话、记忆、配置都在本机 ~/.opencrabs/ 目录),本地推理意味着整个 AI Agent 运行链路 100% 不产生外发流量。
硬件要求与模型怎么选?
最低配置参考
| 模型 | 内存需求 | 适合场景 |
|---|---|---|
| TinyLlama-1.1B | 4 GB | 快速响应,轻量任务 |
| Qwen-2.5-7B-Instruct | 16 GB | 编码任务 |
| Mistral-7B-Instruct | 16 GB | 通用场景,速度快 |
| Llama-3-8B-Instruct | 16 GB | 均衡性能 |
| DeepSeek-Coder-6.7B | 16 GB | 专注代码 |
几个实用建议:
- 量化选 Q4_K_M,是速度和质量的最佳平衡点
- 有独立显卡(GPU)会显著提升推理速度
- LM Studio 中把 context length 设为 8192 以上,避免中途报上下文溢出
Ollama + OpenCrabs:一条命令接入本地模型
OpenCrabs 把 Ollama 当作内置 Provider 处理(不是普通自定义端点),模型列表会自动从 Ollama 的 /api/tags 接口拉取,本地部署时完全不需要 API Key。
第 1 步:安装 Ollama 并拉取模型
ollama pull mistral
Ollama 安装好后默认监听 http://localhost:11434,如果你还没装,去 Ollama 官网下载对应平台的安装包即可。
第 2 步:在 config.toml 中启用 Ollama
编辑 ~/.opencrabs/config.toml(文件模板可参考仓库里的 config.toml.example),把内置的 Ollama 配置段打开:
[providers.ollama]
enabled = true
base_url = "http://localhost:11434/v1/chat/completions"
# default_model = "mistral" # 可选:指定默认模型
就这么简单——没有 api_key 字段,因为本地服务不需要密钥。保存文件后,OpenCrabs 的热加载机制会在约 300ms 内自动识别变更,无需重启。
如果你是刚安装的新手,也可以先跑 opencrabs onboard 完成初始化向导,它支持在设置流程中直接选择 Ollama 作为 Provider,向导代码见 src/tui/onboarding/。
LM Studio + OpenCrabs:图形化本地推理方案
LM Studio 是 Ollama 之外的另一主流选择:图形界面、模型市场、一键启动本地服务器,对完全不想碰命令行的用户更友好。
第 1 步:下载模型并启动本地服务器
- 安装 LM Studio,在内置模型市场下载一个模型(推荐
qwen2.5-coder-7b-instruct、Mistral-7B-Instruct或Llama-3-8B) - 在 Local Server 页面加载模型并启动服务器(默认端口 1234)
第 2 步:添加自定义 Provider 配置
LM Studio 走 OpenCrabs 的"OpenAI 兼容自定义 Provider"通道,配置示例参考 config.toml.example:
[providers.custom.lm_studio]
enabled = true
base_url = "http://localhost:1234/v1/chat/completions"
default_model = "qwen2.5-coder-7b-instruct"
models = ["qwen2.5-coder-7b-instruct", "llama-3-8B", "mistral-7b-instruct"]
⚠️ 最关键的一步:
default_model的值必须与 LM Studio 的 Local Server 页面显示的模型名完全一致(区分大小写)。这是本地部署报错的第一大原因,配置逻辑详见 src/brain/provider/。
custom. 后面的名字(如 lm_studio)只是标签,随便起,它决定了你在 TUI 里切换模型时看到的 Provider 名称。
多本地模型共存:用 /models 一键切换
Ollama 和 LM Studio 可以同时配置,用命名 Provider 区分,随时切换:
[providers.custom.lm_studio]
enabled = true
base_url = "http://localhost:1234/v1/chat/completions"
default_model = "qwen2.5-coder-7b-instruct"
models = ["qwen2.5-coder-7b-instruct", "llama-3-8B", "mistral-7b-instruct"]
[providers.custom.ollama]
enabled = false
base_url = "http://localhost:11434/v1/chat/completions"
default_model = "mistral"
models = ["mistral", "llama3", "codellama"]
在 TUI 中输入 /models 即可在多个本地模型间切换,每个会话还会自动记住自己的 Provider 和模型组合——比如让一个会话用 LM Studio 跑代码、另一个用 Ollama 跑通用问答,互不干扰。
本地模型的上下文窗口设置
本地模型和云端模型有个重要区别:窗口越大越容易幻觉。OpenCrabs 官方建议:
- 本地模型把
context_window设为 128000 左右是甜点值 - 如果内存紧张(16GB 以下)或发现模型开始"编造",就往小调
- 只有 32GB 以上内存且实测稳定,才考虑调大
同时 OpenCrabs 的自动压缩(auto-compaction)会持续工作:历史在 65% 窗口时后台软压缩、90% 时同步硬压缩,长对话不会把上下文撑爆,所以本地小窗口也不必担心"聊到一半就得开新会话"。
[providers.custom.lm_studio]
context_window = 128000
改完保存即生效,热加载约 300ms 后自动应用。
常见问题排查
| 症状 | 原因与解法 |
|---|---|
| 连接失败 / 超时 | 确认 Ollama(ollama serve)或 LM Studio 的 Local Server 先启动,再跑 OpenCrabs |
| 模型名不匹配报错 | default_model 必须与本地服务器显示的模型名逐字符一致(区分大小写) |
| 上下文溢出 | 在 LM Studio 的 Model Settings > Context Length 中调大(8192 起);或调低 OpenCrabs 的 context_window |
| 回复很慢 | 换更小的模型或更低量化版本;加 GPU 加速;或检查是否同时跑了多个推理服务 |
| 想查当前状态 | 跑 opencrabs doctor 做完整诊断,opencrabs status 看系统概览 |
想确认一切正常,opencrabs doctor 会检查配置、Provider 连通性、数据库和通道等所有环节,本地部署出问题先跑它准没错。更多命令说明见 src/docs/start/GETTING_STARTED.md。
总结
用 Ollama 或 LM Studio 本地跑 OpenCrabs AI Agent 的全部步骤其实只有四步:装好本地推理服务 → 拉取一个 7B~8B 模型 → 在 config.toml 加一个 Provider 配置段 → 保存。没有 API Key 要申请,没有计费账单要盯,对话、记忆、配置全部留在 ~/.opencrabs/ 里。对隐私敏感的场景(法律文档、商业代码、个人笔记),这种"数据不出门"的 AI Agent 方案是目前最稳妥的选择。


