用 Ollama 和 LM Studio 本地跑 OpenCrabs AI Agent:100% 隐私零成本完整指南

原创2026-10-21 20:13:241,668 阅读

用 Ollama 和 LM Studio 本地跑 OpenCrabs AI Agent:100% 隐私零成本完整指南

OpenCrabs 是一个单文件 Rust 编写的自主 AI Agent,支持 TUI 终端界面、CLI 和后台 Daemon 运行,内置文件管理、深度研究、定时任务等能力,且零遥测。本文教你用 Ollama 和 LM Studio 这两个本地 LLM 推理工具,在完全离线的情况下驱动 OpenCrabs AI Agent——数据不离开你的电脑,推理不花一分钱。

OpenCrabs AI Agent 启动界面

为什么选择本地 LLM 跑 AI Agent?

很多人第一次听到"本地跑大模型"会担心:小模型能力够吗?Agent 这么复杂的任务它能干吗?

实际体验下来,7B~8B 参数的本地模型配合 OpenCrabs 的工具链(30+ 内置工具、记忆系统、自动上下文压缩),完成文件整理、代码审查、日常问答、定时任务这类工作完全够用。而收益是实打实的:

对比项 云端 API 本地(Ollama / LM Studio)
隐私 对话内容发送到第三方 API 100% 留在本机
成本 按 token 计费,长期用很贵 模型下载一次,之后免费
离线 必须联网 断网也能用
速度 1~2 秒(网络延迟) 2~10 秒(取决于硬件)

配合 OpenCrabs 本身的"零遥测"架构(所有会话、记忆、配置都在本机 ~/.opencrabs/ 目录),本地推理意味着整个 AI Agent 运行链路 100% 不产生外发流量。

硬件要求与模型怎么选?

最低配置参考

模型 内存需求 适合场景
TinyLlama-1.1B 4 GB 快速响应,轻量任务
Qwen-2.5-7B-Instruct 16 GB 编码任务
Mistral-7B-Instruct 16 GB 通用场景,速度快
Llama-3-8B-Instruct 16 GB 均衡性能
DeepSeek-Coder-6.7B 16 GB 专注代码

几个实用建议:

  • 量化选 Q4_K_M,是速度和质量的最佳平衡点
  • 有独立显卡(GPU)会显著提升推理速度
  • LM Studio 中把 context length 设为 8192 以上,避免中途报上下文溢出

Ollama + OpenCrabs:一条命令接入本地模型

OpenCrabs 把 Ollama 当作内置 Provider 处理(不是普通自定义端点),模型列表会自动从 Ollama 的 /api/tags 接口拉取,本地部署时完全不需要 API Key。

第 1 步:安装 Ollama 并拉取模型

ollama pull mistral

Ollama 安装好后默认监听 http://localhost:11434,如果你还没装,去 Ollama 官网下载对应平台的安装包即可。

第 2 步:在 config.toml 中启用 Ollama

编辑 ~/.opencrabs/config.toml(文件模板可参考仓库里的 config.toml.example),把内置的 Ollama 配置段打开:

[providers.ollama]
enabled = true
base_url = "http://localhost:11434/v1/chat/completions"
# default_model = "mistral"  # 可选:指定默认模型

就这么简单——没有 api_key 字段,因为本地服务不需要密钥。保存文件后,OpenCrabs 的热加载机制会在约 300ms 内自动识别变更,无需重启。

OpenCrabs 初始化向导界面

如果你是刚安装的新手,也可以先跑 opencrabs onboard 完成初始化向导,它支持在设置流程中直接选择 Ollama 作为 Provider,向导代码见 src/tui/onboarding/。

LM Studio + OpenCrabs:图形化本地推理方案

LM Studio 是 Ollama 之外的另一主流选择:图形界面、模型市场、一键启动本地服务器,对完全不想碰命令行的用户更友好。

第 1 步:下载模型并启动本地服务器

  1. 安装 LM Studio,在内置模型市场下载一个模型(推荐 qwen2.5-coder-7b-instruct、Mistral-7B-Instruct 或 Llama-3-8B)
  2. 在 Local Server 页面加载模型并启动服务器(默认端口 1234)

第 2 步:添加自定义 Provider 配置

LM Studio 走 OpenCrabs 的"OpenAI 兼容自定义 Provider"通道,配置示例参考 config.toml.example:

[providers.custom.lm_studio]
enabled = true
base_url = "http://localhost:1234/v1/chat/completions"
default_model = "qwen2.5-coder-7b-instruct"
models = ["qwen2.5-coder-7b-instruct", "llama-3-8B", "mistral-7b-instruct"]

⚠️ 最关键的一步:default_model 的值必须与 LM Studio 的 Local Server 页面显示的模型名完全一致(区分大小写)。这是本地部署报错的第一大原因,配置逻辑详见 src/brain/provider/。

custom. 后面的名字(如 lm_studio)只是标签,随便起,它决定了你在 TUI 里切换模型时看到的 Provider 名称。

多本地模型共存:用 /models 一键切换

Ollama 和 LM Studio 可以同时配置,用命名 Provider 区分,随时切换:

[providers.custom.lm_studio]
enabled = true
base_url = "http://localhost:1234/v1/chat/completions"
default_model = "qwen2.5-coder-7b-instruct"
models = ["qwen2.5-coder-7b-instruct", "llama-3-8B", "mistral-7b-instruct"]

[providers.custom.ollama]
enabled = false
base_url = "http://localhost:11434/v1/chat/completions"
default_model = "mistral"
models = ["mistral", "llama3", "codellama"]

在 TUI 中输入 /models 即可在多个本地模型间切换,每个会话还会自动记住自己的 Provider 和模型组合——比如让一个会话用 LM Studio 跑代码、另一个用 Ollama 跑通用问答,互不干扰。

OpenCrabs 会话管理界面

本地模型的上下文窗口设置

本地模型和云端模型有个重要区别:窗口越大越容易幻觉。OpenCrabs 官方建议:

  • 本地模型把 context_window 设为 128000 左右是甜点值
  • 如果内存紧张(16GB 以下)或发现模型开始"编造",就往小调
  • 只有 32GB 以上内存且实测稳定,才考虑调大

同时 OpenCrabs 的自动压缩(auto-compaction)会持续工作:历史在 65% 窗口时后台软压缩、90% 时同步硬压缩,长对话不会把上下文撑爆,所以本地小窗口也不必担心"聊到一半就得开新会话"。

[providers.custom.lm_studio]
context_window = 128000

改完保存即生效,热加载约 300ms 后自动应用。

常见问题排查

症状 原因与解法
连接失败 / 超时 确认 Ollama(ollama serve)或 LM Studio 的 Local Server 先启动,再跑 OpenCrabs
模型名不匹配报错 default_model 必须与本地服务器显示的模型名逐字符一致(区分大小写)
上下文溢出 在 LM Studio 的 Model Settings > Context Length 中调大(8192 起);或调低 OpenCrabs 的 context_window
回复很慢 换更小的模型或更低量化版本;加 GPU 加速;或检查是否同时跑了多个推理服务
想查当前状态 跑 opencrabs doctor 做完整诊断,opencrabs status 看系统概览

想确认一切正常,opencrabs doctor 会检查配置、Provider 连通性、数据库和通道等所有环节,本地部署出问题先跑它准没错。更多命令说明见 src/docs/start/GETTING_STARTED.md。

总结

用 Ollama 或 LM Studio 本地跑 OpenCrabs AI Agent 的全部步骤其实只有四步:装好本地推理服务 → 拉取一个 7B~8B 模型 → 在 config.toml 加一个 Provider 配置段 → 保存。没有 API Key 要申请,没有计费账单要盯,对话、记忆、配置全部留在 ~/.opencrabs/ 里。对隐私敏感的场景(法律文档、商业代码、个人笔记),这种"数据不出门"的 AI Agent 方案是目前最稳妥的选择。

登录后查看全文
opencrabs