为什么用本地模型跑 VT Code 这么爽:Ollama、LM Studio、llama.cpp 接入指南
为什么用本地模型跑 VT Code 这么爽:Ollama、LM Studio、llama.cpp 接入指南
VT Code 是一个开源的 Rust 终端编程 Agent,而用本地模型跑它,体验可以说是"上头":代码和对话数据不出你的机器、不花一分钱 Token 费、断网也能干活。本文带你用最少的配置,把 Ollama、LM Studio、llama.cpp 三种本地推理后端接入 VT Code,十分钟跑通第一个本地模型。
一、为什么本地模型值得折腾?
先说结论:日常生产任务建议用远程 API,但下面三种场景,本地模型几乎不可替代。
| 维度 | 本地模型(Ollama / LM Studio / llama.cpp) | 远程 API |
|---|---|---|
| 🔒 隐私 | 代码和数据不出机器 | 发送到第三方服务器 |
| 💰 成本 | 硬件到位后完全免费 | 按 Token 计费 |
| 📴 离线 | 断网照常干活 | 必须联网 |
| 🧠 模型质量 | 开源小模型为主 | 前沿大模型 |
| 🚀 上手难度 | 需要自己管服务和模型 | 零配置 |
官方在 本地模型指南 中把定位写得很清楚:要隐私、要离线、要免费实验,就换本地模型。
二、Ollama 接入:三步跑通,最省心的选择
Ollama 是 VT Code 支持最完善的本地后端,工具调用、思考流、流式输出全部可用,官方文档见 docs/providers/ollama.md。
第 1 步:安装并启动 Ollama
# macOS
brew install ollama
# Linux
curl -fsSL https://ollama.com/install.sh | sh
# 启动服务
ollama serve
第 2 步:拉取一个代码模型
ollama pull llama3:8b
ollama pull qwen3:1.7b
ollama list # 查看本地已有模型
第 3 步:在项目根目录配置 vtcode.toml
[agent]
provider = "ollama"
default_model = "llama3:8b"
配置文件样例可参考仓库根目录的 vtcode.toml.example。配置完成后,直接在终端运行 vtcode,或在交互界面的 /model 选择器里选 "Custom Ollama model" 手动指定任意模型。
支持思考的模型(如 gpt-oss、qwen3)可以加 --reasoning high 参数,VT Code 会把模型的思考过程单独渲染出来,先"琢磨"再给答案,配合流式输出体验非常带感。
三、LM Studio 接入:图形界面党的福音
不喜欢敲命令?LM Studio 自带图形界面,下载模型、加载模型点点鼠标就行,VT Code 通过它标准的 OpenAI 兼容接口(/v1/*)接入,详见 docs/providers/lmstudio.md。
# 1. 安装 LM Studio 后,用自带 CLI 下载模型
lms get qwen2.5-7b-instruct
# 2. 启动 Developer 服务(默认端口 1234)
lms server start
# 3. 验证服务是否正常
curl http://localhost:1234/v1/models
配置 vtcode.toml:
[agent]
provider = "lmstudio"
default_model = "lmstudio-community/openai-gpt-oss-20b"
LM Studio 的亮点是结构化输出和按需加载(JIT Loading):模型空闲一段时间后自动从内存卸载,需要时再加载,内存利用率高。另外它可以在应用设置里开启"开机自动运行 LLM 服务",彻底实现开机即待命。
四、llama.cpp 接入:让 VT Code 帮你托管 llama-server
llama.cpp 是最极客的一条路,但 VT Code 把脏活都包了:只要把 GGUF 模型路径告诉它,llama-server 会在第一次请求时自动启动,自动轮询 /health 等待就绪,再通过 /v1/models 发现模型,见 docs/providers/llamacpp.md。
export VTCODE_PROVIDER=llamacpp
export LLAMACPP_MODEL_PATH=/absolute/path/to/model.gguf
也可以走 TOML 配置:
[agent]
provider = "llamacpp"
[providers.llamacpp]
base_url = "http://localhost:8080/v1"
model = "gpt-oss-20b"
需要精细控制时,还能通过 LLAMACPP_EXTRA_ARGS 传入额外参数,例如 --ctx-size 4096 --n-gpu-layers 99 来扩上下文、把层数全丢到 GPU。
五、/local 命令:在 TUI 里一键管理所有本地服务
VT Code 内置了 /local 命令,可以直接在终端界面里管理三种本地服务,不用切窗口:
/local 打开交互式服务管理面板
/local status 检查所有本地服务状态
/local start ollama 启动 Ollama
/local start lmstudio 启动 LM Studio
/local troubleshoot 诊断连接问题
这套机制的价值在于:VT Code 会在生成之前就检测"服务没启动"或"模型没加载",并直接打印精确的修复命令(比如 ollama pull gpt-oss:20b 或 /local start ollama),而不是一句看不懂的报错。完整命令参考见 docs/providers/local-servers.md。
六、硬件怎么选模型?一张表搞定
本地推理的性能主要看内存带宽和显存,官方给出的选型参考:
| 档位 | 显存/内存 | 推荐模型示例 | 适合场景 |
|---|---|---|---|
| Tiny | 8–16 GB | gemma-4-e4b、llama-3.1-8b |
快速编辑、补全式辅助 |
| Mid | 16–32 GB | gpt-oss:20b、gemma-3-12b |
通用编程辅助 |
| Max | 64 GB+ | 更大的 MoE 模型 | 长周期复杂任务 |
一个经验:7B–13B 模型在 16GB+ 内存的消费级硬件上就能跑得不错;30B+ 的大模型建议 32GB 起步。用 GGUF 量化模型(llama.cpp 路线)时,优先选 Q4/Q5 量化,速度和质量最均衡。
七、常见问题排查清单
- Connection refused:服务没起。Ollama 执行
ollama serve;LM Studio 执行lms server start;或直接在 VT Code 里敲/local start <provider>。 - Model not found:模型还没下载。Ollama 执行
ollama pull <model>,LM Studio 在应用里下载或lms get <model>。 - 401 Unauthorized:连的是 Ollama Cloud 时忘了设
OLLAMA_API_KEY;纯本地使用则不需要。 - 响应太慢:先怀疑模型太大,换
qwen2.5-7b这类小模型试试,速度立竿见影。 - 其他疑难:一律
/local troubleshoot引导式诊断,它会逐项检查二进制、端口、模型路径。
写在最后
本地模型 + VT Code 的组合,意味着你可以把整个编程 Agent 的"大脑"装进自己的电脑:私密的代码不落地到任何云端,深夜断网照样重构。建议从 Ollama 路线起步(最省心),有图形界面偏好再换 LM Studio,追求极致控制就上 llama.cpp。
延伸阅读:


