5分钟跑通本地推理:Ternary-Bonsai-2-27B-MTP Windows双击快速上手(免WSL免Python)
5分钟跑通本地推理:Ternary-Bonsai-2-27B-MTP Windows双击快速上手(免WSL免Python)
想在 Windows 上跑一个本地推理大模型,却被 WSL、Python 环境、CUDA 编译劝退?Ternary-Bonsai-2-27B-MTP 把这一切打包成了一个预编译运行时——解压、把模型文件放好、双击 Start-MTP.cmd,浏览器打开网页就能对话。全程不需要 Python、不需要 WSL、不需要编译,普通用户也能 5 分钟内跑通本地大模型推理。
🧭 先搞懂:它到底是什么?
一句话:这是一个带 MTP 投机解码加速 的 27B 三值(ternary)量化模型本地推理包。
- Ternary(三值):底层权重采用三值量化,模型体积极致压缩,单文件约 7.7 GB,消费级显卡就能跑。
- MTP(Multi-Token Prediction):模型在生成每一步时,会额外"预写"最多 2 个草稿 token,再由原模型一次性校验。命中越多,解码越快。
- 开箱即用:项目自带 Windows 原生 CUDA 13.3 运行时(含
llama-server.exe与全部依赖 DLL),并内置浏览器网页界面和 OpenAI 兼容 API。
社区在 RTX 4080 SUPER 上实测,开启 MTP 后中位吞吐约为关闭时的 1.338 倍(+33.8%),草稿接受率达 68.1%。详见 README.md 的社区复现说明。
✅ 第一步:30 秒硬件自检
开始前,确认你的机器满足下面 3 项要求(完整要求见 runtime/WINDOWS.md):
| 检查项 | 要求 | 说明 |
|---|---|---|
| 操作系统 | Windows 10 / 11 x64 | 必须是 64 位系统 |
| 显卡 | NVIDIA 显卡 + CUDA 13 兼容驱动 | 覆盖 RTX 20/30/40/50 系(SM75/80/86/89/120a) |
| 内存 | 8GB 显存可跑(部分 CPU 卸载),建议 32GB 内存 | 显存越足越快,无需手动折腾 |
💡 已官方验证的配置:RTX 4060 8GB + Windows 11 + 驱动 591.86。如果你只有 8GB 显存,程序会自动做部分 CPU 卸载,速度会变慢但能跑。
📦 第二步:下载两个文件
你只需要两样东西:
- Windows 运行时压缩包(约 490 MB):runtime/llama-bonsai-mtp-windows-cuda13.3-x64.zip
- 模型权重文件(约 7.7 GB):Ternary-Bonsai-2-27B-PQ2_0-MTP-Q8_0.gguf
👉 把 ZIP 完整解压到一个文件夹(例如 D:\BonsaiMTP\),再把 .gguf 模型文件放到与 Start-MTP.cmd 同级的位置。目录结构长这样:
BonsaiMTP/
├── Start-MTP.cmd ← 双击它
├── bin/ ← 解压出来的运行时(含 llama-server.exe)
└── Ternary-Bonsai-2-27B-PQ2_0-MTP-Q8_0.gguf ← 模型文件
⚠️ 一定要解压整个 ZIP,不要只把 llama-server.exe 单独拷出来——所有 DLL 必须放在一起,否则报缺 DLL。
🚀 第三步:双击启动
直接双击 Start-MTP.cmd,等待控制台打印出类似下面这行,就说明服务已起来:
Starting Bonsai at http://127.0.0.1:8080 (OpenAI API: /v1). Press Ctrl+C to stop.
这个 Start-MTP.cmd 只是帮你以正确的策略调用 serve-windows.ps1,你无需理解任何命令。想停止服务,回控制台按
Ctrl + C即可。
🌐 第四步:浏览器里开始对话
- 打开
http://127.0.0.1:8080→ 进入内置网页界面,直接聊天。 - 想用其他客户端(如各类 OpenAI 兼容工具)→ 把 API 地址指向
http://127.0.0.1:8080/v1即可。
服务默认只绑定本机回环地址(127.0.0.1),局域网内的其他电脑无法访问,天然更安全。
⚙️ 进阶:显存吃紧时的 4 个降载开关
如果你的显卡较小、启动时爆显存或卡顿,可以用 serve-windows.ps1 手动调参。在解压目录里运行(PowerShell):
powershell.exe -NoProfile -ExecutionPolicy Bypass -File .\serve-windows.ps1 -Model "D:\BonsaiMTP\Ternary-Bonsai-2-27B-PQ2_0-MTP-Q8_0.gguf" -Context 4096 -GpuLayers 32
常用参数速查:
| 参数 | 作用 | 默认值 | 建议 |
|---|---|---|---|
-GpuLayers |
放进显存的层数 | auto |
显存不足时调小,如 32 |
-Context |
上下文长度 | 4096 |
长对话才需要调大,越吃内存 |
-CacheType |
KV 缓存类型 | q8_0 |
显存紧可改 q4_0 省显存 |
-NoMtp |
关闭 MTP(对比用) | 开 | 想对比速度差异时加上 |
提示:上下文默认就是 4096,日常使用完全够用,不建议盲目调到 262144——那会占用大量显存,却用不上 MTP 之外的收益。
🔧 常见问题速查:双击后没反应?
| 现象 | 多半原因 | 解决办法 |
|---|---|---|
| 报"缺少 DLL / Microsoft 运行时错误" | ZIP 没完整解压 | 重新解压整个包;必要时装官方 Visual C++ 运行库 |
| 提示 CUDA 驱动不足 / no kernel image | 显卡或驱动太旧 | 更新 NVIDIA 驱动,核对显卡是否在支持架构表里 |
| 爆显存 / 卡顿掉帧 | 显存不够 | 调小 -Context、改用 -CacheType q4_0、减少 -GpuLayers |
| 提示端口被占用 | 8080 已被占用 | 换端口,如 -Port 8081 |
| 只有单个 exe 却跑不起来 | 混用了别的 llama.cpp | 保持本项目自带包完整,不要替换二进制 |
完整排查清单见 runtime/WINDOWS.md 的 Troubleshooting 一节。
📊 MTP 到底快多少:看两组真实数据
官方在一张 RTX PRO 6000 Blackwell 96GB 上,对比"上一个版本 → 更新后 MTP 头":
| 测试集 | 更新前 tok/s | 更新后 tok/s | 草稿接受率 |
|---|---|---|---|
| 8 条未见 prompt(重复 2 次) | 167.14 | 169.25 | 58.58% |
| 6 条历史 prompt(重复 2 次) | 172.98 | 175.11 | 62.41% |
社区则在 RTX 4080 SUPER 16GB 上独立复现,测得中位加速 1.338x、草稿接受率 68.1%。具体配置与原始数据保存在 reports/windows-runtime-20260919.json 等报告里。
说明:以上是"启用 MTP 头"的速度表现,实际加速幅度会随显卡、上下文、prompt 与采样策略变化,请以你自己的机器为准。
📁 关键文件速查
| 文件 | 用途 |
|---|---|
| README.md | 项目总说明与下载运行指南 |
| runtime/WINDOWS.md | Windows 完整要求、校验与故障排查 |
| Start-MTP.cmd | 一键启动脚本(双击它) |
| serve-windows.ps1 | 启动参数控制脚本 |
| mtp_config.json | MTP 头结构配置 |
| manifest.json | 全部文件清单与 SHA256 校验值 |
| SHA256SUMS | 用于核对文件完整性的校验和 |
小结
回到开头那句话:解压 → 放模型 → 双击 → 打开浏览器,Ternary-Bonsai-2-27B-MTP 让 Windows 本地大模型推理第一次变得如此"无门槛"。没有 Python、没有 WSL、没有编译,普通用户 5 分钟就能拥有一个带 MTP 加速的本地推理服务。显存小的朋友记得用 -GpuLayers 和 -CacheType q4_0 降载,跑起来再慢慢调。