本地LLM快速上手:用llama.cpp 5分钟跑通Ternary-Bonsai-2-9B(附CUDA/Metal/CPU三平台命令)
本地LLM快速上手:用llama.cpp 5分钟跑通Ternary-Bonsai-2-9B(附CUDA/Metal/CPU三平台命令)
Ternary-Bonsai-2-9B 是 Prism ML 发布的 9B 级本地 LLM 视觉语言模型:用三值(ternary)权重压缩技术,把 FP16 下约 17.9 GB 的模型压到仅约 2.42 GB,通过 llama.cpp 就能在 CUDA、Metal、CPU 三平台本地跑起来,支持文本对话和图像理解,5 分钟即可完成第一次本地推理。
📌 为什么这个模型值得本地跑
- 三值权重:语言模型的 embedding、注意力投影、MLP 投影和 LM head 全部采用 {−1, 0, +1} 三值权重 + FP16 分组缩放,显存/内存占用极低
- 2.42 GB 即可运行:约 8.95B 语言模型 + 0.46B 视觉塔,普通消费级显卡也能全层卸载到 GPU
- 262K 超长上下文:继承自 Qwen3.5-9B 混合注意力骨架(24 层线性注意力 + 8 层全注意力)
- 原生视觉输入:搭配独立的 mmproj 视觉塔即可理解图片
- Apache 2.0 协议:可自由商用与再分发
| 项目 | 规格 |
|---|---|
| 基础模型 | Qwen3.5-9B(架构不变) |
| 权重格式 | 三值 {−1, 0, +1} + FP16 分组缩放 |
| 上下文长度 | 262,144 tokens |
| 运行后端 | llama.cpp(CUDA / Metal / CPU),基于 PrismML 分支 |
| 协议 | Apache 2.0 |
🗂 模型文件选择指南
仓库中共有 7 个 GGUF 文件,日常使用只需 2 个:
| 文件 | 作用 | 大小 |
|---|---|---|
| Ternary-Bonsai-2-9B-PQ2_0.gguf | 语言模型(默认推荐) | 2.42 GB |
| Ternary-Bonsai-2-9B-mmproj-Q8_0.gguf | 视觉塔(图像输入必配) | 0.62 GB |
| Ternary-Bonsai-2-9B-PTQ1_0.gguf | 语言模型(文件最小,内存紧张时用) | 2.00 GB |
| Ternary-Bonsai-2-9B-Q2_0.gguf | 语言模型(唯一可用上游 llama.cpp 运行的格式) | 2.56 GB |
| Ternary-Bonsai-2-9B-PQ2_0-MTP-Q8_0.gguf | PQ2_0 + MTP 投机解码头(二选一加载,勿叠加) | 2.68 GB |
| Ternary-Bonsai-2-9B-DFlash2-Q8_0.gguf | DFlash2 块草稿模型(可选,代码改写类任务有益) | 1.57 GB |
| Ternary-Bonsai-2-9B-mmproj-BF16.gguf | 视觉塔高精度参考版(一般无需使用) | 0.92 GB |
💡 三种语言模型打包(PTQ1_0 / PQ2_0 / Q2_0)装的是同一份三值权重,差别只在存储布局与内核速度。日常直接用 PQ2_0 即可。
⚡ 5 分钟快速上手
第 1 步:获取 PrismML 版 llama.cpp
三值内核(PQ2_0、PTQ1_0)位于 PrismML-Eng/llama.cpp 项目(prism 分支)。上游 llama.cpp 只认识 Q2_0,会直接拒绝 PQ2_0/PTQ1_0 并报"unknown type"。
方式一(推荐):下载预编译包
去 PrismML-Eng/llama.cpp 项目的 Releases 页面,选择与系统对应的压缩包解压:
tar -xzf llama-<tag>-bin-<platform>.tar.gz -C bin --strip-components=1
方式二:源码编译(拿到项目 prism 分支源码后执行):
# CUDA(NVIDIA 显卡)
cmake -B build -DGGML_CUDA=ON && cmake --build build -j
# macOS(Metal)/ CPU:去掉 -DGGML_CUDA=ON 即可,Metal 是默认后端
第 2 步:下载模型文件
从模型仓库拉取文件(默认只拿语言模型 + 视觉塔两个文件):
git clone https://gitcode.com/hf_mirrors/prism-ml/Ternary-Bonsai-2-9B-gguf
cd Ternary-Bonsai-2-9B-gguf
建议用 SHA256SUMS 校验文件完整性,避免下载损坏。
第 3 步:运行第一次文本对话
./bin/llama-cli -m Ternary-Bonsai-2-9B-PQ2_0.gguf -ngl 99 -fa on \
-p "用三句话解释为什么天空是蓝色的。"
参数说明:
-ngl 99:把所有层卸载到 GPU(CPU 运行请省略该参数)-fa on:开启 Flash Attention,长上下文更快更省内存-p:单轮提示,回车即运行
第 4 步:图像 + 文本多模态输入
./bin/llama-mtmd-cli -m Ternary-Bonsai-2-9B-PQ2_0.gguf \
--mmproj Ternary-Bonsai-2-9B-mmproj-Q8_0.gguf -ngl 99 \
--image photo.jpg -p "描述这张图片"
视觉塔是独立加载的,只有传入图片时才会生效。图片中有小字/密集文字时,加上 --image-min-tokens 1024 可提高识别效果。
🖥 CUDA / Metal / CPU 三平台命令速查
| 平台 | 获取/编译方式 | 运行要点 |
|---|---|---|
| CUDA(NVIDIA) | 预编译包,或 cmake -B build -DGGML_CUDA=ON && cmake --build build -j |
命令加 -ngl 99 全量 GPU 卸载 |
| Metal(macOS / Apple Silicon) | 预编译包,或源码编译(Metal 为默认后端,无需额外参数) | 命令加 -ngl 99;也可选择 MLX 版本获得原生性能 |
| CPU | 预编译包直接解压即用,或普通 cmake 编译 |
省略 -ngl 99,纯内存运行,2.42 GB 内存压力很小 |
🌐 启动 OpenAI 兼容 API 服务
想让 Open WebUI、Cherry Studio 等客户端接入?一条命令即可:
./bin/llama-server -m Ternary-Bonsai-2-9B-PQ2_0.gguf \
--mmproj Ternary-Bonsai-2-9B-mmproj-Q8_0.gguf -ngl 99 -fa on -c 32768 --port 8080
验证服务(本机调用):
curl http://localhost:8080/v1/chat/completions -H "Content-Type: application/json" \
-d '{"messages": [{"role": "user", "content": "你好,介绍一下你自己"}]}'
服务启动后即为标准 /v1/chat/completions 接口,支持文本 + 图像输入。
🎛 推荐采样参数与实用技巧
不同思考模式对应不同的采样参数(对所有打包格式通用):
| 模式 | temperature | top_p | top_k | min_p | presence_penalty |
|---|---|---|---|---|---|
| 思考模式(默认) | 1.0 | 0.95 | 20 | 0.0 | 1.0 |
| 非思考模式 | 0.7 | 0.80 | 20 | 0.0 | 1.5 |
以 llama-server 启动为例(presence_penalty 无法写入 GGUF 元数据,需命令行传入):
# 思考模式
./bin/llama-server -m Ternary-Bonsai-2-9B-PQ2_0.gguf -ngl 99 -fa on \
--temp 1.0 --top-p 0.95 --top-k 20 --min-p 0 --presence-penalty 1.0 --repeat-penalty 1.0 --repeat-last-n 64
实用技巧:
- ⚠️ 思考模式下避免贪心解码(
temperature=0),遇到某些提示词可能卡死在推理循环 - 思考模式即使是简单问题也可能消耗 3000+ 思考 token,输出长度至少给到 8192;要短回答就关闭思考模式(请求里带
"chat_template_kwargs": {"enable_thinking": false}) - mmproj 请选 Q8_0:当前分支下 BF16 版视觉塔在多个图像请求并发时可能导致 llama-server 崩溃,Q8_0 不受影响且精度几乎相同
- 简单系统提示
You are a helpful assistant即可,无需复杂设定
🚀 进阶:投机解码加速(可选)
仓库自带两个草稿模型,均可用 llama.cpp 的投机解码功能提速(需 PrismML 分支):
推荐 MTP(内置多 token 预测头,草稿深度 2 效果最佳):
./bin/llama-server -m Ternary-Bonsai-2-9B-PQ2_0-MTP-Q8_0.gguf -ngl 99 -fa on \
--spec-type draft-mtp --spec-draft-n-max 2 --spec-draft-n-min 0 --spec-draft-p-min 0
可选 DFlash2(块草稿器,代码编辑/改写类任务有益,普通聊天反而更慢):
./bin/llama-server -m Ternary-Bonsai-2-9B-PQ2_0.gguf -md Ternary-Bonsai-2-9B-DFlash2-Q8_0.gguf \
-ngl 99 -ngld 99 --spec-type draft-dflash
❓ 常见问题
| 问题 | 解决 |
|---|---|
| 加载 PQ2_0/PTQ1_0 报 unknown type | 你用的是上游 llama.cpp。换 PrismML 分支,或改用 Q2_0 文件 |
| CUDA + MTP 时 KV 量化报错 | 旧版 CUDA 构建请保持默认 F16 KV 缓存(或仅量化 K);新版本才支持 MTP 下全量 q8_0 KV |
| 图像请求时服务崩溃 | 把 --mmproj 从 BF16 换成 Q8_0 视觉塔 |
| 文件校验 | 对照 SHA256SUMS 逐项核对 |
📝 小结
Ternary-Bonsai-2-9B 证明了"三值权重 + llama.cpp"可以真正把 9B 级多模态模型塞进普通设备:2.42 GB 下载即用、262K 上下文、CUDA/Metal/CPU 通吃。按本文三步走——装 PrismML 版 llama.cpp → 下 PQ2_0 + mmproj Q8_0 → 跑一条 -ngl 99 命令——你的本地 LLM 就上线了。