本地LLM快速上手:用llama.cpp 5分钟跑通Ternary-Bonsai-2-9B(附CUDA/Metal/CPU三平台命令)

原创2026-10-20 19:47:421,619 阅读
文章标签:大模型基础模型多模态模型量化本地部署计算机视觉

本地LLM快速上手:用llama.cpp 5分钟跑通Ternary-Bonsai-2-9B(附CUDA/Metal/CPU三平台命令)

Ternary-Bonsai-2-9B 是 Prism ML 发布的 9B 级本地 LLM 视觉语言模型:用三值(ternary)权重压缩技术,把 FP16 下约 17.9 GB 的模型压到仅约 2.42 GB,通过 llama.cpp 就能在 CUDA、Metal、CPU 三平台本地跑起来,支持文本对话和图像理解,5 分钟即可完成第一次本地推理。

📌 为什么这个模型值得本地跑

  • 三值权重:语言模型的 embedding、注意力投影、MLP 投影和 LM head 全部采用 {−1, 0, +1} 三值权重 + FP16 分组缩放,显存/内存占用极低
  • 2.42 GB 即可运行:约 8.95B 语言模型 + 0.46B 视觉塔,普通消费级显卡也能全层卸载到 GPU
  • 262K 超长上下文:继承自 Qwen3.5-9B 混合注意力骨架(24 层线性注意力 + 8 层全注意力)
  • 原生视觉输入:搭配独立的 mmproj 视觉塔即可理解图片
  • Apache 2.0 协议:可自由商用与再分发
项目 规格
基础模型 Qwen3.5-9B(架构不变)
权重格式 三值 {−1, 0, +1} + FP16 分组缩放
上下文长度 262,144 tokens
运行后端 llama.cpp(CUDA / Metal / CPU),基于 PrismML 分支
协议 Apache 2.0

🗂 模型文件选择指南

仓库中共有 7 个 GGUF 文件,日常使用只需 2 个:

文件 作用 大小
Ternary-Bonsai-2-9B-PQ2_0.gguf 语言模型(默认推荐) 2.42 GB
Ternary-Bonsai-2-9B-mmproj-Q8_0.gguf 视觉塔(图像输入必配) 0.62 GB
Ternary-Bonsai-2-9B-PTQ1_0.gguf 语言模型(文件最小,内存紧张时用) 2.00 GB
Ternary-Bonsai-2-9B-Q2_0.gguf 语言模型(唯一可用上游 llama.cpp 运行的格式) 2.56 GB
Ternary-Bonsai-2-9B-PQ2_0-MTP-Q8_0.gguf PQ2_0 + MTP 投机解码头(二选一加载,勿叠加) 2.68 GB
Ternary-Bonsai-2-9B-DFlash2-Q8_0.gguf DFlash2 块草稿模型(可选,代码改写类任务有益) 1.57 GB
Ternary-Bonsai-2-9B-mmproj-BF16.gguf 视觉塔高精度参考版(一般无需使用) 0.92 GB

💡 三种语言模型打包(PTQ1_0 / PQ2_0 / Q2_0)装的是同一份三值权重,差别只在存储布局与内核速度。日常直接用 PQ2_0 即可。

⚡ 5 分钟快速上手

第 1 步:获取 PrismML 版 llama.cpp

三值内核(PQ2_0、PTQ1_0)位于 PrismML-Eng/llama.cpp 项目(prism 分支)。上游 llama.cpp 只认识 Q2_0,会直接拒绝 PQ2_0/PTQ1_0 并报"unknown type"。

方式一(推荐):下载预编译包

去 PrismML-Eng/llama.cpp 项目的 Releases 页面,选择与系统对应的压缩包解压:

tar -xzf llama-<tag>-bin-<platform>.tar.gz -C bin --strip-components=1

方式二:源码编译(拿到项目 prism 分支源码后执行):

# CUDA(NVIDIA 显卡)
cmake -B build -DGGML_CUDA=ON && cmake --build build -j

# macOS(Metal)/ CPU:去掉 -DGGML_CUDA=ON 即可,Metal 是默认后端

第 2 步:下载模型文件

从模型仓库拉取文件(默认只拿语言模型 + 视觉塔两个文件):

git clone https://gitcode.com/hf_mirrors/prism-ml/Ternary-Bonsai-2-9B-gguf
cd Ternary-Bonsai-2-9B-gguf

建议用 SHA256SUMS 校验文件完整性,避免下载损坏。

第 3 步:运行第一次文本对话

./bin/llama-cli -m Ternary-Bonsai-2-9B-PQ2_0.gguf -ngl 99 -fa on \
  -p "用三句话解释为什么天空是蓝色的。"

参数说明:

  • -ngl 99:把所有层卸载到 GPU(CPU 运行请省略该参数)
  • -fa on:开启 Flash Attention,长上下文更快更省内存
  • -p:单轮提示,回车即运行

第 4 步:图像 + 文本多模态输入

./bin/llama-mtmd-cli -m Ternary-Bonsai-2-9B-PQ2_0.gguf \
  --mmproj Ternary-Bonsai-2-9B-mmproj-Q8_0.gguf -ngl 99 \
  --image photo.jpg -p "描述这张图片"

视觉塔是独立加载的,只有传入图片时才会生效。图片中有小字/密集文字时,加上 --image-min-tokens 1024 可提高识别效果。

🖥 CUDA / Metal / CPU 三平台命令速查

平台 获取/编译方式 运行要点
CUDA(NVIDIA) 预编译包,或 cmake -B build -DGGML_CUDA=ON && cmake --build build -j 命令加 -ngl 99 全量 GPU 卸载
Metal(macOS / Apple Silicon) 预编译包,或源码编译(Metal 为默认后端,无需额外参数) 命令加 -ngl 99;也可选择 MLX 版本获得原生性能
CPU 预编译包直接解压即用,或普通 cmake 编译 省略 -ngl 99,纯内存运行,2.42 GB 内存压力很小

🌐 启动 OpenAI 兼容 API 服务

想让 Open WebUI、Cherry Studio 等客户端接入?一条命令即可:

./bin/llama-server -m Ternary-Bonsai-2-9B-PQ2_0.gguf \
  --mmproj Ternary-Bonsai-2-9B-mmproj-Q8_0.gguf -ngl 99 -fa on -c 32768 --port 8080

验证服务(本机调用):

curl http://localhost:8080/v1/chat/completions -H "Content-Type: application/json" \
  -d '{"messages": [{"role": "user", "content": "你好,介绍一下你自己"}]}'

服务启动后即为标准 /v1/chat/completions 接口,支持文本 + 图像输入。

🎛 推荐采样参数与实用技巧

不同思考模式对应不同的采样参数(对所有打包格式通用):

模式 temperature top_p top_k min_p presence_penalty
思考模式(默认) 1.0 0.95 20 0.0 1.0
非思考模式 0.7 0.80 20 0.0 1.5

以 llama-server 启动为例(presence_penalty 无法写入 GGUF 元数据,需命令行传入):

# 思考模式
./bin/llama-server -m Ternary-Bonsai-2-9B-PQ2_0.gguf -ngl 99 -fa on \
  --temp 1.0 --top-p 0.95 --top-k 20 --min-p 0 --presence-penalty 1.0 --repeat-penalty 1.0 --repeat-last-n 64

实用技巧:

  • ⚠️ 思考模式下避免贪心解码(temperature=0),遇到某些提示词可能卡死在推理循环
  • 思考模式即使是简单问题也可能消耗 3000+ 思考 token,输出长度至少给到 8192;要短回答就关闭思考模式(请求里带 "chat_template_kwargs": {"enable_thinking": false})
  • mmproj 请选 Q8_0:当前分支下 BF16 版视觉塔在多个图像请求并发时可能导致 llama-server 崩溃,Q8_0 不受影响且精度几乎相同
  • 简单系统提示 You are a helpful assistant 即可,无需复杂设定

🚀 进阶:投机解码加速(可选)

仓库自带两个草稿模型,均可用 llama.cpp 的投机解码功能提速(需 PrismML 分支):

推荐 MTP(内置多 token 预测头,草稿深度 2 效果最佳):

./bin/llama-server -m Ternary-Bonsai-2-9B-PQ2_0-MTP-Q8_0.gguf -ngl 99 -fa on \
  --spec-type draft-mtp --spec-draft-n-max 2 --spec-draft-n-min 0 --spec-draft-p-min 0

可选 DFlash2(块草稿器,代码编辑/改写类任务有益,普通聊天反而更慢):

./bin/llama-server -m Ternary-Bonsai-2-9B-PQ2_0.gguf -md Ternary-Bonsai-2-9B-DFlash2-Q8_0.gguf \
  -ngl 99 -ngld 99 --spec-type draft-dflash

更多细节见 USAGE.md 与 README.md。

❓ 常见问题

问题 解决
加载 PQ2_0/PTQ1_0 报 unknown type 你用的是上游 llama.cpp。换 PrismML 分支,或改用 Q2_0 文件
CUDA + MTP 时 KV 量化报错 旧版 CUDA 构建请保持默认 F16 KV 缓存(或仅量化 K);新版本才支持 MTP 下全量 q8_0 KV
图像请求时服务崩溃 把 --mmproj 从 BF16 换成 Q8_0 视觉塔
文件校验 对照 SHA256SUMS 逐项核对

📝 小结

Ternary-Bonsai-2-9B 证明了"三值权重 + llama.cpp"可以真正把 9B 级多模态模型塞进普通设备:2.42 GB 下载即用、262K 上下文、CUDA/Metal/CPU 通吃。按本文三步走——装 PrismML 版 llama.cpp → 下 PQ2_0 + mmproj Q8_0 → 跑一条 -ngl 99 命令——你的本地 LLM 就上线了。

登录后查看全文
Ternary-Bonsai-2-9B-gguf