如何快速跑通Qwen3.6-35B-A3B-Quark-INT4-G32-GGUF:llama.cpp本地推理5分钟上手教程
如何快速跑通Qwen3.6-35B-A3B-Quark-INT4-G32-GGUF:llama.cpp本地推理5分钟上手教程
本文带你用 llama.cpp 在本地 5 分钟跑通 Qwen3.6-35B-A3B-Quark-INT4-G32-GGUF——这是 Qwen3.6-35B-A3B 大模型经 Quark INT4(group_size=32)RTN 量化后导出的 GGUF Q4_0 格式模型。相比 71 GB 的 F16 原版,它体积压缩到约 21 GB(约 30%),困惑度仅上升 2.7%,属于"几乎无损"的量化版本,非常适合在消费级 GPU 或 AMD ROCm(如 Strix Halo)平台上做本地推理。
🧭 30秒看懂:这个GGUF量化模型有什么亮点
| 项目 | 说明 |
|---|---|
| 基础模型 | Qwen/Qwen3.6-35B-A3B(MoE 架构,激活参数约 3B) |
| 量化工具 | Quark RTN(GPU / ROCm Strix Halo) |
| 量化方案 | int4_wo_32:对称 INT4,group_size=32 |
| GGUF 格式 | Q4_0 |
| 模型体积 | 约 21 GB(F16 原版约 71 GB) |
| 推理引擎 | llama.cpp |
💡 命名解读:
INT4-G32指 4bit 量化、量化组大小为 32;GGUF是 llama.cpp 使用的模型文件格式。
为什么选 Q4_0?量化精度与体积对比
很多新手担心"量化=掉精度"。这个仓库用 llama.cpp 的 llama-perplexity 在 wikitext-2 测试集(n_ctx=512,20 chunks)上做了严格对照,数据非常有说服力:
| 格式 | PPL(越低越好) | 相对 F16 的损失 | 体积 |
|---|---|---|---|
| F16 浮点(基线) | 6.61 ±0.23 | — | 71 GB |
| Q4_1(UINT4 仿射) | 6.73 ±0.24 | +1.8% | ~21 GB |
| Q4_0(INT4 对称) | 6.79 ±0.24 | +2.7% | ~21 GB |
也就是说:体积压缩到约 1/3,精度只损失 2.7%。
在 Open LLM Leaderboard v2 的六项任务上,该 GGUF 的表现也紧贴 BF16 基线,例如:
| 任务 | 指标 | BF16 基线 | 本 GGUF(llama.cpp) |
|---|---|---|---|
| IFEval | prompt_level_strict | 0.3235 | 0.3752 |
| MATH-hard | exact_match | 0.5287 | 0.5234 |
| BBH | acc_norm | 0.6546 | 0.6506 |
| MMLU-Pro | acc | 0.5968 | 0.5825 |
⚠️ 一个值得知道的避坑点:在修复 linear_attn 的 V-head 重排问题之前,Q4_0 的 PPL 高达 2,619,116;修复后才降到 6.79。这说明量化导出链路的细节(尤其是 MoE + 注意力层的张量布局)对结果影响巨大,而本仓库已完成该修复,可以放心使用。
环境准备:硬件与 llama.cpp 快速构建
硬件要求清单
- 显存/统一内存:模型约 21 GB,加上上下文开销,建议 24 GB 以上 VRAM 或等量 UMA 统一内存(AMD Strix Halo 平台已在量化环境验证)
- CPU/GPU:x86 / Apple Silicon / AMD ROCm 均可运行 llama.cpp;ROCm 下需构建时启用
LLAMA_BUILD_ROCM=ON - 磁盘:预留约 25 GB 存放模型文件
构建 llama.cpp(最快配置方法)
git clone https://github.com/ggml-org/llama.cpp.git
cd llama.cpp
cmake -B build -DGGML_CUDA=OFF # 有 NVIDIA 可改为 -DGGML_CUDA=ON
cmake --build build --config Release -j
5分钟上手:llama.cpp本地推理四步走
第一步:获取模型仓库
git clone https://gitcode.com/hf_mirrors/amd/Qwen3.6-35B-A3B-Quark-INT4-G32-GGUF
仓库说明与评测数据见 README.md。模型文件默认导出目录为 gguf-q4_0/(量化脚本中分片上限为 8G,若为多分片文件,加载时只需指定第一个分片即可)。
第二步:启动 llama-server 本地服务
./bin/llama-server \
-m gguf-q4_0/qwen36-35b-a3b-int4-q4_0-00001-of-0000X.gguf \
-c 4096 \
--port 8080
-c 4096:上下文长度,显存紧张时可降到2048- 服务启动后即提供 OpenAI 兼容 API(
/v1/completions等)
第三步:发一条请求验证
curl http://localhost:8080/v1/completions \
-H "Content-Type: application/json" \
-d '{"prompt": "用一句话介绍你自己", "max_tokens": 64}'
收到正常文本回复,即代表本地推理链路已跑通 ✅。
第四步:(可选)进入交互式聊天
./bin/llama-cli -m gguf-q4_0/qwen36-35b-a3b-int4-q4_0-00001-of-0000X.gguf
在终端里直接与模型对话,适合快速体验。
进阶玩法:复现量化导出与基准评测
如果你有量化环境(PyTorch + ROCm/CUDA + Quark 工具链),可以用仓库自带的量化脚本复现整条 int4_wo_32 → Q4_0 导出链路:
python scripts/quantize_q4_0.py
常用环境变量:BASE_MODEL(基座模型路径)、QUANT_OUT(Quark 中间检查点)、GGUF_OUT(GGUF 输出目录)、QUARK_SRC(Quark 源码路径)、LLAMA_CPP_DIR、DEVICE、MULTI_GPU=1(多卡分摊);加 --skip-gguf-export 可只产出 Quark 检查点。脚本核心逻辑可参考 scripts/quantize_q4_0.py。
评测方面:
- 困惑度:
llama-perplexity -m 模型.gguf -f wikitext-2-test.txt -c 512 - 选择题类任务(BBH/GPQA/MMLU-Pro/MuSR):需要带 prompt logprobs 补丁的 llama-server(分支
hongweimeng/gguf-prompt-logprobs),配合 lm-eval 的gguf后端才能直接对 GGUF 打分,详见 README.md
❓ 常见问题与排查(FAQ)
Q1:显存不够(OOM)怎么办?
降低 -c 上下文长度、减少 GPU 层数(-ngl),或使用多分片 + 多卡加载;MoE 模型激活参数只有 3B,CPU+GPU 混合卸载(partial offload)通常也能流畅运行。
Q2:为什么选择题评测跑不通? 原生 llama-server 只返回模型生成 token 的 logprob,不返回 prompt token 的 logprob,因此多选题任务必须使用打了 prompt-logprobs 补丁的 llama-server 版本。
Q3:Q4_0 和 Q4_1 差别大吗? 从本仓库数据看,PPL 仅差约 0.06(6.79 vs 6.73),体积相同,Q4_0 对 llama.cpp 生态兼容性更好。
📚 参考资料
- 量化方案、PPL 与 Leaderboard 评测明细:README.md
- 量化导出脚本(环境变量与默认路径):scripts/quantize_q4_0.py