如何快速跑通Qwen3.6-35B-A3B-Quark-INT4-G32-GGUF:llama.cpp本地推理5分钟上手教程

原创2026-10-18 22:57:531,897 阅读
文章标签:人工智能大模型模型量化本地部署Qwen

如何快速跑通Qwen3.6-35B-A3B-Quark-INT4-G32-GGUF:llama.cpp本地推理5分钟上手教程

本文带你用 llama.cpp 在本地 5 分钟跑通 Qwen3.6-35B-A3B-Quark-INT4-G32-GGUF——这是 Qwen3.6-35B-A3B 大模型经 Quark INT4(group_size=32)RTN 量化后导出的 GGUF Q4_0 格式模型。相比 71 GB 的 F16 原版,它体积压缩到约 21 GB(约 30%),困惑度仅上升 2.7%,属于"几乎无损"的量化版本,非常适合在消费级 GPU 或 AMD ROCm(如 Strix Halo)平台上做本地推理。

🧭 30秒看懂:这个GGUF量化模型有什么亮点

项目 说明
基础模型 Qwen/Qwen3.6-35B-A3B(MoE 架构,激活参数约 3B)
量化工具 Quark RTN(GPU / ROCm Strix Halo)
量化方案 int4_wo_32:对称 INT4,group_size=32
GGUF 格式 Q4_0
模型体积 约 21 GB(F16 原版约 71 GB)
推理引擎 llama.cpp

💡 命名解读:INT4-G32 指 4bit 量化、量化组大小为 32;GGUF 是 llama.cpp 使用的模型文件格式。

为什么选 Q4_0?量化精度与体积对比

很多新手担心"量化=掉精度"。这个仓库用 llama.cpp 的 llama-perplexity 在 wikitext-2 测试集(n_ctx=512,20 chunks)上做了严格对照,数据非常有说服力:

格式 PPL(越低越好) 相对 F16 的损失 体积
F16 浮点(基线) 6.61 ±0.23 — 71 GB
Q4_1(UINT4 仿射) 6.73 ±0.24 +1.8% ~21 GB
Q4_0(INT4 对称) 6.79 ±0.24 +2.7% ~21 GB

也就是说:体积压缩到约 1/3,精度只损失 2.7%。

在 Open LLM Leaderboard v2 的六项任务上,该 GGUF 的表现也紧贴 BF16 基线,例如:

任务 指标 BF16 基线 本 GGUF(llama.cpp)
IFEval prompt_level_strict 0.3235 0.3752
MATH-hard exact_match 0.5287 0.5234
BBH acc_norm 0.6546 0.6506
MMLU-Pro acc 0.5968 0.5825

⚠️ 一个值得知道的避坑点:在修复 linear_attn 的 V-head 重排问题之前,Q4_0 的 PPL 高达 2,619,116;修复后才降到 6.79。这说明量化导出链路的细节(尤其是 MoE + 注意力层的张量布局)对结果影响巨大,而本仓库已完成该修复,可以放心使用。

环境准备:硬件与 llama.cpp 快速构建

硬件要求清单

  • 显存/统一内存:模型约 21 GB,加上上下文开销,建议 24 GB 以上 VRAM 或等量 UMA 统一内存(AMD Strix Halo 平台已在量化环境验证)
  • CPU/GPU:x86 / Apple Silicon / AMD ROCm 均可运行 llama.cpp;ROCm 下需构建时启用 LLAMA_BUILD_ROCM=ON
  • 磁盘:预留约 25 GB 存放模型文件

构建 llama.cpp(最快配置方法)

git clone https://github.com/ggml-org/llama.cpp.git
cd llama.cpp
cmake -B build -DGGML_CUDA=OFF          # 有 NVIDIA 可改为 -DGGML_CUDA=ON
cmake --build build --config Release -j

5分钟上手:llama.cpp本地推理四步走

第一步:获取模型仓库

git clone https://gitcode.com/hf_mirrors/amd/Qwen3.6-35B-A3B-Quark-INT4-G32-GGUF

仓库说明与评测数据见 README.md。模型文件默认导出目录为 gguf-q4_0/(量化脚本中分片上限为 8G,若为多分片文件,加载时只需指定第一个分片即可)。

第二步:启动 llama-server 本地服务

./bin/llama-server \
  -m gguf-q4_0/qwen36-35b-a3b-int4-q4_0-00001-of-0000X.gguf \
  -c 4096 \
  --port 8080
  • -c 4096:上下文长度,显存紧张时可降到 2048
  • 服务启动后即提供 OpenAI 兼容 API(/v1/completions 等)

第三步:发一条请求验证

curl http://localhost:8080/v1/completions \
  -H "Content-Type: application/json" \
  -d '{"prompt": "用一句话介绍你自己", "max_tokens": 64}'

收到正常文本回复,即代表本地推理链路已跑通 ✅。

第四步:(可选)进入交互式聊天

./bin/llama-cli -m gguf-q4_0/qwen36-35b-a3b-int4-q4_0-00001-of-0000X.gguf

在终端里直接与模型对话,适合快速体验。

进阶玩法:复现量化导出与基准评测

如果你有量化环境(PyTorch + ROCm/CUDA + Quark 工具链),可以用仓库自带的量化脚本复现整条 int4_wo_32 → Q4_0 导出链路:

python scripts/quantize_q4_0.py

常用环境变量:BASE_MODEL(基座模型路径)、QUANT_OUT(Quark 中间检查点)、GGUF_OUT(GGUF 输出目录)、QUARK_SRC(Quark 源码路径)、LLAMA_CPP_DIR、DEVICE、MULTI_GPU=1(多卡分摊);加 --skip-gguf-export 可只产出 Quark 检查点。脚本核心逻辑可参考 scripts/quantize_q4_0.py。

评测方面:

  • 困惑度:llama-perplexity -m 模型.gguf -f wikitext-2-test.txt -c 512
  • 选择题类任务(BBH/GPQA/MMLU-Pro/MuSR):需要带 prompt logprobs 补丁的 llama-server(分支 hongweimeng/gguf-prompt-logprobs),配合 lm-eval 的 gguf 后端才能直接对 GGUF 打分,详见 README.md

❓ 常见问题与排查(FAQ)

Q1:显存不够(OOM)怎么办? 降低 -c 上下文长度、减少 GPU 层数(-ngl),或使用多分片 + 多卡加载;MoE 模型激活参数只有 3B,CPU+GPU 混合卸载(partial offload)通常也能流畅运行。

Q2:为什么选择题评测跑不通? 原生 llama-server 只返回模型生成 token 的 logprob,不返回 prompt token 的 logprob,因此多选题任务必须使用打了 prompt-logprobs 补丁的 llama-server 版本。

Q3:Q4_0 和 Q4_1 差别大吗? 从本仓库数据看,PPL 仅差约 0.06(6.79 vs 6.73),体积相同,Q4_0 对 llama.cpp 生态兼容性更好。

📚 参考资料

登录后查看全文
Qwen3.6-35B-A3B-Quark-INT4-G32-GGUF