一条命令跑起来 Qwen3.6-35B-A3B-GGUF:llama.cpp 本地部署快速上手教程
一条命令跑起来 Qwen3.6-35B-A3B-GGUF:llama.cpp 本地部署快速上手教程
Qwen3.6-35B-A3B-GGUF 是 llama.cpp 官方团队(ggml-org)转换的 GGUF 量化模型仓库,由 README.md 可知,只需执行一条 llama serve 命令即可在本地把它跑起来。本教程面向新手,带你在 5 分钟内完成 llama.cpp 本地部署:装好工具 → 一条命令拉取模型 → 打开网页开始对话,并附上量化版本对照表和硬件需求,帮你一次选对版本。
🚀 先认识一下 Qwen3.6-35B-A3B
在动手之前,花 30 秒了解这个模型,你会明白它为什么值得本地部署:
- 35B 总参数 + 3B 激活参数:典型的 MoE(专家混合)架构,每个 token 只激活约 3B 参数,推理速度接近小模型,能力却对标 35B 大模型;
- 混合注意力架构:轻量 SSM 层 + 全注意力层交替(可从转换日志 convert.log 中
ssm_conv1d、attn_qkv等权重命名确认),长上下文更省显存; - 多模态:支持图文输入(image-text-to-text),配合 mmproj 视觉投影文件即可看图对话;
- 官方 GGUF:由 llama.cpp 团队使用 convert.log 记录的官方流程自动转换,兼容性最好,
llama.cpp原生支持。
📦 仓库里有什么:10 个文件一张表看懂
本仓库共 10 个 GGUF 文件,按"用途"可分为 4 类:
主模型:三档量化,选一个就够
| 文件 | 大小 | 适用场景 |
|---|---|---|
| Qwen3.6-35B-A3B-Q4_K_M.gguf | ≈19 GiB | 16 GB 显存/内存起步,大多数用户首选 |
| Qwen3.6-35B-A3B-Q8_0.gguf | ≈34 GiB | 32~48 GB 显存/内存,追求更高精度 |
| Qwen3.6-35B-A3B-BF16.gguf | ≈64 GiB | 64 GB 以上大显存/统一内存,满血精度 |
💡 小贴士:Q4_K_M 是 llama.cpp 社区公认的"甜点档",体积只有 BF16 的 3 成,日常对话与写代码的质量损失极小,新手直接选它即可。
辅助文件:按需加载
| 文件 | 大小 | 用途 |
|---|---|---|
| mmproj-Qwen3.6-35B-A3B-Q8_0.gguf | ≈586 MiB | 视觉投影(Q8_0),开启图片理解 |
| mmproj-Qwen3.6-35B-A3B-BF16.gguf | ≈861 MiB | 视觉投影(BF16),精度优先 |
| mtp-Qwen3.6-35B-A3B-Q8_0.gguf | ≈1.86 GiB | Multi-Token Prediction 推测解码加速 |
| mtp-Qwen3.6-35B-A3B-BF16.gguf / mtp-Qwen3.6-35B-A3B-Q4_0.gguf | ≈3.48 / 0.99 GiB | 同上,不同量化档位 |
| dflash-Qwen3.6-35B-A3B-Q8_0.gguf | ≈401 MiB | DFlash 草稿模型,配合推测解码 |
| dflash-Qwen3.6-35B-A3B-BF16.gguf | ≈747 MiB | 同上(BF16) |
💻 一条命令完成本地部署:llama.cpp 快速上手
第一步:安装 llama.cpp(任选其一)
| 系统 | 安装命令 |
|---|---|
| Windows | winget install ggml.llama.cpp |
| macOS | brew install llama.cpp |
| Linux / 通用 | 按 llama.cpp 官方项目的一键 binstall 脚本执行 |
装完可用 llama-server --version 验证。
第二步:一条命令拉取模型并启动服务
llama serve -hf ggml-org/Qwen3.6-35B-A3B-GGUF
这条命令就是整个部署的核心,-hf 参数会:
- 自动选择 Q4_K_M 量化版本并联网下载(约 19 GiB,首次运行需等待);
- 自动把能放下的层卸载到 GPU;
- 启动本地推理服务和 Web 对话界面。
第三步:打开浏览器开始对话
服务启动后,浏览器访问 http://localhost:8080,输入一句话试试:
"用 50 字介绍一下你自己。"
看到回复,就代表 Qwen3.6-35B-A3B 已经成功在你本地跑起来了 🎉
可选调优:如果感觉推理偏慢,可在命令后追加 -ngl 99 强制所有层跑在 GPU 上:
llama serve -hf ggml-org/Qwen3.6-35B-A3B-GGUF -ngl 99
⚡ 进阶:用 mtp / dflash 让生成更快
仓库里的 mtp-* 和 dflash-* 文件是推测解码加速组件:原理是让一个小"草稿模型"先快速预测多个 token,再由主模型一次性校验,校验通过则直接采纳,从而显著提升输出速度、不损失质量。
手动指定模型文件时,可把 mtp 文件作为草稿模型传入(具体参数以你安装的 llama.cpp 版本为准):
llama-server -m Qwen3.6-35B-A3B-Q8_0.gguf --draft-model mtp-Qwen3.6-35B-A3B-Q8_0.gguf
内存紧张时,把 mtp 换成更小的 mtp-Q4_0 或 dflash-Q8_0 版本即可。
👁 附加能力:开启图片理解
主模型是多模态的,加载视觉投影文件后就能"看图"。手动运行时加上 --mmproj 参数指向 mmproj 文件:
llama-server -m Qwen3.6-35B-A3B-Q4_K_M.gguf --mmproj mmproj-Qwen3.6-35B-A3B-Q8_0.gguf
之后在对话界面上传图片即可让模型描述、分析内容。
❓ 新手常见问题 FAQ
Q1:llama serve -hf 下载速度太慢怎么办?
可以用镜像仓库手动拉取全部文件(需安装 git-lfs,会自动还原真实模型文件):
git clone https://gitcode.com/hf_mirrors/ggml-org/Qwen3.6-35B-A3B-GGUF
Q2:内存/显存不够,报 OOM 或启动失败? 直接降一档量化:BF16 → Q8_0 → Q4_K_M。Q4_K_M 约 19 GiB,16 GB 显存的显卡(如 RTX 3090/4090)通常可以流畅运行。
Q3:没有独立显卡,纯 CPU 能跑吗?
可以。得益于 3B 激活参数的 MoE 设计,纯 CPU 推理(尤其 llama.cpp 的 CPU 优化路径)下仍有可用的交互速度,适合先低成本体验。
Q4:8080 端口被占用? 加参数换端口即可:
llama serve -hf ggml-org/Qwen3.6-35B-A3B-GGUF --port 8081
Q5:除了命令行,还有别的运行方式吗? 有的。官方 Llama 桌面/移动应用(llama.app)支持直接选择本仓库模型,一键启动,适合不想碰终端的用户。
写在最后
回顾一下本次 llama.cpp 本地部署的完整路径:
- 按系统安装 llama.cpp;
- 执行
llama serve -hf ggml-org/Qwen3.6-35B-A3B-GGUF; - 浏览器打开
http://localhost:8080开聊; - 按需加载 mmproj(看图)或 mtp/dflash(提速)。
从安装到对话,核心操作就一条命令。数据不出本机、无需 API Key、按硬件选量化版本——这就是 Qwen3.6-35B-A3B-GGUF 本地部署的全部要点,现在就可以动手跑起来。