一条命令跑起来 Qwen3.6-35B-A3B-GGUF:llama.cpp 本地部署快速上手教程

原创2026-11-08 11:52:561,891 阅读
文章标签:大模型模型量化本地部署多模态人工智能

一条命令跑起来 Qwen3.6-35B-A3B-GGUF:llama.cpp 本地部署快速上手教程

Qwen3.6-35B-A3B-GGUF 是 llama.cpp 官方团队(ggml-org)转换的 GGUF 量化模型仓库,由 README.md 可知,只需执行一条 llama serve 命令即可在本地把它跑起来。本教程面向新手,带你在 5 分钟内完成 llama.cpp 本地部署:装好工具 → 一条命令拉取模型 → 打开网页开始对话,并附上量化版本对照表和硬件需求,帮你一次选对版本。

🚀 先认识一下 Qwen3.6-35B-A3B

在动手之前,花 30 秒了解这个模型,你会明白它为什么值得本地部署:

  • 35B 总参数 + 3B 激活参数:典型的 MoE(专家混合)架构,每个 token 只激活约 3B 参数,推理速度接近小模型,能力却对标 35B 大模型;
  • 混合注意力架构:轻量 SSM 层 + 全注意力层交替(可从转换日志 convert.log 中 ssm_conv1d、attn_qkv 等权重命名确认),长上下文更省显存;
  • 多模态:支持图文输入(image-text-to-text),配合 mmproj 视觉投影文件即可看图对话;
  • 官方 GGUF:由 llama.cpp 团队使用 convert.log 记录的官方流程自动转换,兼容性最好,llama.cpp 原生支持。

📦 仓库里有什么:10 个文件一张表看懂

本仓库共 10 个 GGUF 文件,按"用途"可分为 4 类:

主模型:三档量化,选一个就够

文件 大小 适用场景
Qwen3.6-35B-A3B-Q4_K_M.gguf ≈19 GiB 16 GB 显存/内存起步,大多数用户首选
Qwen3.6-35B-A3B-Q8_0.gguf ≈34 GiB 32~48 GB 显存/内存,追求更高精度
Qwen3.6-35B-A3B-BF16.gguf ≈64 GiB 64 GB 以上大显存/统一内存,满血精度

💡 小贴士:Q4_K_M 是 llama.cpp 社区公认的"甜点档",体积只有 BF16 的 3 成,日常对话与写代码的质量损失极小,新手直接选它即可。

辅助文件:按需加载

文件 大小 用途
mmproj-Qwen3.6-35B-A3B-Q8_0.gguf ≈586 MiB 视觉投影(Q8_0),开启图片理解
mmproj-Qwen3.6-35B-A3B-BF16.gguf ≈861 MiB 视觉投影(BF16),精度优先
mtp-Qwen3.6-35B-A3B-Q8_0.gguf ≈1.86 GiB Multi-Token Prediction 推测解码加速
mtp-Qwen3.6-35B-A3B-BF16.gguf / mtp-Qwen3.6-35B-A3B-Q4_0.gguf ≈3.48 / 0.99 GiB 同上,不同量化档位
dflash-Qwen3.6-35B-A3B-Q8_0.gguf ≈401 MiB DFlash 草稿模型,配合推测解码
dflash-Qwen3.6-35B-A3B-BF16.gguf ≈747 MiB 同上(BF16)

💻 一条命令完成本地部署:llama.cpp 快速上手

第一步:安装 llama.cpp(任选其一)

系统 安装命令
Windows winget install ggml.llama.cpp
macOS brew install llama.cpp
Linux / 通用 按 llama.cpp 官方项目的一键 binstall 脚本执行

装完可用 llama-server --version 验证。

第二步:一条命令拉取模型并启动服务

llama serve -hf ggml-org/Qwen3.6-35B-A3B-GGUF

这条命令就是整个部署的核心,-hf 参数会:

  1. 自动选择 Q4_K_M 量化版本并联网下载(约 19 GiB,首次运行需等待);
  2. 自动把能放下的层卸载到 GPU;
  3. 启动本地推理服务和 Web 对话界面。

第三步:打开浏览器开始对话

服务启动后,浏览器访问 http://localhost:8080,输入一句话试试:

"用 50 字介绍一下你自己。"

看到回复,就代表 Qwen3.6-35B-A3B 已经成功在你本地跑起来了 🎉

可选调优:如果感觉推理偏慢,可在命令后追加 -ngl 99 强制所有层跑在 GPU 上:

llama serve -hf ggml-org/Qwen3.6-35B-A3B-GGUF -ngl 99

⚡ 进阶:用 mtp / dflash 让生成更快

仓库里的 mtp-* 和 dflash-* 文件是推测解码加速组件:原理是让一个小"草稿模型"先快速预测多个 token,再由主模型一次性校验,校验通过则直接采纳,从而显著提升输出速度、不损失质量。

手动指定模型文件时,可把 mtp 文件作为草稿模型传入(具体参数以你安装的 llama.cpp 版本为准):

llama-server -m Qwen3.6-35B-A3B-Q8_0.gguf --draft-model mtp-Qwen3.6-35B-A3B-Q8_0.gguf

内存紧张时,把 mtp 换成更小的 mtp-Q4_0 或 dflash-Q8_0 版本即可。

👁 附加能力:开启图片理解

主模型是多模态的,加载视觉投影文件后就能"看图"。手动运行时加上 --mmproj 参数指向 mmproj 文件:

llama-server -m Qwen3.6-35B-A3B-Q4_K_M.gguf --mmproj mmproj-Qwen3.6-35B-A3B-Q8_0.gguf

之后在对话界面上传图片即可让模型描述、分析内容。

❓ 新手常见问题 FAQ

Q1:llama serve -hf 下载速度太慢怎么办? 可以用镜像仓库手动拉取全部文件(需安装 git-lfs,会自动还原真实模型文件):

git clone https://gitcode.com/hf_mirrors/ggml-org/Qwen3.6-35B-A3B-GGUF

Q2:内存/显存不够,报 OOM 或启动失败? 直接降一档量化:BF16 → Q8_0 → Q4_K_M。Q4_K_M 约 19 GiB,16 GB 显存的显卡(如 RTX 3090/4090)通常可以流畅运行。

Q3:没有独立显卡,纯 CPU 能跑吗? 可以。得益于 3B 激活参数的 MoE 设计,纯 CPU 推理(尤其 llama.cpp 的 CPU 优化路径)下仍有可用的交互速度,适合先低成本体验。

Q4:8080 端口被占用? 加参数换端口即可:

llama serve -hf ggml-org/Qwen3.6-35B-A3B-GGUF --port 8081

Q5:除了命令行,还有别的运行方式吗? 有的。官方 Llama 桌面/移动应用(llama.app)支持直接选择本仓库模型,一键启动,适合不想碰终端的用户。

写在最后

回顾一下本次 llama.cpp 本地部署的完整路径:

  1. 按系统安装 llama.cpp;
  2. 执行 llama serve -hf ggml-org/Qwen3.6-35B-A3B-GGUF;
  3. 浏览器打开 http://localhost:8080 开聊;
  4. 按需加载 mmproj(看图)或 mtp/dflash(提速)。

从安装到对话,核心操作就一条命令。数据不出本机、无需 API Key、按硬件选量化版本——这就是 Qwen3.6-35B-A3B-GGUF 本地部署的全部要点,现在就可以动手跑起来。

登录后查看全文
Qwen3.6-35B-A3B-GGUF