为什么22GB就能跑35B大模型?qwen36-35b-a3b-colibri-i4-gs64 MoE本地推理完全初探
为什么22GB就能跑35B大模型?qwen36-35b-a3b-colibri-i4-gs64 MoE本地推理完全初探
qwen36-35b-a3b-colibri-i4-gs64 是一个把 Qwen3.6-35B-A3B 大模型压缩到约 22GB 的 int4 量化模型包,让 MoE 大模型的本地推理在普通硬件上成为可能。它基于 colibri 引擎打包,自带词表、扁平配置和分组量化元数据,下载即可跑,是新手体验 35B 级模型的低门槛入口。
🤔 35B 模型,为什么 22GB 就能装下?
直觉上,35B(350 亿)参数如果按常见的 bfloat16(每参数 16 位)存储,需要 70GB 左右显存/内存。这个仓库用了三招把体积压到约 22GB:
1️⃣ MoE 架构:35B 总参数,每次只激活 3B
Qwen3.6-35B-A3B 中的 "A3B" 就是答案:这是一个 MoE(Mixture of Experts,混合专家) 模型。从 config.json 可以看到:
| 参数 | 值 | 含义 |
|---|---|---|
num_experts |
256 | 每层有 256 个专家 |
num_experts_per_tok |
8 | 每个 token 只激活 8 个专家 |
num_hidden_layers |
40 | 共 40 层 |
也就是说,256 个专家中任意时刻只有 8 个参与计算(外加共享专家),35B 总参数里实际只有约 3B 参数是"干活"的。这带来两个好处:计算量小,以及权重以内存带宽为主的场景(CPU 推理)下,int4 压缩收益巨大。
2️⃣ int4 分组量化:gs64 的精髓
这个容器(container)对专家层采用 group-scaled int4:每 64 个输入元素共享一个 f32 缩放系数(expert_gs=64,见 qwen36_meta.json)。
- 4 bit/参数 ≈ 把权重体积直接砍到原来的 1/4;
- 相比"每行一个缩放"(per-row)的朴素做法,64 元素一组的缩放粒度更细,量化误差更小——代价只是体积从约 20GB 增至约 22GB(约 +10%),解码速度不变(见 README.md)。
配合非专家部分的存储与词表(vocab_size 约 24.8 万,见 config.json),总体积落在 22GB 左右。
3️⃣ 为 CPU 推理而生的 colibri 引擎
模型按 colibri 的"容器"格式分片存放:40 个 model-000XX.safetensors(每层一片,如 model-00000.safetensors)、全局片 model-globals.safetensors,外加扁平的 config.json 和词表 tokenizer.json。引擎启动时读取 expert_gs 自动选择分组缩放的 GEMV 计算路径,无需额外参数。
另外值得一提的是,它还是 混合注意力 结构:40 层中每 4 层有 1 层 full attention、3 层 linear attention(见 config.json 的 layer_types),KV 缓存开销大幅降低,因此能支撑 262144(256K)超长上下文。
📊 关键参数速览
| 项目 | 数值 | 说明 |
|---|---|---|
| 模型体积 | ~22 GB | int4 + gs64 分组缩放 |
| 总参数 | 35B | MoE,256 专家/层 |
| 每 token 激活 | ~3B | top-k = 8 |
| 层数 | 40 | 30 linear + 10 full attention |
| 隐藏维度 | 2048 | hidden_size |
| 最大上下文 | 262144 | 256K tokens |
| 词表 | 248320 | 自带 tokenizer.json |
| 许可证 | Apache-2.0 | 基于 config.hf.json |
📁 仓库文件结构一览
| 文件 | 作用 |
|---|---|
| README.md | 模型说明、精度数据与运行方式 |
| config.json | 引擎用的扁平配置(专家数、注意力结构等) |
| config.hf.json | Hugging Face 标准配置(含视觉模块 vision_config) |
| qwen36_meta.json | colibri 量化元数据,expert_gs、ebits: 4 等关键参数在此 |
model-00000 ~ model-00039.safetensors |
40 层权重分片(int4 量化后的 .qs 数组) |
| model-globals.safetensors | 全局权重(嵌入层、最终投影等) |
| tokenizer.json | 内置词表,无需额外下载 |
🎯 精度实测:gs64 比 per-row 强多少?
作者在受控 A/B 实验(同一底座模型 + 同一引擎,对比 int8 锚点)中给出结果(摘自 README.md):
| 指标(4 条推理 prompt 平均) | per-row int4 | gs64 int4(本仓库) |
|---|---|---|
| logit 余弦相似度 | 0.98777 | 0.99313 |
| KL 散度 | 0.1091 | 0.0795 |
第一 token 的 logit 误差相比 per-row 版本降低约 44%。在 512 token 的贪心解码中,两个版本都没有出现退化循环——分组缩放带来的纯粹是质量提升,而不是修复跑飞生成的补丁。
🚀 最快上手:跑通本地推理
完整步骤见 README.md,核心流程如下(CPU 即可运行,GPU 可选):
# 1. 获取 colibri 引擎(gs64-ab 分支,含分组缩放专家路径 matmul_q_gs)
git clone -b gs64-ab <colibri 引擎仓库> && cd colibri
# 2. 编译 qwen36 引擎(GPU 加 CUDA=1 CUDA_ARCH=native)
make -C c qwen36
# 3. 下载本模型快照
SNAP=$(python -c "from huggingface_hub import snapshot_download; \
print(snapshot_download('Kreuzzelg/qwen36-35b-a3b-colibri-i4-gs64'))")
# 4. 写个提示词并运行
echo "Explain MoE routing in 100 words." > prompt.txt
SNAP=$SNAP N_NEW=200 OMP_NUM_THREADS=<物理核心数> ./c/qwen36 256 4 prompt.txt
💡 小贴士:OMP_NUM_THREADS 设置为物理核心数(而非超线程数)通常更快;引擎会自动读取 qwen36_meta.json 中的 expert_gs 启用分组缩放路径,不用传额外开关。
⚖️ 选型建议:gs64 还是 per-row?
- 追求最佳质量:用本仓库(gs64)。体积约 22GB,解码速度与 per-row 相同,精度更高;
- 需要 PR 默认路径、追求最小体积:可选 per-row 版本(约 20GB),在普通
qwen36-engine分支即可运行。
如果你的内存 ≥ 32GB 且在意输出质量,gs64 是更划算的选择——多出的 2GB 换来约 44% 的 logit 误差缩减。
📌 写在最后
qwen36-35b-a3b-colibri-i4-gs64 展示了当前大模型本地化的典型配方:MoE 稀疏激活 + int4 分组量化 + 内存带宽友好的推理引擎。对新手而言,它意味着只需一台 32GB 内存的普通电脑,就能在本地体验 35B 级模型、256K 上下文的完整推理,而不必租用昂贵的 GPU 服务器。建议先按上文流程跑通一次,再深入阅读 README.md 中的 A/B 精度数据,理解"量化到底损失了什么、gs64 又找回了什么"。