为什么22GB就能跑35B大模型?qwen36-35b-a3b-colibri-i4-gs64 MoE本地推理完全初探

原创2026-11-09 09:58:382,340 阅读

为什么22GB就能跑35B大模型?qwen36-35b-a3b-colibri-i4-gs64 MoE本地推理完全初探

qwen36-35b-a3b-colibri-i4-gs64 是一个把 Qwen3.6-35B-A3B 大模型压缩到约 22GB 的 int4 量化模型包,让 MoE 大模型的本地推理在普通硬件上成为可能。它基于 colibri 引擎打包,自带词表、扁平配置和分组量化元数据,下载即可跑,是新手体验 35B 级模型的低门槛入口。

🤔 35B 模型,为什么 22GB 就能装下?

直觉上,35B(350 亿)参数如果按常见的 bfloat16(每参数 16 位)存储,需要 70GB 左右显存/内存。这个仓库用了三招把体积压到约 22GB:

1️⃣ MoE 架构:35B 总参数,每次只激活 3B

Qwen3.6-35B-A3B 中的 "A3B" 就是答案:这是一个 MoE(Mixture of Experts,混合专家) 模型。从 config.json 可以看到:

参数 值 含义
num_experts 256 每层有 256 个专家
num_experts_per_tok 8 每个 token 只激活 8 个专家
num_hidden_layers 40 共 40 层

也就是说,256 个专家中任意时刻只有 8 个参与计算(外加共享专家),35B 总参数里实际只有约 3B 参数是"干活"的。这带来两个好处:计算量小,以及权重以内存带宽为主的场景(CPU 推理)下,int4 压缩收益巨大。

2️⃣ int4 分组量化:gs64 的精髓

这个容器(container)对专家层采用 group-scaled int4:每 64 个输入元素共享一个 f32 缩放系数(expert_gs=64,见 qwen36_meta.json)。

  • 4 bit/参数 ≈ 把权重体积直接砍到原来的 1/4;
  • 相比"每行一个缩放"(per-row)的朴素做法,64 元素一组的缩放粒度更细,量化误差更小——代价只是体积从约 20GB 增至约 22GB(约 +10%),解码速度不变(见 README.md)。

配合非专家部分的存储与词表(vocab_size 约 24.8 万,见 config.json),总体积落在 22GB 左右。

3️⃣ 为 CPU 推理而生的 colibri 引擎

模型按 colibri 的"容器"格式分片存放:40 个 model-000XX.safetensors(每层一片,如 model-00000.safetensors)、全局片 model-globals.safetensors,外加扁平的 config.json 和词表 tokenizer.json。引擎启动时读取 expert_gs 自动选择分组缩放的 GEMV 计算路径,无需额外参数。

另外值得一提的是,它还是 混合注意力 结构:40 层中每 4 层有 1 层 full attention、3 层 linear attention(见 config.json 的 layer_types),KV 缓存开销大幅降低,因此能支撑 262144(256K)超长上下文。

📊 关键参数速览

项目 数值 说明
模型体积 ~22 GB int4 + gs64 分组缩放
总参数 35B MoE,256 专家/层
每 token 激活 ~3B top-k = 8
层数 40 30 linear + 10 full attention
隐藏维度 2048 hidden_size
最大上下文 262144 256K tokens
词表 248320 自带 tokenizer.json
许可证 Apache-2.0 基于 config.hf.json

📁 仓库文件结构一览

文件 作用
README.md 模型说明、精度数据与运行方式
config.json 引擎用的扁平配置(专家数、注意力结构等)
config.hf.json Hugging Face 标准配置(含视觉模块 vision_config)
qwen36_meta.json colibri 量化元数据,expert_gs、ebits: 4 等关键参数在此
model-00000 ~ model-00039.safetensors 40 层权重分片(int4 量化后的 .qs 数组)
model-globals.safetensors 全局权重(嵌入层、最终投影等)
tokenizer.json 内置词表,无需额外下载

🎯 精度实测:gs64 比 per-row 强多少?

作者在受控 A/B 实验(同一底座模型 + 同一引擎,对比 int8 锚点)中给出结果(摘自 README.md):

指标(4 条推理 prompt 平均) per-row int4 gs64 int4(本仓库)
logit 余弦相似度 0.98777 0.99313
KL 散度 0.1091 0.0795

第一 token 的 logit 误差相比 per-row 版本降低约 44%。在 512 token 的贪心解码中,两个版本都没有出现退化循环——分组缩放带来的纯粹是质量提升,而不是修复跑飞生成的补丁。

🚀 最快上手:跑通本地推理

完整步骤见 README.md,核心流程如下(CPU 即可运行,GPU 可选):

# 1. 获取 colibri 引擎(gs64-ab 分支,含分组缩放专家路径 matmul_q_gs)
git clone -b gs64-ab <colibri 引擎仓库> && cd colibri

# 2. 编译 qwen36 引擎(GPU 加 CUDA=1 CUDA_ARCH=native)
make -C c qwen36

# 3. 下载本模型快照
SNAP=$(python -c "from huggingface_hub import snapshot_download; \
print(snapshot_download('Kreuzzelg/qwen36-35b-a3b-colibri-i4-gs64'))")

# 4. 写个提示词并运行
echo "Explain MoE routing in 100 words." > prompt.txt
SNAP=$SNAP N_NEW=200 OMP_NUM_THREADS=<物理核心数> ./c/qwen36 256 4 prompt.txt

💡 小贴士:OMP_NUM_THREADS 设置为物理核心数(而非超线程数)通常更快;引擎会自动读取 qwen36_meta.json 中的 expert_gs 启用分组缩放路径,不用传额外开关。

⚖️ 选型建议:gs64 还是 per-row?

  • 追求最佳质量:用本仓库(gs64)。体积约 22GB,解码速度与 per-row 相同,精度更高;
  • 需要 PR 默认路径、追求最小体积:可选 per-row 版本(约 20GB),在普通 qwen36-engine 分支即可运行。

如果你的内存 ≥ 32GB 且在意输出质量,gs64 是更划算的选择——多出的 2GB 换来约 44% 的 logit 误差缩减。

📌 写在最后

qwen36-35b-a3b-colibri-i4-gs64 展示了当前大模型本地化的典型配方:MoE 稀疏激活 + int4 分组量化 + 内存带宽友好的推理引擎。对新手而言,它意味着只需一台 32GB 内存的普通电脑,就能在本地体验 35B 级模型、256K 上下文的完整推理,而不必租用昂贵的 GPU 服务器。建议先按上文流程跑通一次,再深入阅读 README.md 中的 A/B 精度数据,理解"量化到底损失了什么、gs64 又找回了什么"。

登录后查看全文
qwen36-35b-a3b-colibri-i4-gs64