从0xSero 569B到Altar-1:同一REAP剪枝切片的W4A16与EXL3构建差异对比
从0xSero 569B到Altar-1:同一REAP剪枝切片的W4A16与EXL3构建差异对比
Altar-1 是 Aikido 基于 REAP 专家剪枝技术构建的 GLM-5.3 MoE 模型:在 753B 原模型中删除 34% 的专家(每层 256 → 168),再以 W4A16(INT4)量化为 504B、328 GB 的生产可用版本。它与 0xSero 发布的 569B W4A16 构建、500B EXL3(3.0bpw)构建出自同一份剪枝切片——三者删掉的是完全相同的一批专家,只是打包方式不同。本文将带你用大白话理解:REAP 剪枝凭什么不重训练就能删专家、W4A16 与 EXL3 两种量化构建到底差在哪、以及该如何选择部署。
🧩 一分钟看懂:三个构建,同一份"手术方案"
先理清人物关系:
- GLM-5.3:753B 参数的 MoE(混合专家)模型,每层有 256 个专家子网络,每个 token 只激活其中 8 个(约 40B 激活参数)。
- 0xSero:对 GLM-5.3 执行了 REAP 剪枝,产出"168 专家切片",并发布了两个构建——569B W4A16 和 500B EXL3(3.0bpw)。
- Altar-1(本仓库):Aikido 用同一份 168 专家切片,基于 cyankiwi 的 GLM-5.3-AWQ-INT4 底版重新打包的 W4A16 生产构建,面向 4× H200(Hopper)+ vLLM 场景,在 8× NVIDIA RTX PRO 6000 Blackwell 上完成构建。
💡 关键概念:三份构建的剪枝方案完全一致(每层保留同样编号的 168 个专家),差异只在量化格式与参数总规模。这意味着它们的"能力上限"由剪枝决定,而"体积与跑法"由量化格式决定。
✂️ REAP 剪枝原理:不重训练,按"真实贡献"删专家
REAP(Router-weighted Expert Activation Pruning,路由器加权专家激活剪枝,Cerebras Research 提出,论文编号 arXiv:2510.13999)的核心思路:
- 统计校准数据下每个专家的真实贡献(路由器权重 × 激活量),而不是简单数调用次数;
- 给每个专家打分,删掉贡献最低的,全程无需重训练;
- 本切片每层从 256 个专家保留 168 个,删除 88 个。
Altar-1 采用的判据记录在 reap_prune_plan.json 中,字段 "criterion": "massmax168":
- 每个专家按它承担的某个单一领域路由工作的最大占比打分;
- 这样代码、稀有语言、结构化输出等每个领域都能保住自己的"专家型选手";
- 若按全局调用频率剪枝,反而会把某领域的 specialists 删光。
该文件还给出每层(第 3–78 层共 76 个 MoE 层)保留的专家编号清单(每层恰好 168 个),前 3 层为稠密层不参与剪枝。校准数据覆盖网络安全流量、编码、工具调用、推理与英文,另加多语言维基百科语料。
⚖️ W4A16 与 EXL3 构建差异对比表
| 对比维度 | Altar-1(本仓库,W4A16) | 0xSero 569B(W4A16) | 0xSero 500B(EXL3) |
|---|---|---|---|
| 专家切片 | 168/256(每层) | 相同 | 相同 |
| 参数总规模 | 504B | 569B | 约 500B |
| 权重体积 | 328 GB | 略大(BF16 保留部分更多) | 更小(约 3 bit/权重) |
| 量化格式 | INT4 W4A16:权重 4-bit、激活 16-bit,compressed-tensors/AWQ,group_size=32 | INT4 W4A16 | EXL3,3.0 bits per weight |
| 4-bit 覆盖范围 | 仅路由专家;注意力、共享专家、稠密层与 lm_head 保持 BF16 | W4A16 常规范围 | 混合精度,整体更省 |
| 推理引擎 | vLLM(自动选择 Marlin MoE kernel) | vLLM 生态 | ExLlamaV3 生态 |
| 硬件门槛 | Hopper(H100/H200),4× H200 起步 | Hopper 集群 | 消费级/专业卡友好 |
| KL 散度(vs 全量 BF16) | 0.506 nats | — | 0.511 nats |
两个值得记住的结论:
- 量化格式几乎不影响保真度:在相近位宽下,W4A16 与 EXL3 对完整 BF16 模型的 KL 散度只差 0.005(0.506 vs 0.511)——格式带来的差异可以忽略,剪枝切片的去留才是能力的主因;
- 选构建 = 选推理栈:Hopper 集群跑 vLLM 生产服务选 W4A16;用 ExLlamaV3 或显存更紧张则选 EXL3。
Altar-1 的具体量化细节可查阅 config.json:
"n_routed_experts": 168、"num_experts_per_tok": 8、"n_shared_experts": 1:路由逻辑未被改动,仍是 168 选 8,约 40B 激活参数与原模型一致;quantization_config:INT4、group_size=32、mse 观察者、非对称量化,ignore列表明确列出保持 BF16 的注意力投影、稠密层与lm_head;- 架构为
GlmMoeDsaForCausalLM:78 层、hidden_size 6144、DeepSeek 风格稀疏注意力(DSA)、最长支持 1M 位置编码。
权重分片共 39 个,从 model-00001.safetensors 到 model-00039.safetensors,分片索引见 model.safetensors.index.json。
📊 保真度验证:KL 散度怎么读
- KL 散度衡量两个模型的预测分布差多远:0 = 完全相同,越小越接近;
- 测试方式:25 条封闭提示面板 + 完整 154k 词表,保证结果可复现;
- 同一 168 专家切片上,W4A16 测得 0.506、EXL3 测得 0.511,说明换量化格式 ≈ 无损,而"删哪些专家"才是需要严肃对待的决策——这正是 massmax168 判据的价值所在;
- 完整数据可在 0xSero 的
glm-5.3-reap-fidelity-study与glm-5.3-reap-observations-v1数据集中查阅。
🚀 vLLM 一键部署 Altar-1(4× H200)
vllm serve aikido/altar-1 --tensor-parallel-size 4 --trust-remote-code --max-model-len 131072
- 要求 Hopper 架构(H100/H200);
- 328 GB 权重分布在 4× H200 上,生产批量下仍留有 128k 上下文的 KV cache 空间;
- vLLM 会自动为 MoE 层选择 Marlin kernel,无需额外配置;
- 采样参数见 generation_config.json:
temperature=1.0、top_p=0.95; - 对话模板 chat_template.jinja 支持
reasoning_effort(low/high/max)推理档位与工具调用;词表与特殊 token 定义见 tokenizer_config.json。
🎯 总结:我该选哪个构建?
| 你的场景 | 推荐构建 | 理由 |
|---|---|---|
| 4× H200/H100 + vLLM 生产服务 | Altar-1(本仓库) | 328 GB、128k 上下文、Marlin kernel 开箱即用 |
| 同一切片但想要更大的 BF16 保留部分 | 0xSero 569B W4A16 | 569B 全量参数口径 |
| ExLlamaV3 生态 / 显存敏感 | 0xSero 500B EXL3(3.0bpw) | 约 3 bit/权重,体积最小 |
三者共享同一份 REAP 168 专家切片、保真度几乎一致(KL 差值 0.005),能力基本等同,选择只取决于你的硬件与推理引擎 🎉
📁 仓库文件速览
| 文件 | 作用 |
|---|---|
| README.md | 模型说明、部署命令与致谢 |
| config.json | 模型架构 + compressed-tensors 量化配置 |
| reap_prune_plan.json | REAP 剪枝方案:每层保留的 168 个专家编号 |
| generation_config.json | 默认采样参数 |
| chat_template.jinja | 对话模板(推理档位、工具调用) |
| tokenizer.json / tokenizer_config.json | 分词器(154k 词表) |
model-00001.safetensors ~ model-00039.safetensors |
模型权重分片 |
| model.safetensors.index.json | 张量 → 分片索引 |
一句话带走:同一把 REAP 手术刀切出的 168 专家,W4A16 和 EXL3 只是两种"包装纸"——保真度几乎打平,按你的 GPU 和推理框架选纸即可。