从0xSero 569B到Altar-1:同一REAP剪枝切片的W4A16与EXL3构建差异对比

原创2026-10-16 16:40:591,392 阅读

从0xSero 569B到Altar-1:同一REAP剪枝切片的W4A16与EXL3构建差异对比

Altar-1 是 Aikido 基于 REAP 专家剪枝技术构建的 GLM-5.3 MoE 模型:在 753B 原模型中删除 34% 的专家(每层 256 → 168),再以 W4A16(INT4)量化为 504B、328 GB 的生产可用版本。它与 0xSero 发布的 569B W4A16 构建、500B EXL3(3.0bpw)构建出自同一份剪枝切片——三者删掉的是完全相同的一批专家,只是打包方式不同。本文将带你用大白话理解:REAP 剪枝凭什么不重训练就能删专家、W4A16 与 EXL3 两种量化构建到底差在哪、以及该如何选择部署。

🧩 一分钟看懂:三个构建,同一份"手术方案"

先理清人物关系:

  • GLM-5.3:753B 参数的 MoE(混合专家)模型,每层有 256 个专家子网络,每个 token 只激活其中 8 个(约 40B 激活参数)。
  • 0xSero:对 GLM-5.3 执行了 REAP 剪枝,产出"168 专家切片",并发布了两个构建——569B W4A16 和 500B EXL3(3.0bpw)。
  • Altar-1(本仓库):Aikido 用同一份 168 专家切片,基于 cyankiwi 的 GLM-5.3-AWQ-INT4 底版重新打包的 W4A16 生产构建,面向 4× H200(Hopper)+ vLLM 场景,在 8× NVIDIA RTX PRO 6000 Blackwell 上完成构建。

💡 关键概念:三份构建的剪枝方案完全一致(每层保留同样编号的 168 个专家),差异只在量化格式与参数总规模。这意味着它们的"能力上限"由剪枝决定,而"体积与跑法"由量化格式决定。

✂️ REAP 剪枝原理:不重训练,按"真实贡献"删专家

REAP(Router-weighted Expert Activation Pruning,路由器加权专家激活剪枝,Cerebras Research 提出,论文编号 arXiv:2510.13999)的核心思路:

  1. 统计校准数据下每个专家的真实贡献(路由器权重 × 激活量),而不是简单数调用次数;
  2. 给每个专家打分,删掉贡献最低的,全程无需重训练;
  3. 本切片每层从 256 个专家保留 168 个,删除 88 个。

Altar-1 采用的判据记录在 reap_prune_plan.json 中,字段 "criterion": "massmax168":

  • 每个专家按它承担的某个单一领域路由工作的最大占比打分;
  • 这样代码、稀有语言、结构化输出等每个领域都能保住自己的"专家型选手";
  • 若按全局调用频率剪枝,反而会把某领域的 specialists 删光。

该文件还给出每层(第 3–78 层共 76 个 MoE 层)保留的专家编号清单(每层恰好 168 个),前 3 层为稠密层不参与剪枝。校准数据覆盖网络安全流量、编码、工具调用、推理与英文,另加多语言维基百科语料。

⚖️ W4A16 与 EXL3 构建差异对比表

对比维度 Altar-1(本仓库,W4A16) 0xSero 569B(W4A16) 0xSero 500B(EXL3)
专家切片 168/256(每层) 相同 相同
参数总规模 504B 569B 约 500B
权重体积 328 GB 略大(BF16 保留部分更多) 更小(约 3 bit/权重)
量化格式 INT4 W4A16:权重 4-bit、激活 16-bit,compressed-tensors/AWQ,group_size=32 INT4 W4A16 EXL3,3.0 bits per weight
4-bit 覆盖范围 仅路由专家;注意力、共享专家、稠密层与 lm_head 保持 BF16 W4A16 常规范围 混合精度,整体更省
推理引擎 vLLM(自动选择 Marlin MoE kernel) vLLM 生态 ExLlamaV3 生态
硬件门槛 Hopper(H100/H200),4× H200 起步 Hopper 集群 消费级/专业卡友好
KL 散度(vs 全量 BF16) 0.506 nats — 0.511 nats

两个值得记住的结论:

  1. 量化格式几乎不影响保真度:在相近位宽下,W4A16 与 EXL3 对完整 BF16 模型的 KL 散度只差 0.005(0.506 vs 0.511)——格式带来的差异可以忽略,剪枝切片的去留才是能力的主因;
  2. 选构建 = 选推理栈:Hopper 集群跑 vLLM 生产服务选 W4A16;用 ExLlamaV3 或显存更紧张则选 EXL3。

Altar-1 的具体量化细节可查阅 config.json:

  • "n_routed_experts": 168、"num_experts_per_tok": 8、"n_shared_experts": 1:路由逻辑未被改动,仍是 168 选 8,约 40B 激活参数与原模型一致;
  • quantization_config:INT4、group_size=32、mse 观察者、非对称量化,ignore 列表明确列出保持 BF16 的注意力投影、稠密层与 lm_head;
  • 架构为 GlmMoeDsaForCausalLM:78 层、hidden_size 6144、DeepSeek 风格稀疏注意力(DSA)、最长支持 1M 位置编码。

权重分片共 39 个,从 model-00001.safetensors 到 model-00039.safetensors,分片索引见 model.safetensors.index.json。

📊 保真度验证:KL 散度怎么读

  • KL 散度衡量两个模型的预测分布差多远:0 = 完全相同,越小越接近;
  • 测试方式:25 条封闭提示面板 + 完整 154k 词表,保证结果可复现;
  • 同一 168 专家切片上,W4A16 测得 0.506、EXL3 测得 0.511,说明换量化格式 ≈ 无损,而"删哪些专家"才是需要严肃对待的决策——这正是 massmax168 判据的价值所在;
  • 完整数据可在 0xSero 的 glm-5.3-reap-fidelity-study 与 glm-5.3-reap-observations-v1 数据集中查阅。

🚀 vLLM 一键部署 Altar-1(4× H200)

vllm serve aikido/altar-1 --tensor-parallel-size 4 --trust-remote-code --max-model-len 131072
  • 要求 Hopper 架构(H100/H200);
  • 328 GB 权重分布在 4× H200 上,生产批量下仍留有 128k 上下文的 KV cache 空间;
  • vLLM 会自动为 MoE 层选择 Marlin kernel,无需额外配置;
  • 采样参数见 generation_config.json:temperature=1.0、top_p=0.95;
  • 对话模板 chat_template.jinja 支持 reasoning_effort(low/high/max)推理档位与工具调用;词表与特殊 token 定义见 tokenizer_config.json。

🎯 总结:我该选哪个构建?

你的场景 推荐构建 理由
4× H200/H100 + vLLM 生产服务 Altar-1(本仓库) 328 GB、128k 上下文、Marlin kernel 开箱即用
同一切片但想要更大的 BF16 保留部分 0xSero 569B W4A16 569B 全量参数口径
ExLlamaV3 生态 / 显存敏感 0xSero 500B EXL3(3.0bpw) 约 3 bit/权重,体积最小

三者共享同一份 REAP 168 专家切片、保真度几乎一致(KL 差值 0.005),能力基本等同,选择只取决于你的硬件与推理引擎 🎉

📁 仓库文件速览

文件 作用
README.md 模型说明、部署命令与致谢
config.json 模型架构 + compressed-tensors 量化配置
reap_prune_plan.json REAP 剪枝方案:每层保留的 168 个专家编号
generation_config.json 默认采样参数
chat_template.jinja 对话模板(推理档位、工具调用)
tokenizer.json / tokenizer_config.json 分词器(154k 词表)
model-00001.safetensors ~ model-00039.safetensors 模型权重分片
model.safetensors.index.json 张量 → 分片索引

一句话带走:同一把 REAP 手术刀切出的 168 专家,W4A16 和 EXL3 只是两种"包装纸"——保真度几乎打平,按你的 GPU 和推理框架选纸即可。

登录后查看全文
altar-1