48B 激活撑起 1.8T 总参:稀疏门控到底把算力花在哪
48B 激活撑起 1.8T 总参:稀疏门控到底把算力花在哪
“每 token 激活 480 亿参数”这句宣传语,很容易被读成一个营销数字。但把它和仓库里真实的权重索引放在一起看,它其实是一份非常具体的算力与带宽预算表:谁被读出来、谁被跳过、跳过的部分在什么时刻又必须回来。本文只做一件事——把 LongCat-2.5 的稀疏门控拆成可核算的账目:FLOPs 落在哪几层、字节数从哪条总线上流过、以及为什么这套设计在工程上注定与单机部署无关。
文中所有数字,除特别注明外,均可由仓库内 config.json 与 model.safetensors.index.json 直接推算复现。
一、先把账本摊开:3.56 TB 权重与 48B 激活口径
最直接的证据来自权重索引的元数据。model.safetensors.index.json 里登记了 89,214 个张量、指向 210 个分片文件,metadata.total_size 为 3,561,963,022,080 字节,即约 3.56 TB。按 bf16 的 2 字节/参数折算,落盘参数量约 1.78 万亿,比对外口径的“1.6 万亿”还要多出约 1,800 亿参数——这部分差额来自多模态分支、多 token 预测(MTP)头、辅助词表等“不参与主干的辅助结构”,也提醒读者:“总参数”是一个口径问题,“占多大显存/磁盘”才是工程问题。
分片粒度同样值得记住:208 个主干分片加 2 个多模态分片,单个分片典型体积约 17 GB。
现在看结构。config.json 给出的关键项是:
| 配置项 | 取值 | 含义 |
|---|---|---|
hidden_size |
8192 | 主干隐藏维度 |
num_layers |
38 | Transformer 层数 |
n_routed_experts |
768 | 每层路由专家数 |
moe_topk |
12 | 每 token 选中的专家数 |
expert_ffn_hidden_size |
2048 | 单个专家的 FFN 中间维 |
ffn_hidden_size |
12288 | 稠密/共享 FFN 中间维 |
zero_expert_num |
128 | “零专家”槽位(zero_expert_type: identity) |
routed_scaling_factor |
9 | 路由输出缩放系数 |
num_attention_heads / kv_lora_rank |
64 / 512 | MLA 注意力结构参数 |
index_topk / index_n_heads |
2048 / 32 | 稀疏注意力(LSA)选择器参数 |
单个路由专家的参数量是干净的 3×8192×2048 ≈ 50.33 M(gate/up/down 三个矩阵)。于是:
- 每层路由专家总量:768 × 50.33 M ≈ 38.65 B
- 全部 38 层:38.65 B × 38 ≈ 1.469 T,占 1.78 T 落盘参数的 82.5%
- 每 token 实际激活的路由专家:12 × 50.33 M × 38 ≈ 22.95 B
也就是说,稀疏门控省下的不是“模型变小”,而是“每个 token 只碰 1.5625% 的专家容量”。剩下的一半激活预算花在哪?用 MLA 结构参数估算单层注意力:q_a(8192×1536)、q_b(1536×64×192)、kv_a(8192×576)、kv_b(512×64×256)、o_proj(64×128×8192)合计约 111.7 M/层,38 层约 4.24 B。词表侧 embed_tokens 与 lm_head 各 163,840×8192 ≈ 1.34 B。剩下约 20 B 的缺口,落在共享 FFN 分支、视觉桥接、MTP 层与辅助嵌入表上——这与仓库 README.md 中“≈48 B activated per token”的表述正好闭合。
三句话总结这一节:总参数由专家堆出来,激活参数由 top-k 卡出来,显存带宽由“激活了哪些”决定。
如果想自己复核这些数字,一段十几行的脚本就够了:
import json, re, collections
wm = json.load(open("model.safetensors.index.json"))["weight_map"]
layers = collections.defaultdict(set)
for k in wm:
m = re.match(r"model\.layers\.(\d+)\.mlp\.experts\.(\d+)\.", k)
if m:
layers[int(m.group(1))].add(int(m.group(2)))
print(len(layers), {len(v) for v in layers.values()}) # 38 {768}
# 单个专家 3 * hidden_size * expert_ffn_hidden_size = 50.33M
结论很直观:索引里只有 768 个有真实权重的专家,而配置中额外声明的 128 个“零专家”在权重索引里一个张量都没有——它们是 identity 身份映射,既不占显存也不耗 FLOPs。
二、稠密与稀疏的算力账本:FLOPs 与字节数分别落在哪
把模型当作一次前向计算,稠密与稀疏的差别可以用两行账算清。
算力侧(FLOPs):前向每 token 约 2×激活参数。稀疏路径约 96 GFLOP/token;若把 1.78 T 参数全部稠密激活,则是 3.56 TFLOP/token。比值约 37×。这正是“大总参 + 小激活”的推理性价比来源——训练时容量大,推理时账单小。
带宽侧(字节):解码阶段 batch=1 时,每个 token 必须把激活权重从显存里读一遍。48 B 参数在 bf16 下是 96 GB 量级;按仓库 README.md 所述,W4A4 量化只作用于专家权重与激活,专家部分降到 22.95 B × 0.5 B ≈ 11.5 GB,非专家部分仍为 bf16(约 25 B → 50 GB,词表按查表保守计入则更低),合计仍是数十 GB/token 量级。
| 视角 | 稠密等价模型 | LongCat-2.5 稀疏路径 | 差距来源 |
|---|---|---|---|
| 每 token 前向 FLOPs | ≈3.56 TFLOP | ≈96 GFLOP | top-12/768 的专家门控 |
| 每 token 需读权重 | ≈3.56 TB(bf16) | ≈96 GB(bf16)/≈数十 GB(W4A4 专家) | 激活参数而非全部参数 |
| 常驻显存容量 | ≈3.56 TB | 仍≈3.56 TB(bf16) | 稀疏不省容量 |
第三行是全篇最容易被忽略的一行:稀疏门控只降低“每步要读多少”,不降低“必须放得下多少”。算术强度因此被压到极低——96 GFLOP 对数十 GB 的读取,比值只有个位数 FLOP/Byte,远低于任何加速器的算力/带宽比。解码性能的天花板由 HBM 带宽而非 Tensor Core 决定,这是稀疏 MoE 服务的第一个物理事实。
再看长上下文。仓库的注意力是 MLA + LSA(index_topk: 2048、index_n_heads: 32、index_local_tokens: 1024、index_init_tokens: 16)。MLA 把每 token 每层的 KV 压到 kv_lora_rank + qk_rope_head_dim = 512 + 64 = 576 个元素,38 层合计 21,888 个元素,bf16 下约 43.8 KB/token。百万 token 上下文对应单个序列约 43.8 GB 的 KV cache(KV8 量化后约减半)。而注意力计算侧,由于每个 query 只对 2048 个被选中的 key 做完整的 QK/PV,主注意力的计算与 KV 读取不再随上下文线性膨胀。
这里需要一点技术上的诚实:LSA 的 indexer 本身仍是一次轻量扫描(32 头 × 128 维,对全序列打分后再 top-2048),它并非把注意力变成严格线性;它真正的收益在于把“重”的那部分——64 头 × 192 维的主注意力打分与 1M 规模的 KV 读取——从 O(L) 压到固定 2048。省的是带宽和主注意力 FLOPs,不是把二次项彻底消灭。
三、激活比例对显存带宽与通信的硬约束
1.5625% 的激活比例听起来很省,但它同时把压力转移到了两条总线上:显存带宽与互联带宽。
第一条:专家权重的非均匀驻留。 768 个专家不可能全部塞进一张卡,必须做专家并行(EP)。每张卡只驻留一部分专家,于是每个 token 的 12 个专家选择,在卡间就变成了随机的、不可预知的访问。路由越不均衡,热点卡越先成为瓶颈。仓库给出的两个工程答案是:
zero_expert_num: 128+zero_expert_type: identity:给路由器留出“不计算”的槽位,让负载分布有泄压阀,同时不引入任何参数与 FLOPs(索引中确实没有对应张量)。mlp.router.e_score_correction_bias:路由打分带偏置修正项,配合routed_scaling_factor: 9,属于典型的“无辅助损失负载均衡”路线——用打分偏置而非惩罚项来拉平专家使用率。
另外,moe_impl: "mix" 与 moe_switch_token_num: 1024 表明实现层按 token 数在两种 MoE 计算路径间切换:小批量走一条路径,超过 1024 token 走另一条(通常是重排/分组 GEMM 更划算的路径)。这是“激活比例”落到 kernel 选择上的直接体现。
第二条:all-to-all 的字节账。 每个 token 每层需要把隐藏状态发给选中的 12 个专家,再收回结果。bf16 下:12 × 8192 × 2 B = 196 KB 发送,回程同样 196 KB,单层约 393 KB,38 层约 14.9 MB/token。一个 32K token 的 prefill 批次,单次前向的 all-to-all 数据量就达 数百 GB 量级。
这正是 README 里那句工程描述的价值所在:W4A4 采用 FlatQuant 风格的可学习变换,并且把共享的专家输入变换放在 token 复制与 dispatch 之前,让同一份 INT4 表示同时被通信与计算复用。这一招把 dispatch 的字节数从 bf16 直接压到 1/4:单层约 98 KB,38 层约 3.7 MB/token,32K 批次降到百 GB 以内。配合“变换、缩放、量化、打包”的融合 kernel 与专属权重布局,README 给出的对比数据是:相对 W8A8 MoE 基线,prefill 吞吐 +43.3%、decode 吞吐 +42.77%、TTFT -15.91%、TPOT -19.72%,分组 GEMM 平均 1.73× 加速;再叠 KV cache 量化后,W4A4KV8 的 decode 吞吐比 W8A8KV16 高 92%。
换句话说:在这套架构里,量化首先是一项通信优化,其次才是一项计算优化。 这是稀疏门控给系统栈带来的最反直觉的约束。
四、为什么这套架构注定与单机部署无缘
把前面几笔账相加,答案几乎是算术题。
容量账。 bf16 权重 3.56 TB。即便按 W4A4 只量化专家:专家部分约 1.469 T × 0.5 B ≈ 734 GB,非专家部分(注意力、共享 FFN、词表、多模态、MTP)仍以 bf16 计约 300 B 参数 → 600 GB。合计仍在 1.3 TB 以上。以单卡 141 GB 的 HBM 计,仅装权重就需要 10 张卡起步,且这还没算 KV cache、激活、通信缓冲与框架开销。
KV 账。 百万 token 上下文,单序列 KV 约 43.8 GB(bf16);同时服务的并发序列数每加一条,就要再加一份预算。仓库强调“KV cache 优化与 LSA 在不抬高 TPOT 的前提下把 decode KV 容量接近翻倍”,这句话的潜台词是:容量一直是紧约束。
结构账。 专家并行不是可选项。768 个专家 × 38 层 = 29,184 个专家实例,若强行塞进单机,要么把专家数削到失去稀疏容量,要么让 all-to-all 退化成 NUMA 内的内存拷贝并撞上 PCIe 带宽墙。前面算过,bf16 下每 token 14.9 MB 的交换量,是任何单机互联都不愿意承受的。
训练侧的旁证。 README 提到超节点感知并行(supernode-aware parallelism)、高效分片与通信-计算重叠,在长序列 SFT 任务上取得“相对 DDP 基线 86% 的单卡吞吐提升”。这类优化的前提本身就是“跨节点、跨超节点”的拓扑存在——优化对象就是集群,而不是单机。此外,为解码加速而保留的 mtp_num_layers: 3 且 mtp_replicate_modules: true,意味着额外的 MTP 模块副本也要占显存。
所以部署形态在仓库里写得很直接:NPU 平台通过 SGLang-FluentLLM 的 longcat-2.5 分支部署,走的是多卡、多机、专家并行 + PD 分离(prefill/decode 分离)的标准路线。单机不是“跑得慢”,而是“装不下、也连不起来”。
五、把“算力花在哪”翻译成部署决策
回到标题的问题:48B 激活撑起 1.8T 总参,算力究竟花在哪?
- 花在“读”上,而不是“算”上。 每 token 只算 96 GFLOP,却要读数十 GB 的激活权重。解码是带宽游戏,优化重点因此在量化、KV 压缩、权重布局与 TPOT,而不是堆算力。
- 花在“搬”上,而不是“乘”上。 all-to-all 的字节数由
moe_topk×hidden_size× 层数决定,量级是每 token 十几 MB。把量化前移到 dispatch 之前,收益比优化 GEMM 更大。 - 花在“容量”上,且无法被稀疏省掉。 3.56 TB 权重与每序列 43.8 GB 的百万级 KV,是硬门槛。稀疏降低的是边际成本,不是固定成本。
- 花在“路由的公平性”上。 128 个零专家、打分修正偏置、1024 token 的路径切换阈值,这些看似琐碎的配置项,都是在把“激活 1.5625%”从纸面比例变成可预测的集群负载。
理解了这四笔账,再看 moe_topk: 12、zero_expert_num: 128、index_topk: 2048 这些数字,就不会把它们当成调参旋钮,而会把它们读成一份写死在架构里的带宽预算与拓扑约束。这也解释了为什么 LongCat-2.5 的工程叙事始终围绕国产加速器上的超节点协同与 W4A4 展开——在这套稀疏门控下,真正的竞争力不在峰值算力,而在把每一字节搬得更值。
