1/64 超稀疏 MoE 架构揭秘:Ling-3.0-flash-base-midtrain 如何用 512 个专家只激活 5.1B 参数
1/64 超稀疏 MoE 架构揭秘:Ling-3.0-flash-base-midtrain 如何用 512 个专家只激活 5.1B 参数
Ling-3.0-flash-base-midtrain 是 InclusionAI 开源的 Ling-3.0 系列中一个"中训练(midtrain)"阶段的大语言模型检查点,采用 Hybrid-linear MoE(混合线性注意力 + 专家混合) 架构。它总参数约 124B,但每个 token 只激活约 5.1B(Non-emb)参数——靠 512 个路由专家里每 token 仅挑选 8 个(1/64 超稀疏)来实现。本文带你从配置到源码,看懂这套"大而不重"的架构到底怎么工作。
💡 本仓库是训练过程中的一个中训练检查点:已完成大规模预训练与 mid-training,但尚未做 WSM 合并和后训练,适合继续训练、微调与架构研究。
一、先看结论:几个必须记住的数字
理解这套 MoE 架构,记住下面这张规格表就够了。数据来源为 config.json 与 README.md。
| 维度 | 数值 | 说明 |
|---|---|---|
| 架构类型 | Hybrid-linear MoE | 混合线性注意力 + MoE |
| 参数规模 | 总 124B / 激活 5.1B (Non-emb) | 每 token 只算一小部分专家 |
| Transformer 层数 | 42 | 35 层 KDA + 7 层 Gated MLA |
| 注意力配比 | 5:1 | 每 6 层里 5 层线性注意力、1 层 MLA |
| 路由专家数 | 512 | 每层都有一组 |
| 共享专家数 | 1 | 所有 token 共享 |
| 每 token 激活专家 | 8 | 路由 Top-8 |
| Dense 层 | 2 | 前两层为密集 MLP |
| Hidden Size | 2560 | 隐层维度 |
| Expert 中间维 | 768 | 单个专家 FFN 宽度 |
| 注意力头 | 32 | num_attention_heads |
| 词表大小 | 157,184 | vocab_size |
| 最大上下文 | 262,144(256K) | 原生长上下文 |
为什么 8/512 就是"超稀疏"? 因为每生成一个 token,路由器(Router)只点亮 512 个专家中的 8 个,再叠加 1 个常驻共享专家,真正参与计算的参数占比只有 1/64。这就是"总参 124B、激活仅 5.1B"的由来——用大模型的"知识容量",换小模型的"计算成本"。
二、MoE 路由:512 个专家,为什么只挑 9 个干活?
MoE 的核心是路由(Routing):把 token 分发给少数几个专家。Ling-3.0 的路由器定义在 modeling_bailing_moe_v3.py 的 BailingMoeV3Gate 类中,由三个关键设计组成。
1)Sigmoid 打分 + 专家偏置(expert_bias)
与常见的 softmax 打分不同,它用 sigmoid 独立打分(见 config.json 的 score_function: "sigmoid")。打分时会先加上一个可学习的 expert_bias 偏置向量:
scores_for_routing = scores + self.expert_bias
对应源码在 BailingMoeV3Gate.forward。这个偏置能帮助"冷门专家"获得更均衡的负载,避免所有 token 都挤向少数热门专家,从而提升专家利用率的均衡性。同时路由分数在 fp32 精度下计算(router_dtype: "fp32"),保证选择过程数值稳定。
2)组内受限 Top-K(group_limited_topk)
这是控制稀疏度的关键。它把 512 个专家先分成 8 组(n_group=8,见 config.json),先在组级别里挑出得分最高的 4 组(topk_group=4),再在这 4 组内部选出最终的 8 个专家。相关实现在 group_limited_topk:
group_scores = scores.view(num_token, n_group, -1).topk(2)[0].sum
top_groups = topk(group_scores, k=topk_group) # 先选 4 组
masked = 非选中组的分数置为 -inf # 再在组内挑 8 个专家
这样做的好处:同一 token 不会只把专家集中在某几个组里,而是被强制分散到多个组,既保证了"广度",又避免了负载塌缩。
3)路由缩放系数(routed_scaling_factor = 2.5)
选出的 8 个专家权重会归一化后再乘以 2.5(forward 中 topk_weight = topk_weight * self.routed_scaling_factor)。它放大了路由专家相对共享专家的输出权重,让"被选中的专家"贡献更大。
4)共享专家:兜底 + 稳定
每个 MoE 层除了 512 个路由专家,还有 1 个常驻共享专家(num_shared_experts=1,见 BailingMoeV3SparseMoeBlock)。它对所有 token 始终激活,提供稳定的基础表达,再叠加 8 个被路由的专家输出:
y = y_routed(8 个专家加权和) + shared_expert(x)
📌 所以每个 token 实际是 8 路由 + 1 共享 = 9 个专家在贡献,这就是"每 token 只激活 5.1B 参数"的完整构成。
三、原生混合线性注意力:KDA + Gated MLA
如果说 MoE 管"计算稀疏",那注意力管"上下文效率"。Ling-3.0 从预训练一开始就采用原生混合线性注意力架构(见 README.md),在 42 层里按 5:1 混合两种注意力:
- 35 层 KDA(线性注意力):
BailingMoeV3KimiDeltaAttention,见 modeling_bailing_moe_v3.py,计算成本随序列长度线性增长,长文本更省。 - 7 层 Gated MLA(多潜注意力):
BailingMoeV3MultiLatentAttention,见 modeling_bailing_moe_v3.py,用低秩压缩 KV(kv_lora_rank=512),兼顾长程精准检索。
层类型是如何决定的?逻辑在 BailingMoeV3DecoderLayer:按 layer_group_size=6 分组,每 6 层中第 6 层用 MLA,其余用 KDA,末尾几层也补为 MLA。这种"混合"是 Ling-3.0 支持 256K 长上下文(config.json max_position_embeddings: 262144)的关键——线性注意力负责"快",MLA 负责"准"。
🔍 Gated MLA 还带一个
head_wise粒度的门控(gated_attention_proj_granularity_type: "head_wise"),对每个注意力头动态放大/抑制输出,进一步提升表达能力。
四、还有哪些"隐藏彩蛋"?
- 前 2 层是 Dense(密集)MLP:
first_k_dense_replace=2(见 config.json),前两层不用 MoE 而用宽 FFN(intermediate_size=6144),让底层建立扎实的通用表征,之后才切换到稀疏 MoE。 - MTP 多 token 预测层:
num_nextn_predict_layers=1(见 config.json),带 1 层 MTP 结构(BailingMoeV3MTPLayer,modeling_bailing_moe_v3.py),可加速解码。 - 训练策略 WSM(Warmup-Stable + Merge):用加权检查点合并替代传统的学习率衰减,更适合继续训练与动态扩数据(README.md)。
五、这份 midtrain 检查点适合做什么?
这是一个"半成品"基座,定位是研究与继续训练(README.md):
| 推荐用途 | 说明 |
|---|---|
| 继续预训练 / 增量训练 | 基于 midtrain 继续扩大语料 |
| 领域微调(SFT) | 针对垂直领域做监督微调 |
| 偏好优化 / RL 后训练 | 作为后训练起点 |
| 长上下文 / MoE 系统研究 | 研究稀疏 MoE 与混合注意力 |
| ⚠️ 不建议直接做线上聊天 | 尚未做后训练与安全对齐 |
⚠️ 它是基座检查点,不是开箱即用的对话模型,直接用于生产前需完成后训练与任务验证。
六、关键文件清单,快速定位架构
想动手研究时,这几个文件是入口(相对仓库根目录):
- config.json — 全部超参:专家数、稀疏度、注意力配比、上下文长度
- configuration_bailing_moe_v3.py — 自定义配置类
BailingMoeV3Config,MoE 相关默认参数见 第 93–101 行 - modeling_bailing_moe_v3.py — 完整建模实现
- 路由
BailingMoeV3Gate:第 345–406 行 - MoE 块
BailingMoeV3SparseMoeBlock:第 409–482 行 - 注意力
MultiLatentAttention/KimiDeltaAttention:第 585 行起
- 路由
- model.safetensors.index.json — 28 个分片的权重映射表,
total_size约 255GB(bf16) - chat_template.jinja、tokenizer.json — 对话模板与分词器
七、快速上手:加载模型
仓库是只读的,克隆后即可加载。需要克隆时,仓库地址为:https://gitcode.com/hf_mirrors/inclusionAI/Ling-3.0-flash-base-midtrain
由于模型自定义了 auto_map(见 config.json 中 AutoModelForCausalLM 指向 modeling_bailing_moe_v3.BailingMoeV3ForCausalLM),加载时需指定本地建模文件:
from transformers import AutoModelForCausalLM, AutoTokenizer
model = AutoModelForCausalLM.from_pretrained(
"Ling-3.0-flash-base-midtrain", trust_remote_code=True,
device_map="auto", torch_dtype="bfloat16"
)
tok = AutoTokenizer.from_pretrained("Ling-3.0-flash-base-midtrain", trust_remote_code=True)
💡 完整微调示例可参考官方的 ling-cookbook 教程;本文聚焦架构解读,运行细节以官方文档为准。
总结:大参数、小成本、高灵活
Ling-3.0-flash-base-midtrain 的架构可以一句话概括:
- 超稀疏 MoE:512 专家只激活 8 个(1/64),总 124B / 激活 5.1B;
- 组内受限 Top-K 路由 + sigmoid 打分 + 专家偏置:让专家负载更均衡、选择更稳;
- 原生 KDA + Gated MLA 混合注意力:用 5:1 配比支撑 256K 长上下文;
- 前 2 层 Dense + 1 层 MTP + WSM 训练策略:兼顾表征基础、解码速度与可继续训练性。
它证明了"高容量 ≠ 高算力"——通过合理的稀疏化与注意力混合,用极低的每 token 计算量,撬动了一个 124B 级基座的知识潜力。