Instella-MoE vs DeepSeek-V3:同源MoE架构的进化之路与性能对比

原创2026-10-21 20:13:241,331 阅读
文章标签:人工智能大模型基础模型

Instella-MoE vs DeepSeek-V3:同源MoE架构的进化之路与性能对比

Instella-MoE 是 AMD 推出的全开源 MoE(Mixture-of-Experts,混合专家)语言模型,总参数 16B、每 token 仅激活 2.8B 参数,架构上直接继承自 DeepSeek-V3,并在此之上叠加了 Gated MLA 与 FarSkip-Collective 两项进化。本文从架构同源关系、参数逐项对比、两大创新机制到基准测试性能,带你完整看懂 Instella-MoE 相对 DeepSeek-V3 的"小模型进化之路"。

一图看懂:Instella-MoE 在 MoE 阵营中的位置

对新手来说,先建立一个直观印象:MoE 模型通过"路由"让每个 token 只激活一部分专家网络,从而用更少的激活参数获得更大的模型容量。DeepSeek-V3 是该路线上最知名的代表(671B 总参数 / 37B 激活),而 Instella-MoE 则把同样的思路做成了一个 16B 总参数 / 2.8B 激活的"轻量同源"版本,并全程在 AMD Instinct MI300X / MI325X GPU 上用 ROCm 软件栈从零训练完成——这也是它最大的特色。

下图来自官方 README,展示了 Instella-MoE(预训练与后训练版本)与其他同规模 SOTA 模型的成本-性能关系:

AMD Instella-MoE 成本与性能对比:16B参数MoE模型对标其他同规模SOTA模型

图 1:Instella-MoE 预训练与后训练模型与其他同规模 SOTA 模型的性能对比,出处见 README.md

📌 本仓库正是整条训练管线中预训练(Pretrain)阶段的检查点,即未经指令微调的 MoE 基座模型。

同源架构解析:Instella-MoE 与 DeepSeek-V3 参数逐项对比

为什么说 Instella-MoE 与 DeepSeek-V3"同源"?打开配置文件 config.json 会看到一行关键信息:"model_type": "deepseek_v3"。再看模型实现 modeling_instella_moe.py,核心组件(RMSNorm、MLP、TopkRouter、Attention)全部直接复用 transformers 中的 DeepSeek-V3 模块,只在差异处做了"增量修改"。

两者核心结构逐项对比如下:

维度 DeepSeek-V3 Instella-MoE-16B-A3B
总参数 671B 16B
每 token 激活参数 37B 2.8B
解码层数 61 27(config.json 中 num_hidden_layers)
隐藏层维度 7168 2048
路由专家数 256 64
共享专家数 1 2
每 token 激活专家 8 6
注意力机制 MLA Gated MLA
专家路由 noaux-tc(sigmoid 打分) noaux-tc(sigmoid 打分,topk_method)
词表大小 129,280 128,896

可以看到,Instella-MoE 完整保留了 DeepSeek-V3 的"设计语言":MLA 低秩 KV 压缩、共享专家 + 路由专家、sigmoid 打分 + noaux-tc 无辅助损失路由,只是把整个模型缩到了可以在单机级硬件上推理的体量。配置细节可在 configuration_instella_moe.py 中逐项核对。

⚖️ 另外注意一个比例变化:DeepSeek-V3 共享专家只有 1 个,而 Instella-MoE 配备 2 个共享专家(n_shared_experts: 2),相当于给"保底容量"加了冗余,对小模型的泛化更友好。

两大架构进化:Gated MLA 与 FarSkip-Collective 详解

"同源"不等于"照搬"。Instella-MoE 在 DeepSeek-V3 骨架上做了两处真正的架构级进化。

进化一:Gated MLA——给注意力输出加一道"门"

MLA(Multi-head Latent Attention,多头潜在注意力)把 KV 压缩到低秩潜空间,是省显存的经典设计。Instella-MoE 在其输出端再乘一个 sigmoid 门控:

# 门控注意力:用 sigmoid 门对注意力输出逐元素加权
attn_output = attn_output * torch.sigmoid(self.gate_proj(hidden_states))

实现见 modeling_instella_moe.py 中的 MLAGatedAttention 类,由 config.json 里 "gated_attention": true 开启。通俗理解:注意力算出"看哪里"之后,门控再决定"看多少",让信息流动更可控,是近年 K2 等新一代 MoE 模型的共同选择。

进化二:FarSkip-Collective——让通信不阻塞计算

MoE 的分布式推理有一个老大难问题:专家分布在多张卡上,token 发过去、结果收回来(all-to-all 通信)时,计算往往被迫"停下来等数据"。FarSkip-Collective 通过维护双残差流解决它——一条含路由输出的主残差流,一条不含路由输出的"干净"残差流,后者无需等待通信完成即可提前送进下一块的注意力计算:

Instella-MoE-16B-A3B 标准基准测试成绩表:MoE基座模型与同规模模型对比

图 2:Instella-MoE-16B-A3B-Base 在标准基准测试中的成绩(官方 Table 2)

对应实现是 modeling_instella_moe.py 中的 FarSkipDecoderLayer:每个解码层返回 (residual, residual_no_routed) 双元组,FarSkipMoE 则把路由专家与共享专家的输出分开返回(见 FarSkipMoE 实现)。配置中 "farskip": true 即表示启用该连接方式。

性能对比:2.8B 激活参数能打出什么水平?

基座模型(Base 检查点,含长上下文扩展后)的长文本能力在 HELMET / RULER 基准上的表现如下:

Instella-MoE 长上下文基准测试成绩:HELMET与RULER对比其他MoE模型

图 3:Instella-MoE-16B-A3B-Base 在 HELMET 与 RULER 长上下文基准测试中的成绩(官方 Table 3)

经过 SFT → DPO → RL 完整后训练的 Instella-MoE-Think,在各指令跟随与推理任务上对同级开源模型的对比成绩:

Instella-MoE-Think 后训练基准测试:指令跟随与推理能力对比同级模型

图 4:Instella-MoE-Think 后训练评测结果,采用 OLMES 框架、最长 32768 token 生成(官方 Table 4)

📊 值得注意的工程细节:本仓库是预训练检查点,最大位置编码为 4096(max_position_embeddings),但配置中已内置 YaRN 缩放(rope_scaling,factor=40),为后续扩展到 32K 上下文预留好了路径——这正是 Base 检查点长上下文训练能用上的"伏笔"。

完整训练管线:从 Pretrain 到 RL 的六阶段检查点

Instella-MoE 的另一大亮点是全管线开放:AMD 把每个训练阶段的检查点都发布了,方便研究者复现与对比:

阶段 检查点 作用
预训练 Instella-MoE-16B-A3B-Pretrain(本仓库) 从零训练的大规模多样化语料 MoE 基座
中期训练 -Midtrain 高质量数据混合精炼关键能力
长上下文 -Base 扩展长序列处理与推理,官方最终 base 检查点
监督微调 -SFT 指令跟随与思维链推理
偏好对齐 -DPO 直接偏好优化
强化学习 -Think RL 打磨的最终思考版检查点

训练全程基于 Primus 训练框架 + Miles RL 框架,运行于 ROCm 软件栈。

快速上手:获取与运行 Instella-MoE-16B-A3B-Pretrain

模型权重分为 4 个 safetensors 分片(bf16 精度,总大小约 31.7 GB,见 model.safetensors.index.json),分片映射:

获取仓库:

git clone https://gitcode.com/hf_mirrors/amd/Instella-MoE-16B-A3B-Pretrain

用 transformers 加载推理(trust_remote_code=True 会走仓库内的 modeling_instella_moe.py):

from transformers import AutoModelForCausalLM, AutoTokenizer

checkpoint = "amd/Instella-MoE-16B-A3B-Think"  # 日常对话建议用后训练的 Think 版
tokenizer = AutoTokenizer.from_pretrained(checkpoint, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(checkpoint, device_map="auto", trust_remote_code=True)

⚠️ 使用提示:

  • 本模型基于 ResearchRAIL 许可证(详见 LICENSE),仅限学术与科研用途,不适用于医疗等安全关键场景;
  • 模型未经安全承诺发布,生产使用前请自行评估并加安全过滤;
  • 多语言能力未经验证,跨语言使用需谨慎;
  • 默认生成参数为 temperature=0.6, top_p=0.95(generation_config.json),分词器配置见 tokenizer_config.json。

结语

Instella-MoE 证明了一件事:DeepSeek-V3 这套 MoE"设计语言"在 16B 规模上同样成立。它用 64 路由 + 2 共享专家、2.8B 激活参数换来了远低于 671B 巨头的推理成本,同时靠 Gated MLA 和 FarSkip-Collective 把注意力和通信效率再往前推了一步。对于想在 AMD GPU 上实验开源 MoE 架构、或研究"小模型如何借鉴大模型设计"的读者,这条从 Pretrain 到 Think 的完整开放管线,是目前相当稀缺的研究样本。

登录后查看全文
Instella-MoE-16B-A3B-Pretrain