Ling-3.0-tiny-base-midtrain 评测报告:7.9B MoE 在代码、数学与长上下文上硬刚 Ling-2.5-mini 和 Qwen3.5

原创2026-10-16 10:40:261,871 阅读

Ling-3.0-tiny-base-midtrain 评测报告:7.9B MoE 在代码、数学与长上下文上硬刚 Ling-2.5-mini 和 Qwen3.5

Ling-3.0-tiny-base-midtrain 是蚂蚁开源 Ling-3.0 系列中总参数 7.9B、每 token 仅激活 1.3B 的 MoE(混合专家)语言模型检查点,采用原生混合线性注意力架构,原生支持 256K 长上下文。它已完成大规模预训练和中训练(mid-training),但尚未做后训练对齐——本文基于官方基准数据,完整评测它在代码、数学、长上下文三大硬核场景下的表现,并与 Ling-2.5-mini(16B A1.4B)、Qwen3.5-9B、Qwen3.5-4B 正面硬刚,帮新手快速判断:这个"小钢炮"值不值得用。

一、Ling-3.0-tiny-base-midtrain 是什么:一张卡片看懂定位

先说结论:这是一个面向研究者的"半成品"基础模型检查点,适合二次训练,不适合直接拿来做聊天机器人。

Ling-3.0 系列按训练阶段开放了三种检查点,本文主角是中间那一档:

训练阶段 检查点 状态
预训练 Ling-3.0-tiny-base-30T 完成预训练,未中训练
中训练 Ling-3.0-tiny-base-midtrain 完成中训练,未合并、未后训练 ✅
合并 Ling-3.0-tiny-base 基于 WSM 合并,仍未后训练

官方推荐的用途包括:继续预训练(continued pre-training)、中训练、领域适配的 SFT、偏好优化/RL 后训练、蒸馏研究,以及长上下文与 MoE 系统研究;不推荐直接面向终端用户聊天部署或安全关键场景。

关键规格一览(数据来自 config.json 与 README.md):

配置项 数值 说明
架构类型 Hybrid-linear MoE 混合线性注意力 + MoE
参数规模 总 7.9B / 激活 1.3B 推理成本≈1.3B 稠密模型
层数 18 层 KDA + 6 层 Gated MLA(3:1) 24 层,首层为 Dense
专家配置 128 路由专家 + 1 共享专家 每 token 激活 8 个路由专家
隐藏维度 / 注意力头 1536 / 16 head_dim 128
词表大小 157,184 多语言
最大上下文 262,144(256K) max_position_embeddings
精度 bfloat16 权重约 16.4GB
协议 MIT 自由商用、可微调

二、架构解读:7.9B 的 MoE 为什么"小身材、大能量"

1️⃣ 高稀疏 MoE:128 专家只叫醒 9 个

每个 token 只激活 8 个路由专家 + 1 个共享专家,稀疏度约 1/64 量级——模型容量可以做到 7.9B,而实际计算量只有 1.3B。这就是为什么它敢和 16B 的 Ling-2.5-mini、9B 的 Qwen3.5 掰手腕:你花小模型的电费,买大模型的知识容量。

专家路由与门控逻辑可参见 modeling_bailing_moe_v3.py(BailingMoeV3SparseMoeBlock,含共享专家混合结构),路由采用 sigmoid 打分 + 组受限 top-k(topk_method: noaux_tc)。

2️⃣ 原生混合线性注意力:KDA 与 Gated MLA 按 3:1 交替

长上下文的成本和"注意力稀释"一直是 MoE 模型的短板。Ling-3.0 系列从预训练第一天起就采用混合线性注意力:24 层中 18 层使用 KDA(Kimi Delta Attention,线性注意力,KV 缓存近乎 O(1)),6 层使用 Gated MLA(门控多潜注意力,保留全量注意力精度),按 3:1 交替排布。

层类型的判定逻辑在 modeling_bailing_moe_v3.py(BailingMoeV3DecoderLayer):

线性注意力层负责"跑得快",MLA 层负责"记得牢",两者混合让 256K 上下文既能装得下、也读得动——这正是它长上下文成绩突出的底层原因。

MLA 与 KDA 的实现分别位于 modeling_bailing_moe_v3.py(BailingMoeV3MultiLatentAttention)和 modeling_bailing_moe_v3.py(BailingMoeV3KimiDeltaAttention)。

3️⃣ WSM 权重合并:省掉学习率衰减的"彩蛋"

官方用 Warmup-Stable and Merge(WSM)权重合并替代传统学习率衰减收尾。对新手最实在的好处是:检查点更适合继续预训练和动态扩数据,你可以在不同衰减策略间离线探索,不必重跑昂贵实验。

三、实测基准:代码、数学、长上下文三场硬仗

以下数据来自 README.md 的官方 Base Model Evaluation(自建综合基准套件,涵盖知识、代码、数学、推理、多语言与长上下文)。对比模型:Ling-3.0-tiny-base(7.9B A1.3B)、Ling-2.5-mini-base(16B A1.4B)、Qwen3.5-9B、Qwen3.5-4B。

💻 代码能力:全面压制同参数对手

基准 Ling-3.0-tiny-base Ling-2.5-mini-base Qwen3.5-9B Qwen3.5-4B
HumanEval-Plus (Pass@1) 79.27 76.22 52.44 49.39
CruxEval (Pass@1) 67.44 63.19 68.12 64.31
MultiPL-E (Pass@1) 64.38 64.34 52.89 45.47
LiveCodeBench¹ (Pass@1) 24.23 22.91 18.06 13.88
BigCodeBench (Pass@1) 42.89 42.54 29.39 24.39
FullStackBench (Pass@1) 39.48 38.59 37.23 33.14
LCBench² (Pass@1) 41.59 46.16 33.47 19.46

¹ LiveCodeBench (2408–2505);² LCBench (2301–2502)。

解读:7 项代码基准拿下 5 项第一。对 16B 的 Ling-2.5-mini 总体小幅领先(HumanEval-Plus 领先 3 分、LiveCodeBench 领先 1.3 分),仅在 LCBench 上落后 4.57 分;对 Qwen3.5-9B 则是碾压式差距——HumanEval-Plus 高出 26.8 分。作为参考:它尚未做后训练,这个起点相当能打。

🧮 数学能力:与前辈、巨头各有胜负

基准 Ling-3.0-tiny-base Ling-2.5-mini-base Qwen3.5-9B Qwen3.5-4B
MATH500 (Acc) 65.60 68.40 55.20 49.60
OlympiadBench (Acc) 25.90 24.10 21.84 17.02
TheoremQA (Acc) 51.64 50.68 52.88 47.40
OmniMath (Acc) 29.70 29.02 22.99 20.89

解读:数学是 Ling-3.0 的"胶着区"。MATH500 上以 2.8 分之差惜败自家上一代 Ling-2.5-mini(65.60 vs 68.40),但竞赛数学 OlympiadBench 反超(25.90 vs 24.10),OmniMath 也拿下第一。对 Qwen3.5-9B 基本保持 10 分左右的领先。考虑到后训练(尤其 RL 强化)通常能大幅拉升数学推理,这个底座的后劲值得期待。

📚 长上下文:混合线性注意力的主场

基准 Ling-3.0-tiny-base Ling-2.5-mini-base Qwen3.5-9B Qwen3.5-4B
LongBench (Acc) 43.85 29.93 51.87 39.96
LEval (Acc) 68.37 62.72 77.24 63.09

解读:这是 Ling-3.0 架构卖点兑现最明显的一处——LongBench 上领先 Ling-2.5-mini 近 14 分(43.85 vs 29.93)。与 Qwen3.5-9B 仍有差距(Qwen3.5 上下文能力更强),但 7.9B A1.3B 的规格做到 LEval 68.37,长文处理性价比突出,256K 的原生上下文窗口在 max_position_embeddings: 262144(config.json)中可直接确认。

🧠 知识与推理:简述

知识类(CCPM 84.01、ARC-C 92.20、AGIEval 64.49、CEval 80.59、MMLU-Pro 51.83)整体小幅领先 Ling-2.5-mini,落后 Qwen3.5-9B 约 2~6 分;推理类 CommonSenseQA 83.46、BBH 80.64,均超越 Ling-2.5-mini。总体画像:代码最强、数学稳健、长上下文亮眼、知识全面。

四、上手指南:如何获取与二次开发

📥 一键克隆模型仓库

git clone https://gitcode.com/hf_mirrors/inclusionAI/Ling-3.0-tiny-base-midtrain

📂 仓库文件结构速览

文件 作用
config.json 模型架构配置(层数、专家数、上下文等)
configuration_bailing_moe_v3.py HuggingFace 自定义 Config 类
modeling_bailing_moe_v3.py 模型实现(KDA/MLA/MoE 核心代码,约 1600 行)
chat_template.jinja 对话模板(支持 system/user/assistant 与工具调用)
tokenizer.json / tokenizer_config.json 词表与分词配置(157,184 词表)
special_tokens_map.json 特殊 token 映射(eos 等)
model-00001-of-00002.safetensors / model-00002-of-00002.safetensors bf16 权重分片(合计约 16.4GB)
model.safetensors.index.json 权重索引

模型通过 BailingMoeV3ForCausalLM(modeling_bailing_moe_v3.py)加载,兼容 transformers 生态。官方建议参考 ling-cookbook 仓库获取微调示例;对话行为由 chat_template.jinja 定义,已内置 reasoning(think)与工具调用(tool call)格式。

⚠️ 使用提醒

  • 这是 mid-train 检查点:未经过 WSM 合并与后训练,直接对话体验会"直来直去",务必先做 SFT / RL 对齐再上生产;
  • 硬件参考:bf16 权重约 16.4GB,单张 24GB 显存卡(如 RTX 4090/A5000)可跑推理,训练需按 MoE 多卡方案规划;
  • 想在更大规模复现训练策略,可无缝升级到 Ling-3.0-flash-base(同一训练配方)。

五、总结:谁应该关注 Ling-3.0-tiny-base-midtrain

  • 🏆 代码场景:同规格第一梯队,未后训练即领先 16B 前辈,是低成本代码底座的不二之选;
  • 🧮 数学场景:稳健但非统治级,适合叠加 RL 强化后训练放大收益;
  • 📚 长上下文:混合线性注意力架构实打实兑现红利,256K 窗口 + LEval 68.37;
  • 🔧 研究者友好:MIT 协议 + 开源全部架构代码(KDA、Gated MLA、稀疏路由均可见源码)+ 三阶段检查点齐备,做继续预训练、蒸馏、MoE 系统研究材料齐全。

一句话评价:7.9B 的总参、1.3B 的开销、256K 的视野,在代码与长上下文上硬刚 Ling-2.5-mini 和 Qwen3.5 不落下风——这就是 Ling-3.0-tiny-base-midtrain 给社区的诚意。

登录后查看全文
Ling-3.0-tiny-base-midtrain