Ling-3.0-tiny-base-midtrain 评测报告:7.9B MoE 在代码、数学与长上下文上硬刚 Ling-2.5-mini 和 Qwen3.5
Ling-3.0-tiny-base-midtrain 评测报告:7.9B MoE 在代码、数学与长上下文上硬刚 Ling-2.5-mini 和 Qwen3.5
Ling-3.0-tiny-base-midtrain 是蚂蚁开源 Ling-3.0 系列中总参数 7.9B、每 token 仅激活 1.3B 的 MoE(混合专家)语言模型检查点,采用原生混合线性注意力架构,原生支持 256K 长上下文。它已完成大规模预训练和中训练(mid-training),但尚未做后训练对齐——本文基于官方基准数据,完整评测它在代码、数学、长上下文三大硬核场景下的表现,并与 Ling-2.5-mini(16B A1.4B)、Qwen3.5-9B、Qwen3.5-4B 正面硬刚,帮新手快速判断:这个"小钢炮"值不值得用。
一、Ling-3.0-tiny-base-midtrain 是什么:一张卡片看懂定位
先说结论:这是一个面向研究者的"半成品"基础模型检查点,适合二次训练,不适合直接拿来做聊天机器人。
Ling-3.0 系列按训练阶段开放了三种检查点,本文主角是中间那一档:
| 训练阶段 | 检查点 | 状态 |
|---|---|---|
| 预训练 | Ling-3.0-tiny-base-30T | 完成预训练,未中训练 |
| 中训练 | Ling-3.0-tiny-base-midtrain | 完成中训练,未合并、未后训练 ✅ |
| 合并 | Ling-3.0-tiny-base | 基于 WSM 合并,仍未后训练 |
官方推荐的用途包括:继续预训练(continued pre-training)、中训练、领域适配的 SFT、偏好优化/RL 后训练、蒸馏研究,以及长上下文与 MoE 系统研究;不推荐直接面向终端用户聊天部署或安全关键场景。
关键规格一览(数据来自 config.json 与 README.md):
| 配置项 | 数值 | 说明 |
|---|---|---|
| 架构类型 | Hybrid-linear MoE | 混合线性注意力 + MoE |
| 参数规模 | 总 7.9B / 激活 1.3B | 推理成本≈1.3B 稠密模型 |
| 层数 | 18 层 KDA + 6 层 Gated MLA(3:1) | 24 层,首层为 Dense |
| 专家配置 | 128 路由专家 + 1 共享专家 | 每 token 激活 8 个路由专家 |
| 隐藏维度 / 注意力头 | 1536 / 16 | head_dim 128 |
| 词表大小 | 157,184 | 多语言 |
| 最大上下文 | 262,144(256K) | max_position_embeddings |
| 精度 | bfloat16 | 权重约 16.4GB |
| 协议 | MIT | 自由商用、可微调 |
二、架构解读:7.9B 的 MoE 为什么"小身材、大能量"
1️⃣ 高稀疏 MoE:128 专家只叫醒 9 个
每个 token 只激活 8 个路由专家 + 1 个共享专家,稀疏度约 1/64 量级——模型容量可以做到 7.9B,而实际计算量只有 1.3B。这就是为什么它敢和 16B 的 Ling-2.5-mini、9B 的 Qwen3.5 掰手腕:你花小模型的电费,买大模型的知识容量。
专家路由与门控逻辑可参见 modeling_bailing_moe_v3.py(BailingMoeV3SparseMoeBlock,含共享专家混合结构),路由采用 sigmoid 打分 + 组受限 top-k(topk_method: noaux_tc)。
2️⃣ 原生混合线性注意力:KDA 与 Gated MLA 按 3:1 交替
长上下文的成本和"注意力稀释"一直是 MoE 模型的短板。Ling-3.0 系列从预训练第一天起就采用混合线性注意力:24 层中 18 层使用 KDA(Kimi Delta Attention,线性注意力,KV 缓存近乎 O(1)),6 层使用 Gated MLA(门控多潜注意力,保留全量注意力精度),按 3:1 交替排布。
层类型的判定逻辑在 modeling_bailing_moe_v3.py(BailingMoeV3DecoderLayer):
线性注意力层负责"跑得快",MLA 层负责"记得牢",两者混合让 256K 上下文既能装得下、也读得动——这正是它长上下文成绩突出的底层原因。
MLA 与 KDA 的实现分别位于 modeling_bailing_moe_v3.py(BailingMoeV3MultiLatentAttention)和 modeling_bailing_moe_v3.py(BailingMoeV3KimiDeltaAttention)。
3️⃣ WSM 权重合并:省掉学习率衰减的"彩蛋"
官方用 Warmup-Stable and Merge(WSM)权重合并替代传统学习率衰减收尾。对新手最实在的好处是:检查点更适合继续预训练和动态扩数据,你可以在不同衰减策略间离线探索,不必重跑昂贵实验。
三、实测基准:代码、数学、长上下文三场硬仗
以下数据来自 README.md 的官方 Base Model Evaluation(自建综合基准套件,涵盖知识、代码、数学、推理、多语言与长上下文)。对比模型:Ling-3.0-tiny-base(7.9B A1.3B)、Ling-2.5-mini-base(16B A1.4B)、Qwen3.5-9B、Qwen3.5-4B。
💻 代码能力:全面压制同参数对手
| 基准 | Ling-3.0-tiny-base | Ling-2.5-mini-base | Qwen3.5-9B | Qwen3.5-4B |
|---|---|---|---|---|
| HumanEval-Plus (Pass@1) | 79.27 | 76.22 | 52.44 | 49.39 |
| CruxEval (Pass@1) | 67.44 | 63.19 | 68.12 | 64.31 |
| MultiPL-E (Pass@1) | 64.38 | 64.34 | 52.89 | 45.47 |
| LiveCodeBench¹ (Pass@1) | 24.23 | 22.91 | 18.06 | 13.88 |
| BigCodeBench (Pass@1) | 42.89 | 42.54 | 29.39 | 24.39 |
| FullStackBench (Pass@1) | 39.48 | 38.59 | 37.23 | 33.14 |
| LCBench² (Pass@1) | 41.59 | 46.16 | 33.47 | 19.46 |
¹ LiveCodeBench (2408–2505);² LCBench (2301–2502)。
解读:7 项代码基准拿下 5 项第一。对 16B 的 Ling-2.5-mini 总体小幅领先(HumanEval-Plus 领先 3 分、LiveCodeBench 领先 1.3 分),仅在 LCBench 上落后 4.57 分;对 Qwen3.5-9B 则是碾压式差距——HumanEval-Plus 高出 26.8 分。作为参考:它尚未做后训练,这个起点相当能打。
🧮 数学能力:与前辈、巨头各有胜负
| 基准 | Ling-3.0-tiny-base | Ling-2.5-mini-base | Qwen3.5-9B | Qwen3.5-4B |
|---|---|---|---|---|
| MATH500 (Acc) | 65.60 | 68.40 | 55.20 | 49.60 |
| OlympiadBench (Acc) | 25.90 | 24.10 | 21.84 | 17.02 |
| TheoremQA (Acc) | 51.64 | 50.68 | 52.88 | 47.40 |
| OmniMath (Acc) | 29.70 | 29.02 | 22.99 | 20.89 |
解读:数学是 Ling-3.0 的"胶着区"。MATH500 上以 2.8 分之差惜败自家上一代 Ling-2.5-mini(65.60 vs 68.40),但竞赛数学 OlympiadBench 反超(25.90 vs 24.10),OmniMath 也拿下第一。对 Qwen3.5-9B 基本保持 10 分左右的领先。考虑到后训练(尤其 RL 强化)通常能大幅拉升数学推理,这个底座的后劲值得期待。
📚 长上下文:混合线性注意力的主场
| 基准 | Ling-3.0-tiny-base | Ling-2.5-mini-base | Qwen3.5-9B | Qwen3.5-4B |
|---|---|---|---|---|
| LongBench (Acc) | 43.85 | 29.93 | 51.87 | 39.96 |
| LEval (Acc) | 68.37 | 62.72 | 77.24 | 63.09 |
解读:这是 Ling-3.0 架构卖点兑现最明显的一处——LongBench 上领先 Ling-2.5-mini 近 14 分(43.85 vs 29.93)。与 Qwen3.5-9B 仍有差距(Qwen3.5 上下文能力更强),但 7.9B A1.3B 的规格做到 LEval 68.37,长文处理性价比突出,256K 的原生上下文窗口在 max_position_embeddings: 262144(config.json)中可直接确认。
🧠 知识与推理:简述
知识类(CCPM 84.01、ARC-C 92.20、AGIEval 64.49、CEval 80.59、MMLU-Pro 51.83)整体小幅领先 Ling-2.5-mini,落后 Qwen3.5-9B 约 2~6 分;推理类 CommonSenseQA 83.46、BBH 80.64,均超越 Ling-2.5-mini。总体画像:代码最强、数学稳健、长上下文亮眼、知识全面。
四、上手指南:如何获取与二次开发
📥 一键克隆模型仓库
git clone https://gitcode.com/hf_mirrors/inclusionAI/Ling-3.0-tiny-base-midtrain
📂 仓库文件结构速览
| 文件 | 作用 |
|---|---|
| config.json | 模型架构配置(层数、专家数、上下文等) |
| configuration_bailing_moe_v3.py | HuggingFace 自定义 Config 类 |
| modeling_bailing_moe_v3.py | 模型实现(KDA/MLA/MoE 核心代码,约 1600 行) |
| chat_template.jinja | 对话模板(支持 system/user/assistant 与工具调用) |
| tokenizer.json / tokenizer_config.json | 词表与分词配置(157,184 词表) |
| special_tokens_map.json | 特殊 token 映射(eos 等) |
| model-00001-of-00002.safetensors / model-00002-of-00002.safetensors | bf16 权重分片(合计约 16.4GB) |
| model.safetensors.index.json | 权重索引 |
模型通过 BailingMoeV3ForCausalLM(modeling_bailing_moe_v3.py)加载,兼容 transformers 生态。官方建议参考 ling-cookbook 仓库获取微调示例;对话行为由 chat_template.jinja 定义,已内置 reasoning(think)与工具调用(tool call)格式。
⚠️ 使用提醒
- 这是 mid-train 检查点:未经过 WSM 合并与后训练,直接对话体验会"直来直去",务必先做 SFT / RL 对齐再上生产;
- 硬件参考:bf16 权重约 16.4GB,单张 24GB 显存卡(如 RTX 4090/A5000)可跑推理,训练需按 MoE 多卡方案规划;
- 想在更大规模复现训练策略,可无缝升级到 Ling-3.0-flash-base(同一训练配方)。
五、总结:谁应该关注 Ling-3.0-tiny-base-midtrain
- 🏆 代码场景:同规格第一梯队,未后训练即领先 16B 前辈,是低成本代码底座的不二之选;
- 🧮 数学场景:稳健但非统治级,适合叠加 RL 强化后训练放大收益;
- 📚 长上下文:混合线性注意力架构实打实兑现红利,256K 窗口 + LEval 68.37;
- 🔧 研究者友好:MIT 协议 + 开源全部架构代码(KDA、Gated MLA、稀疏路由均可见源码)+ 三阶段检查点齐备,做继续预训练、蒸馏、MoE 系统研究材料齐全。
一句话评价:7.9B 的总参、1.3B 的开销、256K 的视野,在代码与长上下文上硬刚 Ling-2.5-mini 和 Qwen3.5 不落下风——这就是 Ling-3.0-tiny-base-midtrain 给社区的诚意。