三阶段训练范式拆解:Agents-A1-F16-GGUF背后的SFT、领域教师与在线策略蒸馏全路径
三阶段训练范式拆解:Agents-A1-F16-GGUF背后的SFT、领域教师与在线策略蒸馏全路径
Agents-A1-F16-GGUF 是 InternScience 开源智能体模型 Agents-A1(35B-A3B MoE)的 GGUF 全精度量化版本,面向长程搜索、工程、科研、指令跟随与工具调用等多领域 Agent 场景。本文完整拆解它背后的三阶段训练范式:全域 SFT、领域教师模型、多教师在线策略蒸馏,帮助你理解一个 35B 模型如何逼近万亿参数级别的 Agent 能力。
🧩 项目速览:一个 35B 的 Agent,跑出"超大模型"的效果
Agents-A1 是一个 35B 规模的 Mixture-of-Experts(MoE)Agent 模型,同时具备视觉理解能力(VLM)。它的核心主张是:
"Scaling the Horizon, Not the Parameters" —— 扩展的是任务的"地平线"(长程轨迹与异构能力),而不是简单堆参数。
本仓库直接提供可本地推理的 GGUF 权重文件:
| 文件 | 说明 |
|---|---|
| Agents-A1-F16.gguf | 语言模型主体权重(F16,即 16 位浮点全精度) |
| Agents-A1-mmproj.gguf | 多模态投影器(mmproj),负责把图像特征接入语言模型 |
| README.md | 模型卡:训练范式、基准成绩、部署与采样参数说明 |
📌 小知识:GGUF 是一种专为本地推理设计的模型文件格式,单文件即可加载;F16 表示保留 16 位浮点精度,几乎没有量化损失,适合作为后续量化(Q4/Q8 等)的基准版本。
🎯 为什么需要"三阶段训练范式"?
传统模型训练往往针对单一任务优化,但 Agent 要处理的是异构能力:又要会搜索、又要会写代码、又要懂科研、还要严格遵循复杂指令。硬把不同领域的数据混在一起训练,容易出现"顾此失彼"。
Agents-A1 从两个维度研究 Agent 能力扩展:
- 长程轨迹扩展:构建"领域落地的知识-行动基础设施",联合构造 动作(actions)、观察(observations)与验证器结果(verifier outcomes),把 Agent 的完整过程本身变成可训练的目标。
- 异构能力扩展:即本文主角——三阶段训练范式,分步构建可扩展的通用 Agent 模型。
📌 第一阶段:全域 SFT,对齐通用 Agent 行为
全域监督微调(Full-Domain SFT) 是整个范式的起点:
- 🎯 目标:让基础模型对齐"宽泛的 Agent 行为"——任务分解、多步规划、工具调用格式、基于中间结果调整策略等。
- 🧱 作用:相当于给模型打地基。后续两个阶段再深,如果模型连"如何发起一次工具调用、如何组织长程轨迹"都不会,领域专家的知识也注入不进去。
- 📝 数据来源:覆盖长程搜索、工程任务、科研推理、指令跟随、工具调用等多领域的行为数据,保证基础行为具备广谱性。
一句话总结:第一阶段解决"像不像一个 Agent"的问题。
🎓 第二阶段:领域教师模型,沉淀每个领域的"专家知识"
全领域 SFT 之后,模型"什么都会一点",但每个领域都不够深。第二阶段的思路借鉴了人类培养专家的方式——分领域培养"教师":
- 🧑🏫 做法:在长程搜索、工程、科研等不同领域分别训练 领域级教师模型(domain-level teacher models)。
- 🧠 目的:每个教师模型深度捕捉本领域的专业知识和解题模式(例如科研推理的证据链组织、工程任务的代码验证闭环)。
- 🔀 为什么分开训:不同领域的知识密度、推理风格、工具使用习惯差异很大,混在一起会互相稀释;单独训练能保留领域的"纯度"。
一句话总结:第二阶段解决"每个领域是否够专业"的问题。
⚡ 第三阶段:多教师在线策略蒸馏 + 异质性感知优化
如果直接把多个教师的能力硬合并,往往顾此失彼——这正是该范式最有价值的部分。Agents-A1 提出了 多教师、多领域在线策略蒸馏(Multi-teacher Multi-domain On-policy Distillation),并配合异质性感知优化(Heterogeneity-aware Optimization):
| 关键概念 | 通俗解释 |
|---|---|
| 在线策略蒸馏(On-policy Distillation) | 让学生模型按自己的策略生成轨迹,再由对应领域的教师在学生实际走出的路径上给指导。避免"照着教师示范背答案"的分布偏差 |
| 多教师(Multi-teacher) | 学生同时向多个领域教师学习,每个教师只对自己擅长的领域发声,减少相互干扰 |
| 异质性感知优化(Heterogeneity-aware Optimization) | 感知不同领域数据的"性格差异",对不同领域采用差异化的优化策略,提升跨域知识迁移效率 |
💡 对初学者的理解方式:
- 离线蒸馏 ≈ 抄学霸的笔记(但学霸的笔记不一定适合你的解题路径)
- 在线策略蒸馏 ≈ 你先自己做,老师在你卡住的具体步骤上点拨——学得更扎实
一句话总结:第三阶段解决"专家知识如何高效、无冲突地装进同一个学生"的问题。
📊 三阶段训练的成果:~35B 模型比肩前沿大模型
按 README 中的基准成绩(🥇 表示总体 SOTA,🟢 表示同量级 ~35B 模型中最佳):
| 能力方向 | 基准 | Agents-A1 得分 |
|---|---|---|
| 🔍 长程搜索 | Seal0 | 🥇 56.4 |
| 🔍 长程搜索 | GAIA | 🟢 96.0 |
| 🧪 科研推理 | HiPhO | 🥇 46.4 |
| 🧪 科研推理 | FrontierScience-Olympiad | 🥇 79.0 |
| 🧪 科研推理 | FrontierScience-Research | 🥇 40.00 |
| 📋 指令跟随 | IFBench | 🥇 80.6 |
| 📋 指令跟随 | IFEval | 🥇 94.8 |
| ⚙️ 工程任务 | SciCode | 🟢 44.3 |
可以看到:在科研(FrontierScience-Research 40.00 vs 同量级模型约 2.5~6.7)和指令跟随等方向上,三阶段范式的收益尤为明显——这正是"异构能力扩展"目标最直接的体现。完整的基准对比图见 figures/a1_benchmarks_altair_grid.svg。
🚀 本地使用提示:拿到 GGUF 权重后怎么跑
- 使用 Agents-A1-F16.gguf 作为模型主体,搭配 Agents-A1-mmproj.gguf 启用视觉输入;仅处理纯文本时可跳过 mmproj,把显存留给 KV Cache。
- 原始 HF 权重兼容 Hugging Face Transformers、vLLM、SGLang 等主流推理框架;GGUF 格式则面向 llama.cpp 生态的本地部署。
- 官方推荐的采样参数(保证生成质量的关键):
| 参数 | 推荐值 |
|---|---|
temperature |
0.85 |
top_p |
0.95 |
top_k |
20 |
presence_penalty |
1.1 |
📎 更多部署命令与参数细节,请参考 README.md 中的 Usage 章节。
✅ 小结:一张图记住三阶段范式
| 阶段 | 名称 | 解决的问题 |
|---|---|---|
| 一 | 全域 SFT | 模型"像个 Agent":通用行为对齐 |
| 二 | 领域教师模型 | 每个领域"够专业":沉淀专家知识 |
| 三 | 在线策略蒸馏 + 异质性感知优化 | 专家知识"装得进、不打架":高效跨域迁移 |
对做本地 AI 助手或 Agent 应用的开发者来说,Agents-A1-F16-GGUF 的价值在于:你不仅拿到一份能直接跑的权重,更拿到了一套经过验证的 Agent 能力构建方法论——先用 SFT 立骨架,再用领域教师注入专业度,最后用在线策略蒸馏把碎片能力融合成通用能力。这套范式本身,就是值得借鉴的"训练配方"。