三阶段训练范式拆解:Agents-A1-F16-GGUF背后的SFT、领域教师与在线策略蒸馏全路径

原创2026-10-24 17:08:451,637 阅读

三阶段训练范式拆解:Agents-A1-F16-GGUF背后的SFT、领域教师与在线策略蒸馏全路径

Agents-A1-F16-GGUF 是 InternScience 开源智能体模型 Agents-A1(35B-A3B MoE)的 GGUF 全精度量化版本,面向长程搜索、工程、科研、指令跟随与工具调用等多领域 Agent 场景。本文完整拆解它背后的三阶段训练范式:全域 SFT、领域教师模型、多教师在线策略蒸馏,帮助你理解一个 35B 模型如何逼近万亿参数级别的 Agent 能力。

🧩 项目速览:一个 35B 的 Agent,跑出"超大模型"的效果

Agents-A1 是一个 35B 规模的 Mixture-of-Experts(MoE)Agent 模型,同时具备视觉理解能力(VLM)。它的核心主张是:

"Scaling the Horizon, Not the Parameters" —— 扩展的是任务的"地平线"(长程轨迹与异构能力),而不是简单堆参数。

本仓库直接提供可本地推理的 GGUF 权重文件:

文件 说明
Agents-A1-F16.gguf 语言模型主体权重(F16,即 16 位浮点全精度)
Agents-A1-mmproj.gguf 多模态投影器(mmproj),负责把图像特征接入语言模型
README.md 模型卡:训练范式、基准成绩、部署与采样参数说明

📌 小知识:GGUF 是一种专为本地推理设计的模型文件格式,单文件即可加载;F16 表示保留 16 位浮点精度,几乎没有量化损失,适合作为后续量化(Q4/Q8 等)的基准版本。

🎯 为什么需要"三阶段训练范式"?

传统模型训练往往针对单一任务优化,但 Agent 要处理的是异构能力:又要会搜索、又要会写代码、又要懂科研、还要严格遵循复杂指令。硬把不同领域的数据混在一起训练,容易出现"顾此失彼"。

Agents-A1 从两个维度研究 Agent 能力扩展:

  1. 长程轨迹扩展:构建"领域落地的知识-行动基础设施",联合构造 动作(actions)、观察(observations)与验证器结果(verifier outcomes),把 Agent 的完整过程本身变成可训练的目标。
  2. 异构能力扩展:即本文主角——三阶段训练范式,分步构建可扩展的通用 Agent 模型。

📌 第一阶段:全域 SFT,对齐通用 Agent 行为

全域监督微调(Full-Domain SFT) 是整个范式的起点:

  • 🎯 目标:让基础模型对齐"宽泛的 Agent 行为"——任务分解、多步规划、工具调用格式、基于中间结果调整策略等。
  • 🧱 作用:相当于给模型打地基。后续两个阶段再深,如果模型连"如何发起一次工具调用、如何组织长程轨迹"都不会,领域专家的知识也注入不进去。
  • 📝 数据来源:覆盖长程搜索、工程任务、科研推理、指令跟随、工具调用等多领域的行为数据,保证基础行为具备广谱性。

一句话总结:第一阶段解决"像不像一个 Agent"的问题。

🎓 第二阶段:领域教师模型,沉淀每个领域的"专家知识"

全领域 SFT 之后,模型"什么都会一点",但每个领域都不够深。第二阶段的思路借鉴了人类培养专家的方式——分领域培养"教师":

  • 🧑‍🏫 做法:在长程搜索、工程、科研等不同领域分别训练 领域级教师模型(domain-level teacher models)。
  • 🧠 目的:每个教师模型深度捕捉本领域的专业知识和解题模式(例如科研推理的证据链组织、工程任务的代码验证闭环)。
  • 🔀 为什么分开训:不同领域的知识密度、推理风格、工具使用习惯差异很大,混在一起会互相稀释;单独训练能保留领域的"纯度"。

一句话总结:第二阶段解决"每个领域是否够专业"的问题。

⚡ 第三阶段:多教师在线策略蒸馏 + 异质性感知优化

如果直接把多个教师的能力硬合并,往往顾此失彼——这正是该范式最有价值的部分。Agents-A1 提出了 多教师、多领域在线策略蒸馏(Multi-teacher Multi-domain On-policy Distillation),并配合异质性感知优化(Heterogeneity-aware Optimization):

关键概念 通俗解释
在线策略蒸馏(On-policy Distillation) 让学生模型按自己的策略生成轨迹,再由对应领域的教师在学生实际走出的路径上给指导。避免"照着教师示范背答案"的分布偏差
多教师(Multi-teacher) 学生同时向多个领域教师学习,每个教师只对自己擅长的领域发声,减少相互干扰
异质性感知优化(Heterogeneity-aware Optimization) 感知不同领域数据的"性格差异",对不同领域采用差异化的优化策略,提升跨域知识迁移效率

💡 对初学者的理解方式:

  • 离线蒸馏 ≈ 抄学霸的笔记(但学霸的笔记不一定适合你的解题路径)
  • 在线策略蒸馏 ≈ 你先自己做,老师在你卡住的具体步骤上点拨——学得更扎实

一句话总结:第三阶段解决"专家知识如何高效、无冲突地装进同一个学生"的问题。

📊 三阶段训练的成果:~35B 模型比肩前沿大模型

按 README 中的基准成绩(🥇 表示总体 SOTA,🟢 表示同量级 ~35B 模型中最佳):

能力方向 基准 Agents-A1 得分
🔍 长程搜索 Seal0 🥇 56.4
🔍 长程搜索 GAIA 🟢 96.0
🧪 科研推理 HiPhO 🥇 46.4
🧪 科研推理 FrontierScience-Olympiad 🥇 79.0
🧪 科研推理 FrontierScience-Research 🥇 40.00
📋 指令跟随 IFBench 🥇 80.6
📋 指令跟随 IFEval 🥇 94.8
⚙️ 工程任务 SciCode 🟢 44.3

可以看到:在科研(FrontierScience-Research 40.00 vs 同量级模型约 2.5~6.7)和指令跟随等方向上,三阶段范式的收益尤为明显——这正是"异构能力扩展"目标最直接的体现。完整的基准对比图见 figures/a1_benchmarks_altair_grid.svg。

🚀 本地使用提示:拿到 GGUF 权重后怎么跑

  • 使用 Agents-A1-F16.gguf 作为模型主体,搭配 Agents-A1-mmproj.gguf 启用视觉输入;仅处理纯文本时可跳过 mmproj,把显存留给 KV Cache。
  • 原始 HF 权重兼容 Hugging Face Transformers、vLLM、SGLang 等主流推理框架;GGUF 格式则面向 llama.cpp 生态的本地部署。
  • 官方推荐的采样参数(保证生成质量的关键):
参数 推荐值
temperature 0.85
top_p 0.95
top_k 20
presence_penalty 1.1

📎 更多部署命令与参数细节,请参考 README.md 中的 Usage 章节。

✅ 小结:一张图记住三阶段范式

阶段 名称 解决的问题
一 全域 SFT 模型"像个 Agent":通用行为对齐
二 领域教师模型 每个领域"够专业":沉淀专家知识
三 在线策略蒸馏 + 异质性感知优化 专家知识"装得进、不打架":高效跨域迁移

对做本地 AI 助手或 Agent 应用的开发者来说,Agents-A1-F16-GGUF 的价值在于:你不仅拿到一份能直接跑的权重,更拿到了一套经过验证的 Agent 能力构建方法论——先用 SFT 立骨架,再用领域教师注入专业度,最后用在线策略蒸馏把碎片能力融合成通用能力。这套范式本身,就是值得借鉴的"训练配方"。

登录后查看全文
Agents-A1-F16-GGUF