AgentStore：像 App Store 一样动态集成异构 Agent——AgentToken 驱动的可扩展通用计算机助手框架

本篇文章基于浙大 Daily 实验室开源仓库（Foundations-of-LLMs）中收录的 Arxiv 一周进展报告，深入解读西安交通大学与上海 AI Lab 等机构于 2024 年 10 月提出的 AgentStore 框架（论文编号 arXiv:2410.18603，作者 Miao Yu、Shilong Wang 等）。文章将依次剖析其研究动机、三大核心组件（AgentPool / AgentEnroll / MetaAgent）、创新性的 MetaAgent 与 AgentToken 策略、AgentToken 训练流程（Self-Instruct 数据生成 + BERTScore 筛选 + 负对数似然优化），以及在 OSWorld 真实环境基准上的管理模式消融设计。读完本文，你将完整掌握 AgentStore "Agent 版 App Store" 的架构思路、AgentToken 选择机制的原理与训练细节，并了解如何借助本仓库的论文列表与教材章节继续深挖智能体与大模型底层基础。

一、研究背景与动机：为什么需要"Agent 的 App Store"

在真实世界环境中，大模型 Agent 往往被要求处理开放式任务（Open-ended Tasks）——这类任务类型多样、边界模糊，难以预先穷举。现有的 Agent 方法在处理这类任务时，普遍暴露出两方面短板：

• 泛化能力不足：单一通用 Agent 很难在所有任务类别上都表现稳定，其在某些特定任务类别上表现较弱；
• 专业化能力欠缺：任务往往需要特定领域的专长（如操作某个具体应用、处理某种模态的输入），而通用 Agent 不具备这种"专项技能"。

更深层的矛盾在于：即使手头已经拥有大量各有所长的专门 Agent，也缺乏一套有效的集成与管理机制来把合适的工作交给合适的 Agent。这正是 AgentStore 要解决的问题。

论文的灵感来源非常直观——App Store。智能手机生态里，用户不会指望一款 App 搞定所有事，而是从应用商店中按需下载、组合各类专用 App。AgentStore 把同样的理念搬到计算机 Agent 世界：动态集成异构 Agent，并借助高效的管理策略实现系统任务的自动化。一方面让专门 Agent 在各自擅长的领域发挥作用，另一方面由统一调度者根据任务动态选择、组合它们，从而同时获得"专业性"与"通用性"。

该主题与本仓库的方向高度契合：仓库 readme.md 中明确说明，作者团队"后续还将继续探索大模型推理加速、大模型智能体等方向"，本报告正是这一方向探索的阶段性积累。

二、总体框架：AgentPool、AgentEnroll 与 MetaAgent 三大组件

AgentStore 平台的整体架构由三个核心组件构成，分别承担"存储"、"注册"与"调度"职责，形成了一条从 Agent 入库到任务分发再到执行反馈的完整链路。

AgentPool：异构 Agent 的"应用市场"

AgentPool 是平台中存储具有不同功能 Agent 的池子，类比 App Store 中的应用库。其关键特征是"异构性"：

• 模态维度：涵盖从单模态到多模态的 Agent；
• 模型来源维度：涵盖从开源到闭源模型的 Agent；
• 交互界面维度：涵盖命令行界面（CLI）到图形用户界面（GUI）等多种类型的 Agent。

这种异构设计保证了 AgentPool 能够满足多样化的任务需求——不同任务可能落在不同模态、不同模型、不同交互界面上，AgentPool 的价值就在于"广覆盖、可挑选"。

AgentEnroll：标准化的 Agent 注册协议

AgentPool 中的 Agent 并非随意堆放，而是通过 AgentEnroll 定义的一套集成协议规范地"上架"。该协议要求每个新增 Agent 提供并登记以下信息：

• 能力（Agent 能做什么）；
• 限制（Agent 不能做什么 / 边界条件）；
• 交互的应用程序（Agent 面向哪些应用操作）；
• 功能演示（Agent 的示例用法）。

通过这套协议，所有 Agent 的注册信息以标准化格式存储，确保它们规范地融入平台、便于统一管理与查询。可以理解为：AgentEnroll 保证了"上架"环节的数据质量与一致性，为后续 MetaAgent 的检索与调度提供了可靠的基础设施。

MetaAgent：平台的核心调度者

MetaAgent 是整个平台的核心组件，职责是"根据任务描述和系统状态，从 AgentPool 中选择合适的 Agent（单个或多个），独立或协作地完成任务"。它相当于 App Store 里的"智能推荐与派单系统"：输入是任务描述与系统状态，输出是"选谁、怎么分工、如何执行"的决策。

三、MetaAgent 与 AgentToken 策略

MetaAgent 是 AgentStore 管理能力的集中体现。对于不同的任务，MetaAgent 采用思维链（Chain-of-Thought）的方式进行分析，并在两种执行模式中进行选择：

• 单 Agent 路由：任务适合由单个 Agent 独立完成时采用；
• 多 Agent 协作：任务需要多个 Agent 分工配合时采用。

（关于思维链本身的概念与机理，可参见仓库教材 第3章 Prompt 工程 中的"思维链"小节。）

而驱动这一选择过程的关键技术，正是论文的核心创新——AgentToken 策略。

AgentToken 嵌入：让 Agent 成为"可预测的 token"

AgentToken 策略的第一步是把"Agent"变成模型可以直接处理的对象：

• 每个 Agent 被表示为一个可学习的 token 嵌入（learnable token embedding）；
• 这些嵌入被添加到 MetaAgent 的词汇表中。

也就是说，MetaAgent 原本的词汇表被扩张，新增了一批与各 Agent 一一对应的"虚拟 token"。既然 Agent 有了自己的 token 表示，那么"选择哪个 Agent"这一决策，就可以被自然地转化成一个标准的 token 预测问题——这正是后续单/多 Agent 路由机制能够成立的前提。

从技术渊源上看，这种"为模型引入少量可学习向量、并围绕它们做决策"的做法，与参数高效微调中 Prompt Tuning、Prefix-Tuning 等"参数附加方法"的思路一脉相承——相关论文在仓库的 大模型经典论文列表（参数高效微调章节）中均有收录，可供对照研读。

单 Agent 路由：把 Agent 选择转化为"下一个 token 预测"

在推理阶段，单 Agent 路由的执行过程非常简洁优雅：

1. MetaAgent 以任务描述与系统状态为上下文，通过最大化条件概率来预测最可能的下一个 token；
2. 如果预测出的 token 是某个 Agent token，则激活对应的 Agent 去执行任务。

这里的精髓在于：MetaAgent 不需要任何复杂的"工具选择打分器"，它复用了自回归语言模型最擅长的能力——预测下一个 token。当"下一个 token"恰好落在 Agent token 词汇上时，选择决策便自动完成。这使得Agent 路由与模型的自然语言生成融为一体，无需在生成过程之外另起一套选择逻辑。

多 Agent 协作：TopK 选择与 Manager 模式

对于需要多个 Agent 协作完成的任务，单 token 预测就不够了。此时 MetaAgent 采用多 token 预测机制：

1. 使用 TopK 函数选择概率最高的 K 个 Agent token，即一次选出 K 个最合适的 Agent；
2. MetaAgent 切换到 Manager（管理者）模式，使用构建好的提示模板，将任务分解为多个子任务，并分配给选定的 Agent。

这一"规划—分工—执行"的协作范式，与业界经典的 HuggingGPT（由 ChatGPT 规划任务、调度 Hugging Face 上的各专家模型）等"中央调度 + 专家执行"架构一脉相承——HuggingGPT 论文同样收录在本仓库的 大模型经典论文列表（Prompt 工程"相关应用"部分）。

四、AgentToken 训练：低成本教会 MetaAgent"选谁干活"

AgentToken 策略并不是靠提示词"碰运气"，而是有完整的训练流程来保证 MetaAgent 学会正确的 Agent 选择。训练分为数据生成与训练过程两个阶段。

数据生成：Self-Instruct 与 BERTScore 质量筛选

高质量的训练数据是 AgentToken 策略有效的前提。AgentStore 采用 Self-Instruct 方式自动化生成演示数据，流程如下：

1. 种子启动：从少量原始演示集和 Agent 描述出发；
2. 自动生成：让 MetaAgent 依据这些信息生成新的演示集（即新的"任务—Agent 选择"样例）；
3. 质量筛选（BERTScore）：生成新演示后，用 BERTScore 计算新演示与现有演示的相似度，并设定阈值范围进行过滤：
   • 相似度高于上界 → 与现有数据过于相似，视为冗余，剔除；
   • 相似度低于下界 → 与现有数据过于不相似，可能是错误或不相关的样例，剔除；
   • 落在阈值范围内 → 保留，形成精炼后的演示集合；
4. 迭代扩充：重复上述"生成—筛选"过程，直至生成足够的演示用于训练。

值得展开说明的是两个关键技术点：

• Self-Instruct：这一数据增强思路源自 Self-Instruct 论文（Self-Instruct: Aligning Language Models with Self-Generated Instructions），其核心是让模型"自己教自己"——从少量人工种子出发，利用模型本身生成大规模指令与演示。该方法可以显著降低对人工标注的依赖，与本仓库 大模型经典论文列表 中 Prompt 工程与参数高效微调两章收录的 Self-Instruct 论文相对应。
• BERTScore：一种基于 BERT 的文本生成自动评估指标，利用 BERT 的上下文语义嵌入计算生成文本与参考文本的语义相似度（精度、召回与 F1），相比逐字匹配的 BLEU/ROUGE 更能捕捉语义层面的相似。其原始论文 BERTScore: Evaluating Text Generation with BERT（Zhang et al., ICLR 2020）收录于仓库论文列表"语言模型的评测"部分。

训练过程：只更新 Embedding 矩阵的负对数似然优化

有了精炼后的演示数据，接下来就是训练。AgentToken 训练的目标非常明确：让 MetaAgent 学会在给定任务时"点选"正确的 Agent。具体做法是：

1. 构造监督信号：把任务描述和初始状态作为前缀（prefix），在其后附上 Agent token 作为"下一个 token 预测"的正确答案——即告诉模型：面对这个任务，正确的"下一个 token"应该是代表某 Agent 的 token；
2. 训练目标：通过更新与 Agent 对应的 Embedding 矩阵参数，使模型预测正确 Agent token 的概率尽量高；
3. 损失函数：具体通过计算**负对数似然损失（Negative Log-Likelihood，NLL）**来衡量预测误差，即最小化 $-\log P(\text{正确 Agent token} \mid \text{前缀})$；
4. 参数冻结：无需更新模型其他参数——MetaAgent 的主干网络保持不动，只有新增的 Agent token 嵌入矩阵参与训练。

为什么只训练 Embedding？——与参数高效微调思想的呼应

"只更新少量新增参数、冻结主体模型"这一设计并非偶然，它带来三方面直接收益：

• 训练成本低：仅需优化一个 token 嵌入矩阵，规模远小于全量微调，普通 GPU 即可负担；
• 避免灾难性遗忘：主干模型的通用能力不被扰动，新增 Agent 或更新 Agent 能力时，只需调整对应嵌入；
• 可扩展性强：新增一个 Agent 等价于在词表中加一个可学习嵌入 + 为其生成训练数据，天然契合"Agent 商店"持续上架新应用的产品形态。

这种"冻结主干、只调小参数"的思想，与仓库教材 第4章 参数高效微调 所系统讲授的参数高效微调（PEFT）方法论完全一致——教材第四章涵盖了参数附加方法（Prompt Tuning、Prefix-Tuning 等）、参数选择方法与低秩适配方法（LoRA）等主流路线，是理解 AgentToken 训练哲学的极佳背景读物。

五、实验验证：在 OSWorld 真实环境中评估

OSWorld：369 个任务的真实计算机环境基准

实验的主要平台是 OSWorld——一个包含 369 个任务的可扩展真实环境，其中涉及真实的网络应用和桌面应用程序，专门用于评估计算机 Agent 处理开放域任务的能力。与纯文本问答基准不同，OSWorld 要求 Agent 与真实 GUI 环境交互，对泛化性与专业操作能力都提出了更高要求，因此是检验 AgentStore 价值的关键战场。

四种任务管理模式的消融设计

为验证 AgentToken（AT）策略的独立贡献，实验设定了 AgentStore 的四种管理模式，形成完整的消融对照：

模式	全称/含义	机制说明	定位
GT	Ground-Truth 分配	一种理想的任务分配方式，将每个任务分配给最适合的 Agent	可视为当前 AgentStore 实现的性能上限（Oracle）
ICL	上下文学习	在模型输入中提供任务描述和少量示例，让模型学习如何选择 Agent	无训练、零成本基线
FT	全面微调	在大量任务数据上训练模型，通过调整模型参数学习不同任务与 Agent 的关系	强训练成本基线
AT	AgentToken 策略	论文提出的创新方案：Agent 嵌入词表 + token 预测路由 + 嵌入级训练	本文核心方法

（其中 ICL（上下文学习） 正是仓库教材 第3章 Prompt 工程 的"上下文学习"小节所讲授的核心概念，可在对比中体会"提示词驱动"与"参数训练驱动"两条 Agent 管理路线的差异。）

实验结果与关键结论

实验的整体设定与结论如下：

1. 异构 Agent 集成有效：AgentStore 集成了 20 多个专门 Agent，克服了先前方法的局限性。这些专门 Agent 在各自擅长的领域表现出色，在几乎所有任务领域都能稳定发挥；而通用 Agent 则在某些特定任务类别中表现较弱。这说明"专用 Agent 组合"在覆盖面与稳定性上优于"单一大而全 Agent"。

2. Agent 管理策略普遍有效：在不同任务管理方法下，AgentStore 均优于单 Agent 系统——即无论用 ICL、FT 还是 AT 做调度，只要接入 AgentPool 的异构 Agent 组合，整体表现就超过单个通用 Agent。

3. AgentToken（AT）管理能力最佳：在四种管理模式中，AT 策略显著超过其他方法（包括昂贵的全面微调 FT 与无需训练的 ICL），是当前最优的管理方式。结合其"只训练嵌入、冻结主干"的极低成本，AT 在效果与开销两个维度上都占据了明显优势。

需要说明的是，原报告以图表形式呈现的具体数值结果未随文本保留，上述结论均忠实于原文的文字性表述；如需逐项数据，建议查阅论文正文的对应图表。

六、延伸学习：在本仓库中继续深挖

AgentStore 涉及"大模型基础能力 + 智能体编排 + 数据自举 + 参数高效训练"等多个知识层。本仓库恰好为每一层都提供了系统性的学习资源：

相关论文清单

仓库的 大模型经典论文列表 收录了与 AgentStore 直接相关的多篇关键论文，可按图索骥：

• 智能体方向："大语言模型智能体综述"（A survey on large language model based autonomous agents）、Generative Agents、HuggingGPT 等，位于"Prompt 工程 → 相关应用"部分，可了解 Agent 编排的整体脉络；
• 数据自举方向：Self-Instruct 论文，位于"Prompt 工程 → 相关应用"与"参数高效微调 → 实践与应用"两部分，对应 AgentToken 训练的数据生成阶段；
• 评估指标方向：BERTScore 论文，位于"语言模型基础 → 语言模型的评测"部分，对应演示数据质量筛选环节；
• 参数高效训练方向：Prompt Tuning、Prefix-Tuning、LoRA 等论文，位于"参数高效微调"章节，对应"只训练 Agent 嵌入"的轻量训练哲学。

教材章节衔接

• 第1章 语言模型基础：理解 token、词表、条件概率与负对数似然等概念，是读懂 AgentToken 嵌入与训练损失的地基；
• 第3章 Prompt 工程：思维链（CoT）与上下文学习（ICL）正是 MetaAgent 分析与 ICL 管理模式的直接来源；
• 第4章 参数高效微调：AgentToken "只更新嵌入矩阵"的训练方式，是参数高效微调思想在 Agent 选择场景的落地；
• 完整内容可查阅 《大模型基础》完整版 PDF。

同系列周报关联

在本仓库的 Arxiv 周报系列中，可找到与 AgentStore 形成互补的智能体主题文章，例如：

• StepAgent：从小白到大神，过程奖励助力 Agent 进化：关注过程奖励如何提升 Agent 任务完成能力，可与 AgentToken 的选择式训练对照理解；
• Flow-DPO：像数学老师一样思考！多智能体推理链自动生成：多 LLM 组件在线协作生成推理路径，展示了"多智能体协作 + 在线训练"的另一条技术路线。

总结

AgentStore 提供了一套极具工程落地价值的 Agent 集成与管理范式：用 AgentPool 解决"Agent 从哪来"（异构池化）、用 AgentEnroll 解决"Agent 怎么入库"（标准化协议）、用 MetaAgent + AgentToken 解决"任务交给谁"（可学习 token 路由与协作调度）、用 Self-Instruct + BERTScore + 嵌入级 NLL 训练解决"调度能力如何获得"（低成本自动化训练）。

其核心洞察在于：把"选择 Agent"这一高层决策，降维成语言模型最擅长的"下一个 token 预测"，从而让 Agent 管理从"精心设计提示与接口"演进为"用梯度教会模型选人"。结合 OSWorld 上的消融结果——AT 策略优于 ICL 与全量微调 FT、且各类调度均优于单 Agent 系统——这一范式为构建可扩展的"通用计算机助手"提供了一条清晰可行的路径。无论你是想复现该方法，还是想为自身的多智能体系统设计调度层，AgentStore 的组件划分与训练细节都值得反复咀嚼。