MARTI项目中的多智能体奖励机制与训练策略解析

引言

在人工智能领域，多智能体系统(Multi-Agent Systems, MAS)因其在复杂任务解决中的协同优势而备受关注。TsinghuaC3I/MARTI项目提出了一套完整的多智能体训练框架，本文将深入剖析其中的奖励分配机制与策略训练方法。

基于规则的奖励塑造

对于数学问题等具有可验证解的领域，MARTI采用了基于规则的奖励模型（如DeepSeek-R1）。这种方法特别适合混合智能体和多智能体辩论场景，其中每个智能体的输出可以直接与标准答案比对。

时间一致性增强策略

MARTI引入了来自MAPoRL的推理感知奖励塑造策略，通过整合历史表现信息来提升多轮交互中的时间一致性。该策略包含两个核心组件：

1. 质量模式(Quality Mode)：鼓励智能体保持与历史表现一致的正确性
2. 边际模式(Margin Mode)：直接奖励超越历史平均表现的智能体

数学表达上，设$R_t^i$为第$t$轮智能体$i$的即时正确性奖励，$Q_t^i$为其历史表现估计值：

$$Q_t^i = \frac{1}{|H_t^i|} \sum_{k \in H_t^i} R_k^i$$

动态塑造项$\Delta_t^i$的计算方式为：

• 边际模式：$\Delta_t^i = R_t^i - Q_t^i$
• 质量模式：$\Delta_t^i = Q_t^i \cdot R_t^i - (1 - Q_t^i)(1 - R_t^i)$

最终奖励计算公式为：$R_t^i = R_t^i + \alpha \cdot \Delta_t^i$，其中$\alpha$是可调超参数。

基于树的AgentPRM方法

当最终答案不直接出现在中间智能体输出中时，MARTI采用了基于过程的奖励模型(AgentPRM)，该方法源自SweetRL和PRIME的研究成果。

关键技术实现

1. 智能体级奖励计算：对于包含L个token的智能体动作$a_t$，奖励计算为：

$$A_t = \frac{1}{L} \sum_{l=1}^L \left[ \log \frac{\pi_\theta(a_t^l | a_t^{1:l-1}, c)}{\pi_{\text{ref}} (a_t^l | a_t^{1:l-1}, c)} \right]$$

2. 交叉熵损失计算：聚合所有N个智能体的奖励计算损失：

$$L_{\text{CE}} = y \cdot \sigma\left( \sum_{t=1}^N \beta \cdot A_t\right) + (1-y) \cdot \left(1 - \sigma\left(\sum_{t=1}^N \beta \cdot A_t\right)\right)$$

MARTI还实现了基于树的rollout策略，在每个回合为每个智能体采样多个候选响应，使用类似DPO训练的过程对进行AgentPRM训练。

生成式奖励模型

MARTI集成了大语言模型作为生成式奖励模型(GenRM)，适用于可验证和开放域问题。系统支持通过本地vLLM引擎或兼容API实现GenRM，为给定问题-轨迹对分配标量奖励。

特别值得注意的是，MARTI开发了专门针对多智能体系统的GenRM变体，能够显式处理多智能体协作中的常见失败模式，显著提升了协作行为的质量。

策略模型训练

获得包含个体轨迹和对应奖励的rollout经验后，MARTI启动分布式策略模型训练，主要特点包括：

1. 算法支持：适配OpenRLHF实现，支持REINFORCE++、GRPO、PPO等多种强化学习算法
2. 一致性保证：所有智能体策略使用相同的RL算法训练
3. 增强策略：整合监督微调(SFT)和直接偏好优化(DPO)等模仿学习方法
4. 动态选择：根据应用需求(如训练稳定性、收敛速度)动态选择训练策略

总结

MARTI项目构建了一套完整的、模块化的多智能体训练框架，从基础的规则奖励到高级的生成式评估，再到多样化的训练策略，为多智能体系统的研究和应用提供了强有力的工具支持。特别是其奖励机制设计，既考虑了即时正确性，又关注长期协作表现，在多轮交互场景中展现出显著优势。