如何衡量一个Agent的“主动性”?ProactiveAgent 奖励模型与 ProactiveBench 评测流水线全解析

原创2026-11-02 17:29:251,876 阅读

如何衡量一个Agent的“主动性”?ProactiveAgent 奖励模型与 ProactiveBench 评测流水线全解析

ProactiveAgent 是一个能主动预测用户任务并抢先提供帮助的 LLM Agent 项目。它内置了一套完整的评测体系:奖励模型(Reward Model) 作为"代理用户"来判断 Agent 的提议是否值得打扰用户,ProactiveBench 基准则提供测试集与脚本,把"主动性"变成可以量化的 F1 分数。本文带你完整走通这条评测流水线。

为什么"主动性"需要被量化衡量?

主动式 Agent 面临一个微妙的问题:它什么时候该开口,什么时候该闭嘴?

  • 开口太少 → 用户需要帮助时它沉默(漏报)
  • 开口太多 → 用户被打扰(误报)

传统"一问一答"式的准确率指标根本无法衡量这种能力。ProactiveAgent 的解法是:训练一个奖励模型来模拟"真实用户"的判断,再配合 ProactiveBench 测试集,让不同模型在同一把标尺下竞争。下图是项目的整体架构,左侧是模拟用户行为的 Environment Gym,中间是 Proactive Agent,右侧是被服务的用户:

ProactiveAgent 整体流水线:Environment Gym 生成事件,Proactive Agent 预测任务,奖励模型评估主动响应

三个核心组件分别位于:

  • 环境模拟与数据生成:gym/
  • 主动 Agent 实现:agent/
  • 评测基准 ProactiveBench:eval/

ProactiveBench 测试集:227 个事件、3 类真实场景

ProactiveBench 是项目的评测基准,包含数据集、奖励模型和评估脚本三部分,说明文档见 eval/README.md。

测试集覆盖三类场景,共 227 个事件:

场景 说明 测试文件
Coding 写代码、查文档、调错 dataset/test_data/code_11.json 等 6 个文件
Writing 写作、资料调研 dataset/test_data/writing_11.json 等 6 个文件
Daily Life 日常生活事件 已合并进综合集

每个事件是一条带时间戳的观察序列(observation trace),例如:

1717377997.0 — The user starts working on a file 'CheckName.rb' within a Ruby project in VS Code. 1717378000.744 — The user searches on Google for 'How to capitalize person name in ruby?'

Agent 需要基于这些事件判断:现在是否应该主动提出帮助?提出什么?

评测时按 dataset/test_data/splits.json 中的 real_coding、real_writing、real_average 三个切分分别统计分数,这样既能看总分,也能看单场景表现。

奖励模型:扮演"挑剔用户"的自动裁判

判断逻辑:只接受"真正有价值"的任务

奖励模型的提示词定义在 eval/reward_model_template.py 中,核心规则很有意思:

  • 分析当前观察,理解用户的情境和需求
  • 如果 Agent 提议为 null(不主动),用户认为不需要帮助则接受,认为需要则拒绝
  • Minimize interruptions:只接受真正有价值的任务,最小化打扰

最终输出 JSON:{"thought": "...", "judgement": "accepted or rejected"}。

这套规则让奖励模型天然地同时惩罚"该说话不说话"和"不该说话乱说话"两类错误。

训练数据与四分类指标

奖励模型基于人工标注数据训练,数据在 dataset/reward_data/ 目录:

  • test_data.jsonl — 测试集
  • train_data.jsonl — 训练集
  • trainset_reward_llama.json — 兼容 LLaMA-Factory 的训练格式

项目还提供了 dataset/calculate_human_agreement.py 用来验证奖励模型与人类标注者的一致性。测试集上,官方奖励模型达到 F1 = 0.918,显著超过 GPT-4o(0.6704)等大模型的直接判断能力,说明它确实学到了"用户视角"。

四个判断类别:

缩写 场景
MN(Missed-Need) 用户需要帮助,Agent 沉默
NR(Non-Response) 用户不需要帮助,Agent 也沉默
CD(Correct-Detection) 用户需要帮助,Agent 提供帮助
FA(False-Alarm) 用户不需要帮助,Agent 却打扰

评测流水线三步走:从推理到最终分数

第一步:跑推理,生成 Agent 轨迹

修改 eval/script.py 加载你的模型(或 SDK),然后运行:

python eval/script.py

测试事件会逐条喂给模型,所有轨迹和 Agent 应答保存在 ./eval/traces_new 目录下。

第二步:奖励模型批量"审判"

先把 eval/judge_agent_prediction.py 里的地址改为你部署的奖励模型(例如用 VLLM 以 OpenAI 风格 API 托管),然后执行:

sh eval/judge_result.sh

脚本会为每个事件调用奖励模型,判断 Agent 的每个提议是否"可接受",结果写入 ./eval/judged 目录。

第三步:汇总计算最终得分

sh eval/calculate.sh

最终由 eval/calculate_agent_performance.py 统计 TP/FP/TN/FN 并计算指标。注意其中 False-Alarm(误报率)= FP / (TP + FP),它正是衡量"是否爱打扰人"的关键指标。

基准结果:官方跑分揭示了什么?

项目对不同模型在 ProactiveBench 上的评测结果(摘自 README.md):

Model Recall Precision False-Alarm F1-Score
GPT-4o-mini 100.00% 35.28% 64.73% 52.15%
GPT-4o 98.11% 48.15% 51.85% 64.60%
Claude-3.5-Sonnet 97.89% 45.37% 54.63% 62.00%
LLaMA-3.1-8B 98.86% 38.16% 61.84% 55.06%
LLaMA-3.1-8B-Proactive 99.06% 49.76% 50.24% 66.25%
Qwen2-7B-Proactive 100.00% 49.78% 50.22% 66.47%

两个值得关注的结论:

  1. 通用大模型的 Recall 都很高、Precision 却很低 —— 它们几乎总会提建议,但大量提议被"用户"拒绝,误报率高达 50% 以上。"太主动"是主流模型的通病。
  2. 经过主动性微调的模型(-Proactive 后缀)F1 明显更高,说明 ProactiveAgent 提供的训练数据与提示词确实能教会模型"克制地主动"。

快速上手清单

如果你想在自己的模型上跑一遍这套评测:

  1. 克隆仓库:

    git clone https://gitcode.com/gh_mirrors/pr/ProactiveAgent
    cd ProactiveAgent
    pip install -r requirements.txt
    
  2. 部署奖励模型(VLLM 托管,OpenAI 风格 API),并把 eval/reward_model_scoring.py 与 eval/judge_agent_prediction.py 中的 base_url、model 改为你的配置

  3. 先验证裁判本身:python eval/reward_model_scoring.py

  4. 再评测 Agent:python eval/script.py → sh eval/judge_result.sh → sh eval/calculate.sh

  5. 在 dataset/test_data/splits.json 对应切分下查看 Recall / Precision / False-Alarm / F1

总结

ProactiveAgent 给出了一套可复用的"主动性"度量方法论:

  • ProactiveBench 提供跨 Coding / Writing / 日常生活的 227 事件测试集
  • 奖励模型 以 0.918 的 F1 扮演用户裁判,惩罚"过度打扰"与"消极沉默"
  • 三步脚本流水线(推理 → 审判 → 汇总)让任何模型都能被公平打分

对新手来说,理解这套体系的关键在于:主动性不是"多说多错、少说少错",而是在 Recall 与 False-Alarm 之间找到最优平衡点——这正是 F1-Score 的意义所在。

登录后查看全文
ProactiveAgent