如何衡量一个Agent的“主动性”?ProactiveAgent 奖励模型与 ProactiveBench 评测流水线全解析
如何衡量一个Agent的“主动性”?ProactiveAgent 奖励模型与 ProactiveBench 评测流水线全解析
ProactiveAgent 是一个能主动预测用户任务并抢先提供帮助的 LLM Agent 项目。它内置了一套完整的评测体系:奖励模型(Reward Model) 作为"代理用户"来判断 Agent 的提议是否值得打扰用户,ProactiveBench 基准则提供测试集与脚本,把"主动性"变成可以量化的 F1 分数。本文带你完整走通这条评测流水线。
为什么"主动性"需要被量化衡量?
主动式 Agent 面临一个微妙的问题:它什么时候该开口,什么时候该闭嘴?
- 开口太少 → 用户需要帮助时它沉默(漏报)
- 开口太多 → 用户被打扰(误报)
传统"一问一答"式的准确率指标根本无法衡量这种能力。ProactiveAgent 的解法是:训练一个奖励模型来模拟"真实用户"的判断,再配合 ProactiveBench 测试集,让不同模型在同一把标尺下竞争。下图是项目的整体架构,左侧是模拟用户行为的 Environment Gym,中间是 Proactive Agent,右侧是被服务的用户:
三个核心组件分别位于:
ProactiveBench 测试集:227 个事件、3 类真实场景
ProactiveBench 是项目的评测基准,包含数据集、奖励模型和评估脚本三部分,说明文档见 eval/README.md。
测试集覆盖三类场景,共 227 个事件:
| 场景 | 说明 | 测试文件 |
|---|---|---|
| Coding | 写代码、查文档、调错 | dataset/test_data/code_11.json 等 6 个文件 |
| Writing | 写作、资料调研 | dataset/test_data/writing_11.json 等 6 个文件 |
| Daily Life | 日常生活事件 | 已合并进综合集 |
每个事件是一条带时间戳的观察序列(observation trace),例如:
1717377997.0— The user starts working on a file 'CheckName.rb' within a Ruby project in VS Code.1717378000.744— The user searches on Google for 'How to capitalize person name in ruby?'
Agent 需要基于这些事件判断:现在是否应该主动提出帮助?提出什么?
评测时按 dataset/test_data/splits.json 中的 real_coding、real_writing、real_average 三个切分分别统计分数,这样既能看总分,也能看单场景表现。
奖励模型:扮演"挑剔用户"的自动裁判
判断逻辑:只接受"真正有价值"的任务
奖励模型的提示词定义在 eval/reward_model_template.py 中,核心规则很有意思:
- 分析当前观察,理解用户的情境和需求
- 如果 Agent 提议为
null(不主动),用户认为不需要帮助则接受,认为需要则拒绝 - Minimize interruptions:只接受真正有价值的任务,最小化打扰
最终输出 JSON:{"thought": "...", "judgement": "accepted or rejected"}。
这套规则让奖励模型天然地同时惩罚"该说话不说话"和"不该说话乱说话"两类错误。
训练数据与四分类指标
奖励模型基于人工标注数据训练,数据在 dataset/reward_data/ 目录:
test_data.jsonl— 测试集train_data.jsonl— 训练集trainset_reward_llama.json— 兼容 LLaMA-Factory 的训练格式
项目还提供了 dataset/calculate_human_agreement.py 用来验证奖励模型与人类标注者的一致性。测试集上,官方奖励模型达到 F1 = 0.918,显著超过 GPT-4o(0.6704)等大模型的直接判断能力,说明它确实学到了"用户视角"。
四个判断类别:
| 缩写 | 场景 |
|---|---|
| MN(Missed-Need) | 用户需要帮助,Agent 沉默 |
| NR(Non-Response) | 用户不需要帮助,Agent 也沉默 |
| CD(Correct-Detection) | 用户需要帮助,Agent 提供帮助 |
| FA(False-Alarm) | 用户不需要帮助,Agent 却打扰 |
评测流水线三步走:从推理到最终分数
第一步:跑推理,生成 Agent 轨迹
修改 eval/script.py 加载你的模型(或 SDK),然后运行:
python eval/script.py
测试事件会逐条喂给模型,所有轨迹和 Agent 应答保存在 ./eval/traces_new 目录下。
第二步:奖励模型批量"审判"
先把 eval/judge_agent_prediction.py 里的地址改为你部署的奖励模型(例如用 VLLM 以 OpenAI 风格 API 托管),然后执行:
sh eval/judge_result.sh
脚本会为每个事件调用奖励模型,判断 Agent 的每个提议是否"可接受",结果写入 ./eval/judged 目录。
第三步:汇总计算最终得分
sh eval/calculate.sh
最终由 eval/calculate_agent_performance.py 统计 TP/FP/TN/FN 并计算指标。注意其中 False-Alarm(误报率)= FP / (TP + FP),它正是衡量"是否爱打扰人"的关键指标。
基准结果:官方跑分揭示了什么?
项目对不同模型在 ProactiveBench 上的评测结果(摘自 README.md):
| Model | Recall | Precision | False-Alarm | F1-Score |
|---|---|---|---|---|
| GPT-4o-mini | 100.00% | 35.28% | 64.73% | 52.15% |
| GPT-4o | 98.11% | 48.15% | 51.85% | 64.60% |
| Claude-3.5-Sonnet | 97.89% | 45.37% | 54.63% | 62.00% |
| LLaMA-3.1-8B | 98.86% | 38.16% | 61.84% | 55.06% |
| LLaMA-3.1-8B-Proactive | 99.06% | 49.76% | 50.24% | 66.25% |
| Qwen2-7B-Proactive | 100.00% | 49.78% | 50.22% | 66.47% |
两个值得关注的结论:
- 通用大模型的 Recall 都很高、Precision 却很低 —— 它们几乎总会提建议,但大量提议被"用户"拒绝,误报率高达 50% 以上。"太主动"是主流模型的通病。
- 经过主动性微调的模型(-Proactive 后缀)F1 明显更高,说明 ProactiveAgent 提供的训练数据与提示词确实能教会模型"克制地主动"。
快速上手清单
如果你想在自己的模型上跑一遍这套评测:
-
克隆仓库:
git clone https://gitcode.com/gh_mirrors/pr/ProactiveAgent cd ProactiveAgent pip install -r requirements.txt -
部署奖励模型(VLLM 托管,OpenAI 风格 API),并把 eval/reward_model_scoring.py 与 eval/judge_agent_prediction.py 中的
base_url、model改为你的配置 -
先验证裁判本身:
python eval/reward_model_scoring.py -
再评测 Agent:
python eval/script.py→sh eval/judge_result.sh→sh eval/calculate.sh -
在 dataset/test_data/splits.json 对应切分下查看 Recall / Precision / False-Alarm / F1
总结
ProactiveAgent 给出了一套可复用的"主动性"度量方法论:
- ProactiveBench 提供跨 Coding / Writing / 日常生活的 227 事件测试集
- 奖励模型 以 0.918 的 F1 扮演用户裁判,惩罚"过度打扰"与"消极沉默"
- 三步脚本流水线(推理 → 审判 → 汇总)让任何模型都能被公平打分
对新手来说,理解这套体系的关键在于:主动性不是"多说多错、少说少错",而是在 Recall 与 False-Alarm 之间找到最优平衡点——这正是 F1-Score 的意义所在。
