ProRL-Agent-Server 监控面板教程:如何实时追踪 RL 任务、轨迹与奖励的可视化 Dashboard

原创2026-10-25 14:31:391,418 阅读

ProRL-Agent-Server 监控面板教程:如何实时追踪 RL 任务、轨迹与奖励的可视化 Dashboard

ProRL-Agent-Server(Polar)是一个面向 Agent 强化学习的大规模 Rollout 框架,其内置的 polar dashboard 监控面板可以帮你实时追踪任务状态、会话轨迹与奖励分数。本教程带你从零启动这个可视化 Dashboard,看懂拓扑图、任务列表、轨迹明细和评估结果,是 Agent RL 训练必备的观测工具。

为什么需要 Polar 监控面板 📊

跑 Agent RL 时,一个任务(Task)会拆成多个会话(Session),每个会话要经历环境初始化 → Agent 执行 → 轨迹构建 → 评估打分多个阶段。一旦某个环节卡住或奖励异常,你需要立刻定位:

  • 哪些 Gateway 节点在跑、每个阶段(init / run / postrun)完成了多少?
  • 任务当前奖励均值是多少?哪些会话 ERROR 或 TIMEOUT 了?
  • 某条轨迹的 Prompt、Completion、Reward 具体长什么样?

polar dashboard 就是一个只读的可观测性面板:React 前端 + FastAPI 服务,代理读取 Rollout Server 和各 Gateway 的实时状态,同时直接扫描磁盘上已落盘的任务结果(见 src/polar/platform/README.md)。

一分钟启动 Dashboard 的完整步骤 🚀

以下以最小的 Calculator 示例为例,演示完整的启动流程。

前置条件:已按 README.md 安装 Polar 与推理引擎(vLLM 或 SGLang)。

第一步:构建前端(只需一次)

cd web && npm install && npm run build

第二步:启动各服务(Rollout、两个 Gateway,均在独立终端)

uv run polar serve_rollout -c examples/calculator/topology.vllm.yaml
uv run polar serve_gateway -c examples/calculator/topology.vllm.yaml --node-id localhost-node-01
uv run polar serve_gateway -c examples/calculator/topology.vllm.yaml --node-id localhost-node-02

第三步:提交任务

uv run python examples/calculator/run.py

第四步:启动监控面板

uv run polar dashboard -c examples/calculator/topology.vllm.yaml

打开浏览器访问 http://127.0.0.1:8090 即可。如需换端口,加 --port 参数;rollout 地址与 save_dir 默认取自 topology 文件,也可用 --rollout-url / --save-dir 覆盖(配置解析见 src/polar/platform/config.py)。

Polar dashboard 监控面板总览:Gateway 拓扑、阶段进度条与最近任务奖励列表

启动后的首页一览无余:

区域 内容
拓扑图 Rollout + 各 Gateway 节点状态,init/run/postrun 阶段进度条、SGLang/vLLM 模型与推理会话数
统计卡 运行中任务数、24 小时完成任务数、追踪任务总数
最近任务 task_id、状态(running/completed)、harness、奖励均值、进度与更新时间

任务列表:筛选、搜索与两两对比 🔍

点击 "view all →" 进入任务列表页(web/src/routes/TasksList.tsx),支持:

  • 按状态筛选:all / running / completed / failed
  • 按 harness 筛选:claude_code、codex、opencode 等
  • 按 task_id 关键字搜索
  • 顶部奖励曲线:所有任务奖励均值的横向对比

更有用的是对比功能:勾选任意两个任务的复选框后点击 Compare,即可在对比页(web/src/routes/Compare.tsx)并排查看两者的奖励分布、完成/出错会话数与 init/run/postrun 平均耗时——非常适合比较不同 Agent harness 在同一任务上的表现。

任务详情:奖励图与会话耗时 ⏱️

点击任意 task_id 进入任务详情页(web/src/routes/TaskDetail.tsx):

  • 任务头信息:状态、harness、模型、session 完成进度、save_dir 路径,以及一键 "Cancel all running" 取消所有运行中会话
  • RewardChart:该任务各 session 奖励的可视化分布,奖励是 RL 训练最核心的信号,一眼看出方差与离群值
  • 会话表:每个 session 的状态、所在节点、奖励,以及 init_ms / run_ms / postrun_ms 三段耗时——定位"卡在环境初始化还是 Agent 执行"非常直观
  • Raw task JSON:折叠展示原始数据,便于排查

会话详情:五大标签页读懂一条轨迹 🔎

点击 session_id 进入最细粒度的详情页(web/src/routes/SessionDetail.tsx),这是排障的主力界面,共 5 个标签页:

标签页 能看什么
Timeline init / run / postrun 各阶段耗时时间线
Completions 该会话与推理引擎的每一次对话记录(Prompt 与 Response 的 Diff 视图)
Trajectory 构建好的训练轨迹:每条 trace 的 reward、finish_reason、token 数,以及完整的 Prompt messages
Evaluation 评估器输出的 outcome reward 与评估策略
Raw JSON 磁盘上保存的原始会话载荷

Polar dashboard 会话轨迹详情:Trajectory 标签页展示 trace 的奖励、token 数与 Prompt messages

上图正是一次 calculator 任务的轨迹视图:Trace 1 拿到 reward 1.00、finish_reason 为 stop、共 7386 个 response tokens,下方逐条展示 system / user 的 Prompt messages 及字符数。调试"Agent 到底为什么这样回答"时,这里比翻日志高效得多。

面板数据从哪来?双数据源 + SSE 实时推送 📡

Dashboard 的数据来自两个来源并自动合并(src/polar/platform/server.py):

  1. 实时 HTTP:通过 UpstreamClient 轮询 Rollout Server 与每个 Gateway 的当前任务、会话与 completions;
  2. 磁盘扫描:FsIndex 每隔几秒扫描 save_dir 下的 task_*/ 目录,读取已完成的任务与会话。

实时性则由 SSE fan-out 保证:服务端对每个上游打开一条 /events 事件流,打上来源标签后发布到进程内事件总线,浏览器通过 GET /api/events 消费,任务状态变化会即时推送到页面,无需手动刷新。

主要 API 端点一览(完整列表见 src/polar/platform/README.md):

路径 用途
GET /api/tasks 任务列表(磁盘 + 实时 overlay)
GET /api/tasks/{id} 单个任务与会话摘要
GET /api/sessions/{id}/trajectory 轨迹 traces
GET /api/sessions/{id}/evaluation 评估结果与策略
DELETE /api/sessions/{id} 取消运行中的会话(唯一写操作)
GET /api/events SSE 事件流

在真实训练中盯紧奖励曲线 📈

把 Polar 接入 Slime 训练流程后(参考 examples/swegym_slime_grpo/),Dashboard 追踪的每个任务奖励最终都会汇成训练曲线。下面就是 SWE-Gym GRPO 训练的奖励曲线——奖励分数的稳步上升,正是面板上那些 trace 级奖励数据的宏观体现:

SWE-Gym GRPO 强化学习训练的奖励曲线

小结:监控面板关键路径速查 📚

内容 路径
面板文档 src/polar/platform/README.md
前端页面 web/src/routes/
计算器示例 examples/calculator/README.md
拓扑配置 src/polar/config/README.md

polar dashboard 几乎零成本接入:一条命令启动、全程只读、不干扰训练。当你的 Agent RL 集群规模越大,这个可视化面板就越能帮你把"GPU 在烧、奖励不动"的黑盒变成可追踪、可对比、可排障的白盒。

登录后查看全文
ProRL-Agent-Server