ProRL-Agent-Server 监控面板教程:如何实时追踪 RL 任务、轨迹与奖励的可视化 Dashboard
ProRL-Agent-Server 监控面板教程:如何实时追踪 RL 任务、轨迹与奖励的可视化 Dashboard
ProRL-Agent-Server(Polar)是一个面向 Agent 强化学习的大规模 Rollout 框架,其内置的 polar dashboard 监控面板可以帮你实时追踪任务状态、会话轨迹与奖励分数。本教程带你从零启动这个可视化 Dashboard,看懂拓扑图、任务列表、轨迹明细和评估结果,是 Agent RL 训练必备的观测工具。
为什么需要 Polar 监控面板 📊
跑 Agent RL 时,一个任务(Task)会拆成多个会话(Session),每个会话要经历环境初始化 → Agent 执行 → 轨迹构建 → 评估打分多个阶段。一旦某个环节卡住或奖励异常,你需要立刻定位:
- 哪些 Gateway 节点在跑、每个阶段(init / run / postrun)完成了多少?
- 任务当前奖励均值是多少?哪些会话 ERROR 或 TIMEOUT 了?
- 某条轨迹的 Prompt、Completion、Reward 具体长什么样?
polar dashboard 就是一个只读的可观测性面板:React 前端 + FastAPI 服务,代理读取 Rollout Server 和各 Gateway 的实时状态,同时直接扫描磁盘上已落盘的任务结果(见 src/polar/platform/README.md)。
一分钟启动 Dashboard 的完整步骤 🚀
以下以最小的 Calculator 示例为例,演示完整的启动流程。
前置条件:已按 README.md 安装 Polar 与推理引擎(vLLM 或 SGLang)。
第一步:构建前端(只需一次)
cd web && npm install && npm run build
第二步:启动各服务(Rollout、两个 Gateway,均在独立终端)
uv run polar serve_rollout -c examples/calculator/topology.vllm.yaml
uv run polar serve_gateway -c examples/calculator/topology.vllm.yaml --node-id localhost-node-01
uv run polar serve_gateway -c examples/calculator/topology.vllm.yaml --node-id localhost-node-02
第三步:提交任务
uv run python examples/calculator/run.py
第四步:启动监控面板
uv run polar dashboard -c examples/calculator/topology.vllm.yaml
打开浏览器访问 http://127.0.0.1:8090 即可。如需换端口,加 --port 参数;rollout 地址与 save_dir 默认取自 topology 文件,也可用 --rollout-url / --save-dir 覆盖(配置解析见 src/polar/platform/config.py)。
启动后的首页一览无余:
| 区域 | 内容 |
|---|---|
| 拓扑图 | Rollout + 各 Gateway 节点状态,init/run/postrun 阶段进度条、SGLang/vLLM 模型与推理会话数 |
| 统计卡 | 运行中任务数、24 小时完成任务数、追踪任务总数 |
| 最近任务 | task_id、状态(running/completed)、harness、奖励均值、进度与更新时间 |
任务列表:筛选、搜索与两两对比 🔍
点击 "view all →" 进入任务列表页(web/src/routes/TasksList.tsx),支持:
- 按状态筛选:
all / running / completed / failed - 按 harness 筛选:
claude_code、codex、opencode等 - 按 task_id 关键字搜索
- 顶部奖励曲线:所有任务奖励均值的横向对比
更有用的是对比功能:勾选任意两个任务的复选框后点击 Compare,即可在对比页(web/src/routes/Compare.tsx)并排查看两者的奖励分布、完成/出错会话数与 init/run/postrun 平均耗时——非常适合比较不同 Agent harness 在同一任务上的表现。
任务详情:奖励图与会话耗时 ⏱️
点击任意 task_id 进入任务详情页(web/src/routes/TaskDetail.tsx):
- 任务头信息:状态、harness、模型、session 完成进度、
save_dir路径,以及一键 "Cancel all running" 取消所有运行中会话 - RewardChart:该任务各 session 奖励的可视化分布,奖励是 RL 训练最核心的信号,一眼看出方差与离群值
- 会话表:每个 session 的状态、所在节点、奖励,以及
init_ms / run_ms / postrun_ms三段耗时——定位"卡在环境初始化还是 Agent 执行"非常直观 - Raw task JSON:折叠展示原始数据,便于排查
会话详情:五大标签页读懂一条轨迹 🔎
点击 session_id 进入最细粒度的详情页(web/src/routes/SessionDetail.tsx),这是排障的主力界面,共 5 个标签页:
| 标签页 | 能看什么 |
|---|---|
| Timeline | init / run / postrun 各阶段耗时时间线 |
| Completions | 该会话与推理引擎的每一次对话记录(Prompt 与 Response 的 Diff 视图) |
| Trajectory | 构建好的训练轨迹:每条 trace 的 reward、finish_reason、token 数,以及完整的 Prompt messages |
| Evaluation | 评估器输出的 outcome reward 与评估策略 |
| Raw JSON | 磁盘上保存的原始会话载荷 |
上图正是一次 calculator 任务的轨迹视图:Trace 1 拿到 reward 1.00、finish_reason 为 stop、共 7386 个 response tokens,下方逐条展示 system / user 的 Prompt messages 及字符数。调试"Agent 到底为什么这样回答"时,这里比翻日志高效得多。
面板数据从哪来?双数据源 + SSE 实时推送 📡
Dashboard 的数据来自两个来源并自动合并(src/polar/platform/server.py):
- 实时 HTTP:通过
UpstreamClient轮询 Rollout Server 与每个 Gateway 的当前任务、会话与 completions; - 磁盘扫描:
FsIndex每隔几秒扫描save_dir下的task_*/目录,读取已完成的任务与会话。
实时性则由 SSE fan-out 保证:服务端对每个上游打开一条 /events 事件流,打上来源标签后发布到进程内事件总线,浏览器通过 GET /api/events 消费,任务状态变化会即时推送到页面,无需手动刷新。
主要 API 端点一览(完整列表见 src/polar/platform/README.md):
| 路径 | 用途 |
|---|---|
GET /api/tasks |
任务列表(磁盘 + 实时 overlay) |
GET /api/tasks/{id} |
单个任务与会话摘要 |
GET /api/sessions/{id}/trajectory |
轨迹 traces |
GET /api/sessions/{id}/evaluation |
评估结果与策略 |
DELETE /api/sessions/{id} |
取消运行中的会话(唯一写操作) |
GET /api/events |
SSE 事件流 |
在真实训练中盯紧奖励曲线 📈
把 Polar 接入 Slime 训练流程后(参考 examples/swegym_slime_grpo/),Dashboard 追踪的每个任务奖励最终都会汇成训练曲线。下面就是 SWE-Gym GRPO 训练的奖励曲线——奖励分数的稳步上升,正是面板上那些 trace 级奖励数据的宏观体现:
小结:监控面板关键路径速查 📚
| 内容 | 路径 |
|---|---|
| 面板文档 | src/polar/platform/README.md |
| 前端页面 | web/src/routes/ |
| 计算器示例 | examples/calculator/README.md |
| 拓扑配置 | src/polar/config/README.md |
polar dashboard 几乎零成本接入:一条命令启动、全程只读、不干扰训练。当你的 Agent RL 集群规模越大,这个可视化面板就越能帮你把"GPU 在烧、奖励不动"的黑盒变成可追踪、可对比、可排障的白盒。


