用OpenJudge构建RLHF奖励信号完整教程:从单个Grader到多评分器组合优化
用OpenJudge构建RLHF奖励信号完整教程:从单个Grader到多评分器组合优化
OpenJudge 是一个统一的 AI 评估与质量奖励框架,专门帮助开发者快速构建 RLHF(基于人类反馈的强化学习)训练所需的奖励信号。本文将从一个最简单的 Grader 出发,一步步带你完成多评分器组合、加权聚合、噪声抑制,直到把奖励信号真正喂给强化学习训练流程——即使你是新手也能跟着做出来。
为什么 RLHF 需要"奖励信号"
简单说:RLHF 训练时,模型每生成一个回答(rollout),都需要一个数值型奖励告诉它"这次答得好不好"。奖励信号就是强化学习的导航灯——没有它,模型不知道该往哪个方向改进。
手写奖励函数容易漏掉维度(安全?格式?事实正确?),而 OpenJudge 的思路是:
- 用 Grader(评分器) 作为"评价单元",每个 Grader 只负责一个质量维度;
- 用 Aggregator(聚合器) 把多个维度的分数合成一个标量奖励;
- 用 EvaluationStrategy(评估策略) 控制评分次数,降低 LLM 打分的随机噪声。
这套"评分器 → 聚合器 → 策略"的三层结构,就是本文要讲的完整链路。核心概念可以在 docs/get_started/core_concepts.md 中查阅。
第一步:认识 Grader——奖励信号的最小单元
OpenJudge 内置了 50+ 个 Grader,覆盖通用质量、Agent 行为、代码、数学、多轮对话、格式校验等场景。按实现方式分两类:
| 类型 | 特点 | 典型场景 |
|---|---|---|
| LLM-Based | 用大模型当裁判打分,适合主观维度 | 相关性、有害性、正确性 |
| Code-Based | 纯算法计算,快速、确定、零成本 | 精确匹配、JSON 校验、代码执行 |
最常用的一组通用评分器位于 openjudge/graders/common/:
RelevanceGrader——回答是否切题(1–5 分)HarmfulnessGrader——是否有害、越界(1–5 分)CorrectnessGrader——与参考答案比对(1–5 分)HallucinationGrader——是否存在编造内容(1–5 分)
完整清单见 docs/built_in_graders/overview.md。
💡 新手建议:不要一上来就堆 10 个 Grader。先跑通 1 个,再逐步加维度,奖励信号的可解释性会好很多。
第二步:用单个 Grader 产出第一个奖励
以客服机器人为例:第一步只要求"回答切题"。配置 RelevanceGrader 后,用 GradingRunner 批量执行,每条回答就能拿到一个 1–5 分的相关性得分——这已经是一个可用的单维奖励信号。
关键角色只有三个:
- 模型:
OpenAIChatModel提供裁判能力(openjudge/models/); - Grader:定义"按什么标准打分";
- Runner:并发执行评估任务(openjudge/runner/)。
官方教程 docs/get_started/build_reward.md 中有完整的客服机器人案例,值得对照阅读。
第三步:多评分器组合——把多个维度加权成一个奖励
真实业务里,"切题"远远不够:客服还要安全、要准确。这时把多个 Grader 放进同一个 GradingRunner,再用 WeightedSumAggregator 做加权求和:
aggregator = WeightedSumAggregator(
name="training_reward",
weights={
"harmfulness": 0.4, # 安全最重要
"relevance": 0.3,
"correctness": 0.3,
},
)
聚合器会计算加权平均。比如某条回答拿到 harmfulness=5.0、relevance=4.0、correctness=3.0,最终奖励就是 0.4×5.0 + 0.3×4.0 + 0.3×3.0 = 4.1。
权重怎么定?看你的业务优先级:
| 任务类型 | 推荐组合 | 建议权重 |
|---|---|---|
| 客服/对话 | Harmfulness + Relevance + Correctness | 0.4 / 0.3 / 0.3 |
| 知识问答 | Correctness + Relevance | 0.7 / 0.3 |
| 代码生成 | CodeExecution + CodeStyle | 0.8 / 0.2 |
| RAG 检索 | Correctness + Hallucination | 0.6 / 0.4 |
🎯 调试技巧:Runner 会同时返回每个 Grader 的单独分数和最终聚合分。当某条奖励偏低时,先看是哪个维度拖了后腿,而不是只盯着总分猜。
⚠️ 注意量纲:LLM 类 Grader 输出 1–5 分,Code 类 Grader 输出 0–1。混用时要么归一化(如 (score - 1) / 4),要么在权重中隐含缩放,否则 1–5 分的信号会"淹没"0–1 分的信号。
第四步:用评估策略给奖励"降噪"
LLM 裁判有随机性——同一个回答打两次可能差 1 分。如果把这个噪声直接喂给 RL 训练,训练曲线会抖动。OpenJudge 提供三种策略(openjudge/evaluation_strategy/):
| 策略 | 做法 | 适用场景 | 成本 |
|---|---|---|---|
Direct |
只评 1 次 | 确定性评分器、预算紧张 | 1× |
Voting |
评 N 次取多数票 | 离散打分(1–5 分、通过/不通过) | N× |
Average |
评 N 次取均值 | 需要细粒度区分的连续分数 | N× |
选择逻辑很简单:确定性评分器用 Direct(零方差,多评也没意义);离散分数用 Voting(对离群点稳健,N 取 3 或 5 的奇数);连续分数用 Average(保留信号细节)。
给最重要的维度包一层 Voting 策略即可,例如给正确性评分器配 VotingEvaluationStrategy(num_votes=3),一次调用内部自动跑 3 轮裁判再取多数票。
第五步:Pairwise 与锦标赛奖励——主观任务的进阶方案
绝对打分不可靠时(比如"写一首诗"),相对比较往往比相对打分更稳。OpenJudge 支持两种 pairwise 用法:
- 偏好对(Preference Pairs):两两比较,输出
chosen/rejected,直接产出 DPO / RLAIF 训练数据; - 锦标赛(Tournament):同一 prompt 的 N 个 rollout 两两对战,每个样本的奖励 = 组内净胜率,天然相对、抗尺度漂移,非常适合 GRPO。
锦标赛的调用次数是 N×(N-1)/2,建议组大小 N ≤ 8。此外 LLM 存在"位置偏好"(偏爱先出现的答案),开启 debiased=True 会对每对换序再比一次、只采纳两次结论一致的结果——成本翻倍,但结果更可信。
更多细节可阅读 skills/rl-reward/ 下的决策树:pointwise 适合可验证任务,pairwise 锦标赛适合主观任务,listwise 适合 Best-of-N 重排。
第六步:把奖励信号接入强化学习训练
拿到每条 rollout 的标量奖励后,就可以接入训练框架了。OpenJudge 在 cookbooks/training_judge_model/ 提供了完整的 GRPO 示例,训练时用规则化奖励信号持续优化模型:
cd cookbooks/training_judge_model/grpo
bash pointwise/run_pointwise.sh # 绝对打分模式
bash pairwise/run_pairwise.sh # 两两比较模式
训练过程中重点盯两个指标:train/reward_mean(平均奖励应稳步上升)和 train/kl_divergence(防止模型偏离参考模型太远)。上图即 pointwise 模式在测试集上的验证奖励曲线——奖励随训练步数持续爬升,说明信号有效。
第七步(可选):训练你自己的 Judge 模型
如果调用大模型打分的成本或延迟不可接受,可以用 OpenJudge 的三条训练管线训练专属 judge 模型(judge 模型即 RLHF 文献中的 reward model,docs/building_graders/training_judge_models.md):
| 方法 | 输出 | 训练数据 | 适合场景 |
|---|---|---|---|
| SFT | 生成式文本 | 高质量示范 | 模型初始化 |
| Bradley-Terry | 标量分数 | 偏好对 (chosen/rejected) | 经典 RLHF 奖励建模 |
| GRPO | 生成式 + 推理 | 带标签回答 | 可解释的评估与推理 |
Bradley-Terry 通过偏好对学习排序概率,训练损失曲线如图中所示——loss 从 0.75 稳步下降并收敛:
- SFT 快速开始:
cd cookbooks/training_judge_model/sft && bash run_sft_rm.sh - Bradley-Terry 快速开始:
cd cookbooks/training_judge_model/bradley-terry && bash run_bt_rm.sh
训练环境推荐直接用官方 Docker 镜像(docker/Dockerfile.train),省去 vLLM、Ray 等依赖的踩坑成本。
常见坑与最佳实践清单
- 先归一化,再聚合——1–5 分与 0–1 分的 Grader 混用时,不统一量纲会导致权重失真;
- 从单维开始——先验证数据管道和打分逻辑,再叠加维度;
- 给关键维度加 Voting——正确性、安全这类"一票否决"的维度值得多花几倍调用成本;
- 主观任务用相对奖励——锦标赛净胜率比绝对分数更稳健;
- 保留逐维度分数——聚合分用于训练,逐维度分数用于调试,两者缺一不可;
- 验证奖励质量——上线前用 docs/validating_graders/ 提供的方法(如 RewardBench2)检查你的 Grader 与人类判断是否对齐。
总结:一张图看懂奖励信号构建链路
数据(query/response/reference)
↓
单个 Grader ──→ 单维奖励 ← 起步
↓ 加维度
多 Grader + WeightedSumAggregator → 复合奖励
↓ 降噪
EvaluationStrategy (Voting/Average)
↓
接入 GRPO / DPO 训练,或训练自己的 Judge 模型
从单个 RelevanceGrader 到加权组合,再到锦标赛奖励与自训 judge 模型——这条链路覆盖了 RLHF 奖励构建的绝大多数场景。建议按本文顺序动手:先跑通 docs/get_started/build_reward.md 的最小案例,再根据任务类型选择 pointwise / pairwise 策略,最后用训练曲线验证奖励信号真的在起作用。


