Ludwig 大语言模型偏好对齐实战:使用 DPO、KTO、ORPO 与 GRPO 训练人类偏好对齐模型
Ludwig 大语言模型偏好对齐实战:使用 DPO、KTO、ORPO 与 GRPO 训练人类偏好对齐模型
导读
本文基于 Ludwig 仓库中的 examples/alignment 示例,系统讲解如何用 Ludwig 内置的偏好学习(preference learning)训练器对 LLM 进行对齐(alignment)训练。LLM 对齐通常在一个监督微调(SFT)阶段之后进行,用于提升回答质量、减少有害输出、让模型更可靠地遵循指令。读完本文,你将掌握 DPO / KTO / ORPO / GRPO 四种对齐方法的适用场景、数据格式、配置参数、CLI 与 Python API 两种运行方式,以及底层损失函数的实现原理。
什么是 LLM 对齐(Alignment)
对齐(Alignment)指将模型行为塑造成符合人类价值观与偏好的过程。经典方案是基于人类反馈的强化学习(RLHF):先训练一个独立的奖励模型(reward model)对人工排序的响应打分,再对策略模型运行完整的强化学习循环(如 PPO)。这套流程链路长、训练不稳定、成本高。
现代偏好学习方法(如 DPO)则完全绕开奖励模型,直接从偏好数据中学习,使对齐训练更廉价、更稳定。Ludwig 将这些训练器作为 LLM 训练器的内建类型实现,通过 trainer.type 一键切换。
四种对齐训练器选型指南
| 训练器 | 数据格式 | 适用场景 | 计算开销 |
|---|---|---|---|
dpo |
prompt、chosen、rejected |
来自人类反馈的偏好对;研究最充分 | 中等 —— 需要同时对策略模型与参考模型做前向传播 |
kto |
prompt、response、label(布尔) |
单标签反馈(点赞/点踩);无需成对响应 | 低 —— 损失比 DPO 更简单 |
orpo |
prompt、chosen、rejected |
单阶段 SFT + 对齐;无需独立参考模型 | 低 —— 无参考模型前向传播 |
grpo |
prompt、自定义奖励函数 |
基于群体归一化奖励信号的 RL 式训练;DeepSeek-R1 采用 | 高 —— 每个 prompt 需要多次 rollout 采样 |
选择建议:
- DPO:当你拥有人工排序的响应对,且希望使用研究最充分的方法时;
- KTO:当收集二值的逐响应反馈(好评/差评)比成对比较更容易时;
- ORPO:当你希望跳过 SFT 阶段、一次性完成对齐时;
- GRPO:当你拥有程序化奖励函数(如代码执行、数学验证)时。
在源码层面,四种训练器统一注册在 ludwig/trainers/trainer_dpo.py:DPOTrainer 注册为 dpo,其子类 KTOTrainer、ORPOTrainer、GRPOTrainer 分别注册为 kto、orpo、grpo,通过 @register_llm_trainer 装饰器挂载到训练器注册表(ludwig/trainers/registry.py)。
前置条件
- 至少 40 GiB 显存的 GPU(推荐 A100);
- HuggingFace API Token;
- 拥有 Llama-3.1-8B 的访问审批(本文涉及的四个配置均以该模型为基础模型)。
快速开始
安装依赖
pip install "ludwig[llm]" datasets
设置 HuggingFace Token
export HUGGING_FACE_HUB_TOKEN="<your_token>"
准备数据集
python prepare_dataset.py
该脚本会从 HuggingFace 下载 Anthropic/hh-rlhf 数据集并转换为 Ludwig 格式(详见下文「数据集准备」一节)。
运行 DPO 训练
python train_dpo.py
# 或使用 CLI:
ludwig train --config config_dpo.yaml --dataset train.csv
运行 KTO 训练
ludwig train --config config_kto.yaml --dataset train_kto.csv
运行 GRPO 训练(复用 DPO 的偏好对格式)
python train_grpo.py
# 或使用 CLI:
ludwig train --config config_grpo.yaml --dataset preference_data.parquet
数据集准备:从 HH-RLHF 到 Ludwig 格式
prepare_dataset.py 演示了完整的数据转换链路。HH-RLHF 数据集将完整的多轮对话存储为原始文本,形如:
\n\nHuman: <turn>\n\nAssistant: <turn>\n\nHuman: ...\n\nAssistant: ...
脚本通过正则提取最后一个 Human 轮次作为 prompt,最后一个 Assistant 轮次作为响应:
extract_last_human_turn:用re.findall(r"\n\nHuman: (.*?)(?=\n\nAssistant:|\Z)", ...)取最后一个 Human 轮;extract_last_assistant_turn:用类似模式提取最后一个 Assistant 轮。
转换后输出四份文件:
| 文件 | 列 |
|---|---|
train.csv / test.csv |
prompt, chosen, rejected(DPO / ORPO 用) |
train_kto.csv / test_kto.csv |
prompt, response, label(KTO 用,label 为 True/False 布尔值) |
KTO 数据的关键在于:每个偏好对被展开为两行——chosen 响应配 label=True,rejected 响应配 label=False,这正是 KTO 单标签反馈格式的体现。脚本还支持 --max_train_samples 与 --max_test_samples 参数用于快速实验,--output_dir 指定输出目录。
配置详解
DPO 配置(config_dpo.yaml)
model_type: llm
base_model: meta-llama/Llama-3.1-8B
adapter:
type: lora
r: 16
alpha: 32
dropout: 0.05
trainer:
type: dpo
epochs: 1
learning_rate: 5.0e-7
batch_size: 2
gradient_accumulation_steps: 8
beta: 0.1 # KL 惩罚系数 —— 值越大,策略越贴近参考模型
input_features:
- name: prompt
type: text
output_features:
- name: chosen
type: text
backend:
type: local
要点说明:
adapter.type: lora表示用 LoRA 低秩适配器做参数高效微调(r=16、alpha=32、dropout=0.05),避免全量更新 8B 参数;beta在 schema 中对应dpo_beta(默认 0.1),控制策略偏离参考模型的程度(典型取值 0.1~0.5,见 ludwig/modules/dpo_loss.py 注释);- 配置中的
beta会被映射为dpo_beta,在 DPOTrainer 初始化时通过getattr(self.config, "dpo_beta", 0.1)读取。
DPO 的底层损失实现
DPO 损失来自 Rafailov 等人(NeurIPS 2023)的论文 Direct Preference Optimization: Your Language Model is Secretly a Reward Model,其核心目标是让模型对 chosen 完成序列赋予比 rejected 更高的概率,而无需显式训练奖励模型:
L_DPO = -log(sigmoid(beta * (log_ratio_chosen - log_ratio_rejected)))
其中 log_ratio = log(pi(y|x)) - log(pi_ref(y|x))。实现在 dpo_loss.py:
compute_token_log_probs先做 next-token 位移(logits[:, :-1]预测labels[:, 1:]),用F.log_softmax计算每个 token 的对数概率,并通过-100掩码忽略填充 token,最后按样本求和;dpo_loss支持两种loss_type:sigmoid(标准 DPO)与ipo(Identity Preference Optimization,(logits_diff - 1/(2*beta))^2);- 可选
label_smoothing(默认 0)在sigmoid模式下做软标签插值; - 当
reference_chosen_log_probs为None时使用隐式参考模型(即训练前的策略自身,近似为 0)。
训练时,DPOTrainer.train_step 会对 chosen 与 rejected 各做一次前向传播,从输出中提取 logits,再调用 dpo_loss 计算损失,并除以 gradient_accumulation_steps 完成梯度累积。
KTO 配置(config_kto.yaml)
model_type: llm
base_model: meta-llama/Llama-3.1-8B
adapter:
type: lora
r: 16
alpha: 32
dropout: 0.05
trainer:
type: kto
epochs: 1
learning_rate: 5.0e-7
batch_size: 2
gradient_accumulation_steps: 8
beta: 0.1
desirable_weight: 1.0 # chosen(正向)样本的权重
undesirable_weight: 1.0 # rejected(负向)样本的权重
input_features:
- name: prompt
type: text
output_features:
- name: response
type: text
backend:
type: local
KTO(Kahneman-Tversky Optimization,Ethayarajh 等人 2024)基于前景理论(prospect theory):损失比收益更令人敏感,因此模型因生成 rejected 文本受到的惩罚大于生成 chosen 文本得到的奖励。其损失实现在 preference_losses.py:
L_KTO = (1 - sigmoid(beta * (log_ratio_chosen - KL))) # chosen 项
+ (1 - sigmoid(beta * (KL - log_ratio_rejected))) # rejected 项
其中 KL 为策略与参考之间平均 KL 散度的估计(0.5 * (chosen_log_ratios.abs().mean() + rejected_log_ratios.abs().mean()))。注意,即使没有成对数据,KTO 也能仅凭 prompt + response + 布尔 label 训练——这正是它与 DPO 的本质区别;当两种数据都可用时,它也会一起使用。配置中的 desirable_weight / undesirable_weight 用于调节正负样本的权重。
ORPO 配置(config_orpo.yaml)
model_type: llm
base_model: meta-llama/Llama-3.1-8B
adapter:
type: lora
r: 16
alpha: 32
dropout: 0.05
trainer:
type: orpo
epochs: 1
learning_rate: 5.0e-7
batch_size: 2
gradient_accumulation_steps: 8
# ORPO 将 SFT 与对齐合并到单一目标中,
# 因此无需参考模型前向传播,也没有 beta KL 惩罚。
input_features:
- name: prompt
type: text
output_features:
- name: chosen
type: text
backend:
type: local
ORPO(Odds Ratio Preference Optimization,Hong 等人 2024)将 SFT 与偏好对齐合并为一个目标,完全不需要参考模型:
L_ORPO = L_SFT(chosen) - beta * log(odds_ratio)
其中 odds_ratio = odds(chosen) / odds(rejected),odds(y) = P(y) / (1 - P(y))。实现见 preference_losses.py:sft_loss 是 chosen 序列的标准 next-token 交叉熵(同样做位移并忽略 -100),然后减去 beta * F.logsigmoid(log_odds_ratio)。因此 ORPO 用一份偏好对数据同时完成 SFT 和对齐,跳过独立 SFT 阶段。
GRPO 配置(config_grpo.yaml)
model_type: llm
base_model: meta-llama/Llama-3.1-8B
adapter:
type: lora
r: 16
alpha: 32
trainer:
type: grpo
epochs: 1
learning_rate: 5.0e-7
batch_size: 1
gradient_accumulation_steps: 16
grpo_beta: 0.04 # KL 惩罚 —— 让策略贴近参考模型
grpo_epsilon: 0.2 # PPO 裁剪 —— 限制策略每步的偏移量
grpo_num_generations: 4 # 每个 prompt 采样的完成序列数;越大奖励估计越准
input_features:
- name: prompt
type: text
output_features:
- name: response
type: text
backend:
type: local
GRPO(Group Relative Policy Optimization,Shao 等人 2024)是 DeepSeek-R1 采用的对齐方法。对每个 prompt,它采样一组 grpo_num_generations 个完成序列,逐一打分,在组内归一化奖励,并施加 PPO 式裁剪目标——无需独立的 critic 模型。
在 schema 层面(ludwig/schema/trainer.py),三个关键旋钮定义为:
grpo_beta(默认 0.04):KL 惩罚系数;grpo_epsilon(默认 0.2,范围 0.0~1.0):PPO 裁剪参数;grpo_num_generations(正整数):每个 prompt 的组内采样数。
GRPO 损失实现在 preference_losses.py:
L_GRPO = -mean(min(ratio * advantage, clip(ratio, 1-eps, 1+eps) * advantage))
+ beta * KL(policy || reference)
其中 ratio = exp(log_prob_new - log_prob_old) 为重要性采样比,advantage = (reward - mean(reward)) / (std(reward) + 1e-8) 为组内归一化优势。PPO 风格的 min(surr1, surr2) 裁剪保证策略更新不会偏离旧策略过远。
GRPO 的奖励函数工作方式
与 DPO 不同,GRPO 的奖励是程序化的。Ludwig 的 GRPO 训练器消费与 DPO 相同的 prompt / chosen / rejected 列,因此程序化奖励函数以预处理步骤实现:在数据准备管线中为每个候选完成序列打分,然后把得分最高的完成序列作为 chosen、得分最低的作为 rejected 输出。
examples/alignment/train_grpo.py 给出了完整的端到端示例:它在代码内嵌了 100 道数学应用题(如“一位面包师有 48 块饼干,平均分到 6 个袋子,每袋几块?”),并定义一个 reward_fn(prompt, response)——通过正则 r"(?<![.\d])" + re.escape(expected) + r"(?![.\d])" 检查响应中是否出现期望答案,返回 1.0 或 0.0:
def reward_fn(prompt: str, response: str) -> float:
expected = ANSWER_LOOKUP.get(prompt.strip())
if expected is None:
return 0.0
pattern = r"(?<![.\d])" + re.escape(expected) + r"(?![.\d])"
return 1.0 if re.search(pattern, response) else 0.0
然后 build_dataset 对每个 (prompt, response) 计算奖励,生成包含 prompt、response、reward 三列的 DataFrame 交给训练器。该脚本还包含 check_gpu() 显存检查:若 VRAM 不足 20 GiB 会警告使用更小的基座模型或开启量化(如 bitsandbytes 4-bit),并在无 GPU 时提示 CPU 训练 7–8B 模型会极慢。
脚本注释同时说明:截至当前版本,Ludwig 的 GRPO 训练器尚不接受训练时的 reward_fn 可调用对象,奖励需在数据准备阶段预先算好写入 reward 列;若未来版本在 LudwigModel 或 GRPO 配置上暴露 reward_fn 参数,可直接传入可调用对象,可关注 Ludwig 变更日志。
Python API 训练脚本
除了 YAML 配置 + CLI,示例还提供 Python API 脚本,便于程序化调参与集成。
train_dpo.py
核心流程:从命令行参数构造配置字典 → 校验环境变量中的 HuggingFace Token(支持 HUGGING_FACE_HUB_TOKEN 或 HF_TOKEN)→ 实例化 LudwigModel → 调用 model.train():
from ludwig.api import LudwigModel
model = LudwigModel(config=config, logging_level=logging.INFO)
train_stats, preprocessed_data, output_directory = model.train(
dataset=args.dataset,
experiment_name=args.experiment_name,
output_directory=args.output_dir,
)
支持的参数:--dataset(必需)、--epochs(默认 1)、--learning_rate(默认 5e-7)、--beta(默认 0.1,KL 惩罚系数)、--batch_size(默认 2)、--experiment_name(默认 hh_rlhf_dpo)、--output_dir(默认 results)。
train_grpo.py
与 DPO 脚本结构类似,但数据集由内嵌数学题 + reward_fn 实时生成,无需下载。支持 --epochs、--lr、--batch_size、--experiment_name(默认 math_grpo)、--output_dir 参数,训练前自动执行 GPU 检查。
两个脚本训练完成后都会打印输出目录,并提示如何将模型上传到 HuggingFace Hub。
文件清单
| 文件 | 说明 |
|---|---|
| prepare_dataset.py | 下载 Anthropic/hh-rlhf 并转换为 Ludwig 格式 |
| train_dpo.py | 使用 Python API 的 DPO 训练脚本 |
| train_grpo.py | 使用 Python API 的 GRPO 训练脚本(内嵌数学题数据集) |
| config_dpo.yaml | DPO 的 Ludwig 配置 |
| config_kto.yaml | KTO 的 Ludwig 配置 |
| config_orpo.yaml | ORPO 的 Ludwig 配置 |
| config_grpo.yaml | GRPO 的 Ludwig 配置 |
| alignment_dpo.ipynb | 兼容 Colab 的 Notebook,覆盖 DPO 训练、KTO 评估与模型上传 |
上传到 HuggingFace
训练完成后,使用以下命令将对齐后的模型上传:
ludwig upload hf_hub -r <your_org>/<model_name> -m results/experiment_run/model
源码速查
如需深入理解实现细节,可按以下路径继续阅读:
- 训练器注册与实现:ludwig/trainers/trainer_dpo.py(DPO/KTO/ORPO/GRPO 四个 trainer)、ludwig/trainers/registry.py;
- 损失函数:ludwig/modules/dpo_loss.py(DPO/IPO)、ludwig/modules/preference_losses.py(KTO/ORPO/GRPO);
- 配置 schema:ludwig/schema/trainer.py(
dpo_beta、dpo_loss_type、dpo_label_smoothing、kto_beta、orpo_beta、grpo_beta、grpo_epsilon、grpo_num_generations的定义与默认值); - 偏好数据工具:ludwig/utils/preference_data.py;
- 其他偏好损失:ludwig/modules/dpo_loss.py 之外还可在 ludwig/modules/preference_losses.py 中看到统一的
compute_token_log_probs复用。
总结与选型建议
Ludwig 将四种主流偏好对齐方法统一封装为可一键切换的 LLM 训练器,配合 LoRA 适配器与 ludwig[llm] 安装包,可以在单张 40 GiB 显存 GPU 上完成 8B 级模型的对齐实验。实践要点:
- 有成对人工偏好数据 → 首选 DPO(研究最充分、生态最成熟);
- 只能收集点赞/点踩式单标签反馈 → 选 KTO;
- 想跳过 SFT 一步到位 → 选 ORPO;
- 有程序化奖励函数(数学、代码、规则校验)→ 选 GRPO,并注意把奖励计算放到数据准备阶段;
- 所有方法均可通过
ludwig train --config <config>.yaml --dataset <data>.csv或LudwigModel(config=...).train(dataset=...)两种方式运行。