Ludwig 大语言模型偏好对齐实战:使用 DPO、KTO、ORPO 与 GRPO 训练人类偏好对齐模型

原创2026-09-22 14:29:001,876 阅读
文章标签:人工智能深度学习机器学习大模型微调LoRA多模态NLP计算机视觉AutoML分布式训练模型推理服务低代码

Ludwig 大语言模型偏好对齐实战:使用 DPO、KTO、ORPO 与 GRPO 训练人类偏好对齐模型

导读

本文基于 Ludwig 仓库中的 examples/alignment 示例,系统讲解如何用 Ludwig 内置的偏好学习(preference learning)训练器对 LLM 进行对齐(alignment)训练。LLM 对齐通常在一个监督微调(SFT)阶段之后进行,用于提升回答质量、减少有害输出、让模型更可靠地遵循指令。读完本文,你将掌握 DPO / KTO / ORPO / GRPO 四种对齐方法的适用场景、数据格式、配置参数、CLI 与 Python API 两种运行方式,以及底层损失函数的实现原理。

什么是 LLM 对齐(Alignment)

对齐(Alignment)指将模型行为塑造成符合人类价值观与偏好的过程。经典方案是基于人类反馈的强化学习(RLHF):先训练一个独立的奖励模型(reward model)对人工排序的响应打分,再对策略模型运行完整的强化学习循环(如 PPO)。这套流程链路长、训练不稳定、成本高。

现代偏好学习方法(如 DPO)则完全绕开奖励模型,直接从偏好数据中学习,使对齐训练更廉价、更稳定。Ludwig 将这些训练器作为 LLM 训练器的内建类型实现,通过 trainer.type 一键切换。

四种对齐训练器选型指南

训练器 数据格式 适用场景 计算开销
dpo prompt、chosen、rejected 来自人类反馈的偏好对;研究最充分 中等 —— 需要同时对策略模型与参考模型做前向传播
kto prompt、response、label(布尔) 单标签反馈(点赞/点踩);无需成对响应 低 —— 损失比 DPO 更简单
orpo prompt、chosen、rejected 单阶段 SFT + 对齐;无需独立参考模型 低 —— 无参考模型前向传播
grpo prompt、自定义奖励函数 基于群体归一化奖励信号的 RL 式训练;DeepSeek-R1 采用 高 —— 每个 prompt 需要多次 rollout 采样

选择建议:

  • DPO:当你拥有人工排序的响应对,且希望使用研究最充分的方法时;
  • KTO:当收集二值的逐响应反馈(好评/差评)比成对比较更容易时;
  • ORPO:当你希望跳过 SFT 阶段、一次性完成对齐时;
  • GRPO:当你拥有程序化奖励函数(如代码执行、数学验证)时。

在源码层面,四种训练器统一注册在 ludwig/trainers/trainer_dpo.py:DPOTrainer 注册为 dpo,其子类 KTOTrainer、ORPOTrainer、GRPOTrainer 分别注册为 kto、orpo、grpo,通过 @register_llm_trainer 装饰器挂载到训练器注册表(ludwig/trainers/registry.py)。

前置条件

  • 至少 40 GiB 显存的 GPU(推荐 A100);
  • HuggingFace API Token;
  • 拥有 Llama-3.1-8B 的访问审批(本文涉及的四个配置均以该模型为基础模型)。

快速开始

安装依赖

pip install "ludwig[llm]" datasets

设置 HuggingFace Token

export HUGGING_FACE_HUB_TOKEN="<your_token>"

准备数据集

python prepare_dataset.py

该脚本会从 HuggingFace 下载 Anthropic/hh-rlhf 数据集并转换为 Ludwig 格式(详见下文「数据集准备」一节)。

运行 DPO 训练

python train_dpo.py
# 或使用 CLI:
ludwig train --config config_dpo.yaml --dataset train.csv

运行 KTO 训练

ludwig train --config config_kto.yaml --dataset train_kto.csv

运行 GRPO 训练(复用 DPO 的偏好对格式)

python train_grpo.py
# 或使用 CLI:
ludwig train --config config_grpo.yaml --dataset preference_data.parquet

数据集准备:从 HH-RLHF 到 Ludwig 格式

prepare_dataset.py 演示了完整的数据转换链路。HH-RLHF 数据集将完整的多轮对话存储为原始文本,形如:

\n\nHuman: <turn>\n\nAssistant: <turn>\n\nHuman: ...\n\nAssistant: ...

脚本通过正则提取最后一个 Human 轮次作为 prompt,最后一个 Assistant 轮次作为响应:

  • extract_last_human_turn:用 re.findall(r"\n\nHuman: (.*?)(?=\n\nAssistant:|\Z)", ...) 取最后一个 Human 轮;
  • extract_last_assistant_turn:用类似模式提取最后一个 Assistant 轮。

转换后输出四份文件:

文件 列
train.csv / test.csv prompt, chosen, rejected(DPO / ORPO 用)
train_kto.csv / test_kto.csv prompt, response, label(KTO 用,label 为 True/False 布尔值)

KTO 数据的关键在于:每个偏好对被展开为两行——chosen 响应配 label=True,rejected 响应配 label=False,这正是 KTO 单标签反馈格式的体现。脚本还支持 --max_train_samples 与 --max_test_samples 参数用于快速实验,--output_dir 指定输出目录。

配置详解

DPO 配置(config_dpo.yaml)

model_type: llm
base_model: meta-llama/Llama-3.1-8B

adapter:
  type: lora
  r: 16
  alpha: 32
  dropout: 0.05

trainer:
  type: dpo
  epochs: 1
  learning_rate: 5.0e-7
  batch_size: 2
  gradient_accumulation_steps: 8
  beta: 0.1  # KL 惩罚系数 —— 值越大,策略越贴近参考模型

input_features:
  - name: prompt
    type: text

output_features:
  - name: chosen
    type: text

backend:
  type: local

要点说明:

  • adapter.type: lora 表示用 LoRA 低秩适配器做参数高效微调(r=16、alpha=32、dropout=0.05),避免全量更新 8B 参数;
  • beta 在 schema 中对应 dpo_beta(默认 0.1),控制策略偏离参考模型的程度(典型取值 0.1~0.5,见 ludwig/modules/dpo_loss.py 注释);
  • 配置中的 beta 会被映射为 dpo_beta,在 DPOTrainer 初始化时通过 getattr(self.config, "dpo_beta", 0.1) 读取。

DPO 的底层损失实现

DPO 损失来自 Rafailov 等人(NeurIPS 2023)的论文 Direct Preference Optimization: Your Language Model is Secretly a Reward Model,其核心目标是让模型对 chosen 完成序列赋予比 rejected 更高的概率,而无需显式训练奖励模型:

L_DPO = -log(sigmoid(beta * (log_ratio_chosen - log_ratio_rejected)))

其中 log_ratio = log(pi(y|x)) - log(pi_ref(y|x))。实现在 dpo_loss.py:

  • compute_token_log_probs 先做 next-token 位移(logits[:, :-1] 预测 labels[:, 1:]),用 F.log_softmax 计算每个 token 的对数概率,并通过 -100 掩码忽略填充 token,最后按样本求和;
  • dpo_loss 支持两种 loss_type:sigmoid(标准 DPO)与 ipo(Identity Preference Optimization,(logits_diff - 1/(2*beta))^2);
  • 可选 label_smoothing(默认 0)在 sigmoid 模式下做软标签插值;
  • 当 reference_chosen_log_probs 为 None 时使用隐式参考模型(即训练前的策略自身,近似为 0)。

训练时,DPOTrainer.train_step 会对 chosen 与 rejected 各做一次前向传播,从输出中提取 logits,再调用 dpo_loss 计算损失,并除以 gradient_accumulation_steps 完成梯度累积。

KTO 配置(config_kto.yaml)

model_type: llm
base_model: meta-llama/Llama-3.1-8B

adapter:
  type: lora
  r: 16
  alpha: 32
  dropout: 0.05

trainer:
  type: kto
  epochs: 1
  learning_rate: 5.0e-7
  batch_size: 2
  gradient_accumulation_steps: 8
  beta: 0.1
  desirable_weight: 1.0    # chosen(正向)样本的权重
  undesirable_weight: 1.0  # rejected(负向)样本的权重

input_features:
  - name: prompt
    type: text

output_features:
  - name: response
    type: text

backend:
  type: local

KTO(Kahneman-Tversky Optimization,Ethayarajh 等人 2024)基于前景理论(prospect theory):损失比收益更令人敏感,因此模型因生成 rejected 文本受到的惩罚大于生成 chosen 文本得到的奖励。其损失实现在 preference_losses.py:

L_KTO = (1 - sigmoid(beta * (log_ratio_chosen - KL)))   # chosen 项
      + (1 - sigmoid(beta * (KL - log_ratio_rejected))) # rejected 项

其中 KL 为策略与参考之间平均 KL 散度的估计(0.5 * (chosen_log_ratios.abs().mean() + rejected_log_ratios.abs().mean()))。注意,即使没有成对数据,KTO 也能仅凭 prompt + response + 布尔 label 训练——这正是它与 DPO 的本质区别;当两种数据都可用时,它也会一起使用。配置中的 desirable_weight / undesirable_weight 用于调节正负样本的权重。

ORPO 配置(config_orpo.yaml)

model_type: llm
base_model: meta-llama/Llama-3.1-8B

adapter:
  type: lora
  r: 16
  alpha: 32
  dropout: 0.05

trainer:
  type: orpo
  epochs: 1
  learning_rate: 5.0e-7
  batch_size: 2
  gradient_accumulation_steps: 8
  # ORPO 将 SFT 与对齐合并到单一目标中,
  # 因此无需参考模型前向传播,也没有 beta KL 惩罚。

input_features:
  - name: prompt
    type: text

output_features:
  - name: chosen
    type: text

backend:
  type: local

ORPO(Odds Ratio Preference Optimization,Hong 等人 2024)将 SFT 与偏好对齐合并为一个目标,完全不需要参考模型:

L_ORPO = L_SFT(chosen) - beta * log(odds_ratio)

其中 odds_ratio = odds(chosen) / odds(rejected),odds(y) = P(y) / (1 - P(y))。实现见 preference_losses.py:sft_loss 是 chosen 序列的标准 next-token 交叉熵(同样做位移并忽略 -100),然后减去 beta * F.logsigmoid(log_odds_ratio)。因此 ORPO 用一份偏好对数据同时完成 SFT 和对齐,跳过独立 SFT 阶段。

GRPO 配置(config_grpo.yaml)

model_type: llm
base_model: meta-llama/Llama-3.1-8B

adapter:
  type: lora
  r: 16
  alpha: 32

trainer:
  type: grpo
  epochs: 1
  learning_rate: 5.0e-7
  batch_size: 1
  gradient_accumulation_steps: 16
  grpo_beta: 0.04        # KL 惩罚 —— 让策略贴近参考模型
  grpo_epsilon: 0.2      # PPO 裁剪 —— 限制策略每步的偏移量
  grpo_num_generations: 4  # 每个 prompt 采样的完成序列数;越大奖励估计越准

input_features:
  - name: prompt
    type: text

output_features:
  - name: response
    type: text

backend:
  type: local

GRPO(Group Relative Policy Optimization,Shao 等人 2024)是 DeepSeek-R1 采用的对齐方法。对每个 prompt,它采样一组 grpo_num_generations 个完成序列,逐一打分,在组内归一化奖励,并施加 PPO 式裁剪目标——无需独立的 critic 模型。

在 schema 层面(ludwig/schema/trainer.py),三个关键旋钮定义为:

  • grpo_beta(默认 0.04):KL 惩罚系数;
  • grpo_epsilon(默认 0.2,范围 0.0~1.0):PPO 裁剪参数;
  • grpo_num_generations(正整数):每个 prompt 的组内采样数。

GRPO 损失实现在 preference_losses.py:

L_GRPO = -mean(min(ratio * advantage, clip(ratio, 1-eps, 1+eps) * advantage))
         + beta * KL(policy || reference)

其中 ratio = exp(log_prob_new - log_prob_old) 为重要性采样比,advantage = (reward - mean(reward)) / (std(reward) + 1e-8) 为组内归一化优势。PPO 风格的 min(surr1, surr2) 裁剪保证策略更新不会偏离旧策略过远。

GRPO 的奖励函数工作方式

与 DPO 不同,GRPO 的奖励是程序化的。Ludwig 的 GRPO 训练器消费与 DPO 相同的 prompt / chosen / rejected 列,因此程序化奖励函数以预处理步骤实现:在数据准备管线中为每个候选完成序列打分,然后把得分最高的完成序列作为 chosen、得分最低的作为 rejected 输出。

examples/alignment/train_grpo.py 给出了完整的端到端示例:它在代码内嵌了 100 道数学应用题(如“一位面包师有 48 块饼干,平均分到 6 个袋子,每袋几块?”),并定义一个 reward_fn(prompt, response)——通过正则 r"(?<![.\d])" + re.escape(expected) + r"(?![.\d])" 检查响应中是否出现期望答案,返回 1.0 或 0.0:

def reward_fn(prompt: str, response: str) -> float:
    expected = ANSWER_LOOKUP.get(prompt.strip())
    if expected is None:
        return 0.0
    pattern = r"(?<![.\d])" + re.escape(expected) + r"(?![.\d])"
    return 1.0 if re.search(pattern, response) else 0.0

然后 build_dataset 对每个 (prompt, response) 计算奖励,生成包含 prompt、response、reward 三列的 DataFrame 交给训练器。该脚本还包含 check_gpu() 显存检查:若 VRAM 不足 20 GiB 会警告使用更小的基座模型或开启量化(如 bitsandbytes 4-bit),并在无 GPU 时提示 CPU 训练 7–8B 模型会极慢。

脚本注释同时说明:截至当前版本,Ludwig 的 GRPO 训练器尚不接受训练时的 reward_fn 可调用对象,奖励需在数据准备阶段预先算好写入 reward 列;若未来版本在 LudwigModel 或 GRPO 配置上暴露 reward_fn 参数,可直接传入可调用对象,可关注 Ludwig 变更日志。

Python API 训练脚本

除了 YAML 配置 + CLI,示例还提供 Python API 脚本,便于程序化调参与集成。

train_dpo.py

核心流程:从命令行参数构造配置字典 → 校验环境变量中的 HuggingFace Token(支持 HUGGING_FACE_HUB_TOKEN 或 HF_TOKEN)→ 实例化 LudwigModel → 调用 model.train():

from ludwig.api import LudwigModel

model = LudwigModel(config=config, logging_level=logging.INFO)
train_stats, preprocessed_data, output_directory = model.train(
    dataset=args.dataset,
    experiment_name=args.experiment_name,
    output_directory=args.output_dir,
)

支持的参数:--dataset(必需)、--epochs(默认 1)、--learning_rate(默认 5e-7)、--beta(默认 0.1,KL 惩罚系数)、--batch_size(默认 2)、--experiment_name(默认 hh_rlhf_dpo)、--output_dir(默认 results)。

train_grpo.py

与 DPO 脚本结构类似,但数据集由内嵌数学题 + reward_fn 实时生成,无需下载。支持 --epochs、--lr、--batch_size、--experiment_name(默认 math_grpo)、--output_dir 参数,训练前自动执行 GPU 检查。

两个脚本训练完成后都会打印输出目录,并提示如何将模型上传到 HuggingFace Hub。

文件清单

文件 说明
prepare_dataset.py 下载 Anthropic/hh-rlhf 并转换为 Ludwig 格式
train_dpo.py 使用 Python API 的 DPO 训练脚本
train_grpo.py 使用 Python API 的 GRPO 训练脚本(内嵌数学题数据集)
config_dpo.yaml DPO 的 Ludwig 配置
config_kto.yaml KTO 的 Ludwig 配置
config_orpo.yaml ORPO 的 Ludwig 配置
config_grpo.yaml GRPO 的 Ludwig 配置
alignment_dpo.ipynb 兼容 Colab 的 Notebook,覆盖 DPO 训练、KTO 评估与模型上传

上传到 HuggingFace

训练完成后,使用以下命令将对齐后的模型上传:

ludwig upload hf_hub -r <your_org>/<model_name> -m results/experiment_run/model

源码速查

如需深入理解实现细节,可按以下路径继续阅读:

总结与选型建议

Ludwig 将四种主流偏好对齐方法统一封装为可一键切换的 LLM 训练器,配合 LoRA 适配器与 ludwig[llm] 安装包,可以在单张 40 GiB 显存 GPU 上完成 8B 级模型的对齐实验。实践要点:

  • 有成对人工偏好数据 → 首选 DPO(研究最充分、生态最成熟);
  • 只能收集点赞/点踩式单标签反馈 → 选 KTO;
  • 想跳过 SFT 一步到位 → 选 ORPO;
  • 有程序化奖励函数(数学、代码、规则校验)→ 选 GRPO,并注意把奖励计算放到数据准备阶段;
  • 所有方法均可通过 ludwig train --config <config>.yaml --dataset <data>.csv 或 LudwigModel(config=...).train(dataset=...) 两种方式运行。
登录后查看全文
ludwig