OpenClaw-RL slime 实战:8×H100 上训练 GLM4-9B 全流程指南(GRPO 参数、训推一体与 Dynamic Sampling 详解)

原创2026-10-12 15:08:111,746 阅读
文章标签:人工智能大模型强化学习AI Agent工具调用

OpenClaw-RL slime 实战:8×H100 上训练 GLM4-9B 全流程指南(GRPO 参数、训推一体与 Dynamic Sampling 详解)

本篇技术指南以 OpenClaw-RL 仓库内 slime 框架的官方示例 slime/docs/zh/examples/glm4-9B.md 为骨架,完整讲解如何在 8×H100 上基于 Megatron + SGLang 训练 GLM4-9B(实际对应 GLM-Z1-9B-0414 权重):从镜像环境初始化、HF checkpoint 转换,到 run-glm4-9B.sh 中八大参数组逐一拆解,再到训推一体(colocate)、DAPO 式 dynamic sampling 与 partial rollout 等进阶特性的配置方法。读完本文,你将能够独立复现该训练任务,并掌握 slime 框架参数体系的底层含义,具备迁移到其他模型(如 Qwen3-4B)的实战能力。

一、环境准备

1.1 初始化镜像环境

slime 的官方做法是直接拉取 slimerl/slime:latest 镜像(镜像内已预置 sglang / Megatron 依赖与补丁),进入容器后将 slime 源码克隆到 /root/ 并以可编辑模式安装:

cd /root/
git clone https://github.com/THUDM/slime.git
cd slime/
pip install -e . --no-deps

其中 pip install -e . --no-deps 只注册包本身、不重复安装依赖,避免覆盖镜像里已锁定的环境。若需更新版本,可参考 slime/docs/zh/get_started/quick_start.md 中的 git pull + 重新 pip install -e . --no-deps 方式;不方便使用 Docker 的场景可用仓库根目录的 slime/build_conda.sh 搭建 conda 环境。

1.2 下载模型与数据

示例任务使用 Hugging Face 上的三份资源:GLM-Z1-9B-0414 权重、DAPO 数学训练集 dapo-math-17k 与 AIME 2024 评测集:

# hf checkpoint
hf download zai-org/GLM-Z1-9B-0414 --local-dir /root/GLM-Z1-9B-0414

# train data
hf download --repo-type dataset zhuzilin/dapo-math-17k \
  --local-dir /root/dapo-math-17k

# eval data
hf download --repo-type dataset zhuzilin/aime-2024 \
  --local-dir /root/aime-2024

1.3 将 HF checkpoint 转换为 Megatron 可加载格式

Megatron 训练后端需要 torch_dist 格式的权重。转换时先 source 模型配置脚本加载 MODEL_ARGS,再调用转换工具:

# mcore checkpoint
cd /root/slime
source scripts/models/glm4-9B.sh
PYTHONPATH=/root/Megatron-LM python tools/convert_hf_to_torch_dist.py \
    ${MODEL_ARGS[@]} \
    --hf-checkpoint /root/GLM-Z1-9B-0414 \
    --save /root/GLM-Z1-9B-0414_torch_dist

对应工具实现位于 slime/tools/convert_hf_to_torch_dist.py,其中 --hf-checkpoint 为必填的 Hugging Face 权重路径,--save 指定转换后的保存目录;该脚本支持通过 WORLD_SIZE / SLURM_NTASKS 感知环境并使用 torchrun 做多卡转换。转换后得到的 /root/GLM-Z1-9B-0414_torch_dist 将同时充当训练时的参考模型(reference model)检查点。训练结束后如需把 Megatron 权重转回 HF 格式,可使用 slime/tools/convert_torch_dist_to_hf.py(注意 Megatron 对 embedding 做 padding 后可能需要手动指定 --vocab-size)。

二、执行训练

准备工作完成后,直接运行训练脚本:

cd /root/slime
bash scripts/run-glm4-9B.sh

脚本位置为 slime/scripts/run-glm4-9B.sh。它内部会先做环境清理(pkill sglang、ray stop --force 等,便于任务重跑),探测 NVLink 拓扑,然后在容器内启动 Ray head 节点,最终通过 ray job submit 提交 python3 train.py 任务。slime 训练入口为 slime/train.py,其主流程为:创建 placement group 分配 GPU → 初始化 rollout manager(内含 sglang 推理引擎)→ 创建 actor 模型 → 先同步一次权重 → 循环执行 "rollout 采样 → GRPO 训练 → 周期性 eval / save"。

三、脚本参数逐组拆解

下文参数均以 slime/scripts/run-glm4-9B.sh 为实例,并在对应小节补充仓库源码依据。

3.1 MODEL_ARGS:模型结构配置

SCRIPT_DIR="$(cd -- "$(dirname -- "${BASH_SOURCE[0]}")" &>/dev/null && pwd)"
source "${SCRIPT_DIR}/models/glm4-9B.sh"

source 从 slime/scripts/models/glm4-9B.sh 读取模型 config。这些 config 都是 Megatron 参数;使用 Megatron 训练时,它无法从 ckpt 中读取模型 config,必须自行配置。仓库在 slime/scripts/models/ 提供了多份常见模型样例(如 glm4-9B、qwen3-4B 等)。

GLM4-9B 的模型参数如下(与转换脚本共用同一份):

MODEL_ARGS=(
   --spec "slime_plugins.models.glm4" "get_glm_spec"
   --swiglu
   --num-layers 40
   --hidden-size 4096
   --ffn-hidden-size 13696
   --num-attention-heads 32
   --group-query-attention
   --num-query-groups 2
   --use-rotary-position-embeddings
   --disable-bias-linear
   --add-qkv-bias
   --normalization "RMSNorm"
   --norm-epsilon 1e-5
   --rotary-base 10000
   --vocab-size 151552
   --post-self-attn-layernorm
   --post-mlp-layernorm
   --rotary-interleaved
   --rotary-percent 0.5
   --no-rope-fusion
   --untie-embeddings-and-output-weights
)

其中 --spec "slime_plugins.models.glm4" "get_glm_spec" 指向 slime 提供的 Megatron layer spec 构建函数,实现在 slime/slime_plugins/models/glm4.py:它调用 Megatron 的 get_gpt_layer_with_transformer_engine_spec,并根据 --post-self-attn-layernorm、--post-mlp-layernorm 等参数决定是否在 attention / MLP 之后追加 layernorm,这正是 GLM 系列与 Qwen 系列结构的关键差异点。

⚠️ 注意:务必检查模型文件中的 --rotary-base 等配置是否对应你当前训练模型的配置,因为同一模型结构的不同模型可能有不同的取值。在这种情况下,你可以在导入模型参数后在脚本里进行覆盖,例如:

source "${SCRIPT_DIR}/models/glm4-9B.sh"

MODEL_ARGS += ( --rotary-base 10000 )

3.2 CKPT_ARGS:检查点与路径

CKPT_ARGS=(
   # sglang 需要的 hf ckpt,我们也会从这里读 tokenizer
   --hf-checkpoint /root/GLM-Z1-9B-0414
   # reference model 的 ckp
   --ref-load /root/GLM-Z1-9B-0414_torch_dist
   # actor 的 load dir,如果是空的,会从 `ref_load` 里面读
   --load /root/GLM-Z1-9B-0414_slime/
   --save /root/GLM-Z1-9B-0414_slime/
   --save-interval 20
)

四个关键参数的角色:

  • --hf-checkpoint:HF 格式权重,供 sglang 推理引擎加载,并作为 tokenizer 来源;
  • --ref-load:reference model 的 Megatron torch_dist 检查点,GRPO 计算 KL 惩罚时需要参考模型;
  • --load:actor 模型的加载目录,若为空会从 ref_load 中读取;
  • --save / --save-interval:训练模型的保存目录与保存间隔(步数)。

3.3 ROLLOUT_ARGS:采样与训练节奏

ROLLOUT_ARGS=(
   # prompt 数据集,每行是个 json
   --prompt-data /root/dapo-math-17k/dapo-math-17k.jsonl
   --input-key prompt
   --label-key label
   # 如果 prompt 的 `input_key` 中是 openai message,
   # 会进行 tokenizer.apply_chat_template(...)
   --apply-chat-template
   # 是否 shuffle 数据
   --rollout-shuffle

   # reward model 类型,
   # slime 提供了很多类型以及用于自定义的 --custom-rm-path
   --rm-type deepscaler

   # 一共要训练多少 rollout
   --num-rollout 3000
   # 一个 rollout 有多少 prompt
   --rollout-batch-size 32
   # 每个 prompt 采多少回复
   # 一个 rollout 会有 rollout_batch_size * n_samples_per_prompt 条
   --n-samples-per-prompt 8
   # rollout sampling param
   --rollout-max-response-len 8192
   --rollout-temperature 0.8

   # 一次 rollout 对应几个训练步
   --num-steps-per-rollout 1
   # 是否在训练时 balance data,可能对速度有好处
   --balance-data
)

理解"采样-训练"闭环是关键:rollout_batch_size × n_samples_per_prompt 决定单轮采样的总样本数,global_batch_size × num_steps_per_rollout 决定单轮训练消耗的总样本数,slime 要求两者相等(在 slime/slime/utils/arguments.py 中若只设置 --num-steps-per-rollout 会自动推导 --global-batch-size,二者都设置则会做校验)。当前仓库实际脚本中还显式设置了 --global-batch-size 256 与 --rollout-temperature 1(文档中的示例值为 0.8,请以你运行的脚本实际值为准)。

数据侧参数说明:--prompt-data 指向 JSONL 格式的 prompt 数据集,每行一个 JSON 对象;--input-key / --label-key 指定其中哪个字段作为 prompt 与标签;--apply-chat-template 表示若 prompt 字段是 OpenAI message 格式,则调用 tokenizer.apply_chat_template(...) 处理;--balance-data 借助 karmarkar_karp 算法在数据并行 rank 间均衡 token 量(注意可能把同一 prompt 的不同回复分到不同训练步)。reward 侧通过 --rm-type deepscaler 选用规则型奖励模型,slime 内置多种类型,也支持 --custom-rm-path 传入自定义奖励函数。

3.4 EVAL_ARGS:评估配置

eval 的时候基本会继承所有 rollout 的参数,但 slime 提供了一些可以被 rollout 配置覆盖的参数,从而实现训练和 eval 用不同的采样策略:

EVAL_ARGS=(
   --eval-interval 5
   --eval-prompt-data /root/aime-2024/aime-2024.jsonl
   --n-samples-per-eval-prompt 16
   --eval-max-response-len 16384
   --eval-top-p 0.7
)

即训练用 temperature 采样(配合 8 个回复做组内比较),而评估用 top-p 0.7 的高质量采样且每个 prompt 采样 16 次,并放开最大长度到 16384。仓库实际脚本还支持 --eval-prompt-data aime <path> 这种带数据源别名的写法,并默认 --eval-interval 20、--eval-top-p 1。

3.5 PERF_ARGS:并行与显存优化

这一组是 Megatron 的并行参数,只有 --use-dynamic-batch-size 与 --max-tokens-per-gpu 是 slime 添加的:

PERF_ARGS=(
   --tensor-model-parallel-size 2
   --sequence-parallel
   --pipeline-model-parallel-size 1
   --context-parallel-size 2
   --expert-model-parallel-size 1
   --expert-tensor-parallel-size 1

   --recompute-granularity full
   --recompute-method uniform
   --recompute-num-layers 1

   # --micro-batch-size 1
   --use-dynamic-batch-size
   --max-tokens-per-gpu 4608
)

dynamic batch size 原理:max_tokens_per_gpu 指每张卡最多跑多少 token。开启 --use-dynamic-batch-size 后,slime 会尽可能将一个 batch 内部长短不一的数据拼到 max_tokens_per_gpu,从而组成动态的 micro batch size;若某条数据长度超过该上限则自成一条、不会截断。开启 context parallel(CP)时,CP 各卡共享总长为 CP * max_tokens_per_gpu 的 token 预算。参数解析源码(slime/slime/utils/arguments.py)给出的示例是:3 条样本长度分别为 100 / 200 / 300,max_tokens_per_gpu=300 时会被打包成 [100, 200] 与 [300] 两个 micro batch。

注意两点:

  • 开启 dynamic batch size 后会忽略传统的 --micro-batch-size;
  • slime 总是通过 data packing 的方法训练模型,并且严格保证 per sample loss 或 per token loss 正确,因此开启 dynamic batch size 不会对 loss 计算有任何影响,推荐开启。

8×H100 上该组并行方案为:TP=2 + sequence parallel,CP=2,配合 full recompute(uniform、1 层粒度)换取较低显存占用。若需要计算 response 的 log probs,还可以配置 --log-probs-max-tokens-per-gpu(建议大于 max_tokens_per_gpu 以获得更好性能)。

3.6 GRPO_ARGS:强化学习算法参数

目前 slime 提供如下 GRPO 相关参数:

GRPO_ARGS=(
   --advantage-estimator grpo
   --use-kl-loss
   --kl-loss-coef 0.00
   --kl-loss-type low_var_kl
   --entropy-coef 0.00
   --eps-clip 0.2
   --eps-clip-high 0.28
)
  • --advantage-estimator grpo:选用 GRPO 优势估计器。除 GRPO 外,slime 还支持 GSPO、Reinforce++、Reinforce++ Baseline、PPO 等多种算法,通过该参数切换;
  • --use-kl-loss:启用后加载 reference model 并计算当前模型与其的 KL 散度;是否计入最终 loss 取决于 --kl-loss-coef——设为 0 时 KL 仅作为监控指标展示,不参与梯度;
  • --kl-loss-type low_var_kl:低方差 KL 实现;
  • --eps-clip 0.2 / --eps-clip-high 0.28:GRPO 的 clip 下界/上界(上下界不对称是该示例的一个特点);
  • --entropy-coef 0.00:熵正则系数,示例中关闭。

--use-kl-loss 会依赖前面 CKPT_ARGS 中的 --ref-load 参考模型路径。slime 还支持 --calculate-per-token-loss(默认是 per sample loss)与 --use-tis(Truncated Importance Sampling,用于 off-policy 场景),详见 slime/docs/zh/get_started/quick_start.md。

3.7 OPTIMIZER_ARGS:优化器参数

OPTIMIZER_ARGS=(
   --optimizer adam
   --lr 1e-6
   --lr-decay-style constant
   --weight-decay 0.1
   --adam-beta1 0.9
   --adam-beta2 0.98
)

使用 Adam 优化器,学习率 1e-6 且恒定不衰减,weight decay 0.1,beta1/beta2 分别为 0.9 / 0.98。这套数值是 RL 微调(而非预训练)的典型配置——极小的恒定学习率有助于在保留模型原有能力的基础上做偏好对齐。

3.8 SGLANG_ARGS:推理引擎参数

SGLANG_ARGS=(
   --rollout-num-gpus-per-engine 2
)

--rollout-num-gpus-per-engine 基本对应 sglang 的 tp_size。除此之外的 sglang 参数均通过添加 --sglang- 前缀传给 slime(例如 --sglang-log-level INFO),由 slime 自动透传给 sglang。

⚠️ 注意:slime 会用 sgl-router 来调度多个 sglang server,在不开启 dp attention 的情况下不支持 dp_size(dp_size 会由 rollout-num-gpus / rollout-num-gpus-per-engine 计算得到)。

3.9 WANDB_ARGS 与 MISC_ARGS:日志与杂项(仓库脚本补充)

仓库实际脚本还包含两组值得了解的参数:

WANDB_ARGS=(
   --use-wandb
   --wandb-project test_slime
   --wandb-group test_slime_glm4-9B
   --wandb-key ${WANDB_KEY}
)

MISC_ARGS=(
   # default dropout in megatron is 0.1
   --attention-dropout 0.0
   --hidden-dropout 0.0
   # should be good for model performance
   --accumulate-allreduce-grads-in-fp32
   --attention-softmax-in-fp32
   # need to comment this when using model with MLA
   --attention-backend flash
)

MISC_ARGS 将 attention/hidden dropout 置零(Megatron 默认 0.1,对 RL 微调通常过高),并把梯度 all-reduce 与 attention softmax 保持在 fp32 精度以保障数值稳定性;--attention-backend flash 适用于非 MLA 模型(若使用带 MLA 的模型需注释该行)。

四、训推一体(Colocated Actor and Rollout)

在原始脚本中,资源配置如下:

ray job submit ... \
   -- python3 train.py \
   --actor-num-nodes 1 \
   --actor-num-gpus-per-node 4 \
   --rollout-num-gpus 4 \
   ...

即开启训推分离:训练部分(actor)使用 1 机 4 卡,推理部分(rollout)使用另外 4 张卡,两路并行;若把 actor-num-gpus-per-node 设为 8、rollout-num-gpus 也设为 4 之外的组合,则会和训练共用这 8 张卡。

如果想使用训推一体(colocate)功能,需要加上 --colocate 并去掉 --rollout-num-gpus:

ray job submit ... \
   -- python3 train.py \
   --actor-num-nodes 1 \
   --actor-num-gpus-per-node 8 \
   --colocate \
   ...

此时训练和推理就会共用这 8 张卡。从参数解析源码(slime/slime/utils/arguments.py)看:--colocate 开启后 --rollout-num-gpus 会被忽略并自动设为 actor_num_gpus_per_node * actor_num_nodes,且 --offload 会被强制打开(--offload-train / --offload-rollout 均为 true),即在训练/推理切换时把对方的权重 offload 到 CPU,从而在同一组 GPU 上分时复用。

⚠️ 注意:在训推一体的训练时,Megatron 始终会占据一些显存,所以需要通过调整 --sglang-mem-fraction-static 来降低 sglang 占据的显存比例(通常建议 0.8 左右)。此外 torch_memory_saver 中的部分显存优化仅能在训推一体模式下使用(需释放 GPU 显存),训推分离模式暂不支持。

五、Dynamic Sampling(DAPO 式动态采样)

slime 支持更复杂的 sampling 方案,例如 DAPO 中的 dynamic sampling。开启需要配置:

   --over-sampling-batch-size ${OVER_SAMPLING_BS} \
   --dynamic-sampling-filter-path \
     slime.rollout.filter_hub.dynamic_sampling_filters.check_reward_nonzero_std

这里 over_sampling_batch_size 需要大于 rollout_batch_size,例如配置为:

   --rollout-batch-size 32 \
   --n-samples-per-prompt 8 \
   --over-sampling-batch-size 64 \

工作机理:sampling 会直接采样 64 条 prompt,每条 prompt 采样 8 次。因为 slime 内部进行的是异步采样,所以会先后获得每个 prompt 的 8 条回复;收到一组回复时,用 dynamic_sampling_filter_path 对应的函数进行筛选,通过则留下这 8 条数据,否则丢掉。当收到 32 × 8 条有效数据时立刻停止采样,不会等剩余数据采样完成;如果被删除的数据超过了 32 条 prompt(剩余不足 32 条),则再采样 64 条 prompt 补足。

参数含义(slime/slime/utils/arguments.py):--over-sampling-batch-size 定义采样批次粒度,--dynamic-sampling-filter-path 指向过滤函数;源码中的示例过滤函数真实实现位于 slime/slime/rollout/filter_hub/dynamic_sampling_filters.py:

def check_reward_nonzero_std(args, samples: list[Sample], **kwargs):
    rewards = [sample.get_reward_value(args) for sample in samples]
    keep = torch.tensor(rewards, dtype=torch.float).std() > 0.0
    return DynamicFilterOutput(
        keep=keep,
        reason=None if keep else f"zero_std_{round(rewards[0], 1)}",
    )

即判断一组样本的 reward 标准差是否大于 0——全对或全错(reward 无差异)的组会被丢弃,从而保证训练数据的多样性。过滤器返回 DynamicFilterOutput(定义于 slime/slime/rollout/filter_hub/base_types.py),其中 reason 字段会被 MetricGatherer 按原因计数并输出为 rollout/dynamic_filter/drop_xxx 指标,便于观察丢弃分布。整体采样循环实现在 slime/slime/rollout/sglang_rollout.py 的 generate_rollout_async 中:while len(data) < target_data_size 外层循环 + data_source(args.over_sampling_batch_size) 按过采样粒度取数,过滤丢弃的组会令 remaining_batch_size 减一,从而触发补充采样。

六、Partial Rollout:回收被中断的生成

进行 dynamic sampling 的过程中,会提前终止(abort)大量请求。可通过配置 --partial-rollout 参数,将生成到一半的请求保存至 data buffer,在下一个 rollout 中取出来继续生成,从而进一步优化性能:

   --partial-rollout \

同时可以通过配置 --buffer-filter-path 自定义如何从 buffer 中取出数据,默认函数为 pop_first:

def pop_first(args, rollout_id, buffer: list[list[Sample]], num_samples: int) -> list[list[Sample]]:
    num_to_pop = min(len(buffer), num_samples)
    samples = buffer[:num_to_pop]
    del buffer[:num_to_pop]
    return samples

即每次取出前 num_samples 个 prompt 对应的 num_samples * n_samples_per_prompt 条数据。

从源码看这一机制是闭环的:数据源侧,slime/slime/rollout/data_source.py 中的 RolloutDataSourceWithBuffer.get_samples 会先调用 buffer_filter(默认 pop_first)从 buffer 取数,不足部分再从数据集补取;采样侧,slime/slime/rollout/sglang_rollout.py 的 abort 在终止未完成请求时,若开启 --partial-rollout 会把中途生成的样本收集为 aborted samples 返回,最终由训练主循环 data_source.add_samples(aborted_samples) 写回 buffer,供下一轮 rollout 复用。

⚠️ 注意:每条 partial rollout sample 的 sample.metadata 中存储了第一次进行生成的 rollout id,可以用于数据过滤(例如识别 off-policy 样本)。若希望彻底只训练 on-policy 生成的 token,可额外开启 --mask-offpolicy-in-partial-rollout(参数定义见 slime/slime/utils/arguments.py),此时 partial rollout 中上一次生成的部分会被 mask 掉、仅新生成的 token 参与训练。

七、小结:从 GLM4-9B 迁移到其他模型

本文以 GLM4-9B(GLM-Z1-9B-0414)为例串起了 slime 在 8×H100 上的完整 RL 训练链路:镜像环境 → 权重转换 → run-glm4-9B.sh 八大参数组 → 训推一体 → dynamic sampling → partial rollout。迁移到其他模型时,只需替换 slime/scripts/models/ 下对应的模型配置脚本(如 qwen3-4B),并核对 --rotary-base、--vocab-size、--num-layers、--hidden-size 等结构与你的权重一致即可,其余 rollout / GRPO / optimizer 参数均可按需沿用。更进一步的多轮 Agent 适配(自定义 generate / reward 函数、--metadata-key 传递工具上下文、loss mask 控制)可参考 slime/docs/zh/get_started/quick_start.md 的 Multiturn 章节,核心扩展点均围绕 --custom-generate-function-path 与 --custom-rm-path 展开。

登录后查看全文
OpenClaw-RL