OpenClaw-RL slime 实战:8×H100 上训练 GLM4-9B 全流程指南(GRPO 参数、训推一体与 Dynamic Sampling 详解)
OpenClaw-RL slime 实战:8×H100 上训练 GLM4-9B 全流程指南(GRPO 参数、训推一体与 Dynamic Sampling 详解)
本篇技术指南以 OpenClaw-RL 仓库内 slime 框架的官方示例 slime/docs/zh/examples/glm4-9B.md 为骨架,完整讲解如何在 8×H100 上基于 Megatron + SGLang 训练 GLM4-9B(实际对应 GLM-Z1-9B-0414 权重):从镜像环境初始化、HF checkpoint 转换,到
run-glm4-9B.sh中八大参数组逐一拆解,再到训推一体(colocate)、DAPO 式 dynamic sampling 与 partial rollout 等进阶特性的配置方法。读完本文,你将能够独立复现该训练任务,并掌握 slime 框架参数体系的底层含义,具备迁移到其他模型(如 Qwen3-4B)的实战能力。
一、环境准备
1.1 初始化镜像环境
slime 的官方做法是直接拉取 slimerl/slime:latest 镜像(镜像内已预置 sglang / Megatron 依赖与补丁),进入容器后将 slime 源码克隆到 /root/ 并以可编辑模式安装:
cd /root/
git clone https://github.com/THUDM/slime.git
cd slime/
pip install -e . --no-deps
其中 pip install -e . --no-deps 只注册包本身、不重复安装依赖,避免覆盖镜像里已锁定的环境。若需更新版本,可参考 slime/docs/zh/get_started/quick_start.md 中的 git pull + 重新 pip install -e . --no-deps 方式;不方便使用 Docker 的场景可用仓库根目录的 slime/build_conda.sh 搭建 conda 环境。
1.2 下载模型与数据
示例任务使用 Hugging Face 上的三份资源:GLM-Z1-9B-0414 权重、DAPO 数学训练集 dapo-math-17k 与 AIME 2024 评测集:
# hf checkpoint
hf download zai-org/GLM-Z1-9B-0414 --local-dir /root/GLM-Z1-9B-0414
# train data
hf download --repo-type dataset zhuzilin/dapo-math-17k \
--local-dir /root/dapo-math-17k
# eval data
hf download --repo-type dataset zhuzilin/aime-2024 \
--local-dir /root/aime-2024
1.3 将 HF checkpoint 转换为 Megatron 可加载格式
Megatron 训练后端需要 torch_dist 格式的权重。转换时先 source 模型配置脚本加载 MODEL_ARGS,再调用转换工具:
# mcore checkpoint
cd /root/slime
source scripts/models/glm4-9B.sh
PYTHONPATH=/root/Megatron-LM python tools/convert_hf_to_torch_dist.py \
${MODEL_ARGS[@]} \
--hf-checkpoint /root/GLM-Z1-9B-0414 \
--save /root/GLM-Z1-9B-0414_torch_dist
对应工具实现位于 slime/tools/convert_hf_to_torch_dist.py,其中 --hf-checkpoint 为必填的 Hugging Face 权重路径,--save 指定转换后的保存目录;该脚本支持通过 WORLD_SIZE / SLURM_NTASKS 感知环境并使用 torchrun 做多卡转换。转换后得到的 /root/GLM-Z1-9B-0414_torch_dist 将同时充当训练时的参考模型(reference model)检查点。训练结束后如需把 Megatron 权重转回 HF 格式,可使用 slime/tools/convert_torch_dist_to_hf.py(注意 Megatron 对 embedding 做 padding 后可能需要手动指定 --vocab-size)。
二、执行训练
准备工作完成后,直接运行训练脚本:
cd /root/slime
bash scripts/run-glm4-9B.sh
脚本位置为 slime/scripts/run-glm4-9B.sh。它内部会先做环境清理(pkill sglang、ray stop --force 等,便于任务重跑),探测 NVLink 拓扑,然后在容器内启动 Ray head 节点,最终通过 ray job submit 提交 python3 train.py 任务。slime 训练入口为 slime/train.py,其主流程为:创建 placement group 分配 GPU → 初始化 rollout manager(内含 sglang 推理引擎)→ 创建 actor 模型 → 先同步一次权重 → 循环执行 "rollout 采样 → GRPO 训练 → 周期性 eval / save"。
三、脚本参数逐组拆解
下文参数均以 slime/scripts/run-glm4-9B.sh 为实例,并在对应小节补充仓库源码依据。
3.1 MODEL_ARGS:模型结构配置
SCRIPT_DIR="$(cd -- "$(dirname -- "${BASH_SOURCE[0]}")" &>/dev/null && pwd)"
source "${SCRIPT_DIR}/models/glm4-9B.sh"
source 从 slime/scripts/models/glm4-9B.sh 读取模型 config。这些 config 都是 Megatron 参数;使用 Megatron 训练时,它无法从 ckpt 中读取模型 config,必须自行配置。仓库在 slime/scripts/models/ 提供了多份常见模型样例(如 glm4-9B、qwen3-4B 等)。
GLM4-9B 的模型参数如下(与转换脚本共用同一份):
MODEL_ARGS=(
--spec "slime_plugins.models.glm4" "get_glm_spec"
--swiglu
--num-layers 40
--hidden-size 4096
--ffn-hidden-size 13696
--num-attention-heads 32
--group-query-attention
--num-query-groups 2
--use-rotary-position-embeddings
--disable-bias-linear
--add-qkv-bias
--normalization "RMSNorm"
--norm-epsilon 1e-5
--rotary-base 10000
--vocab-size 151552
--post-self-attn-layernorm
--post-mlp-layernorm
--rotary-interleaved
--rotary-percent 0.5
--no-rope-fusion
--untie-embeddings-and-output-weights
)
其中 --spec "slime_plugins.models.glm4" "get_glm_spec" 指向 slime 提供的 Megatron layer spec 构建函数,实现在 slime/slime_plugins/models/glm4.py:它调用 Megatron 的 get_gpt_layer_with_transformer_engine_spec,并根据 --post-self-attn-layernorm、--post-mlp-layernorm 等参数决定是否在 attention / MLP 之后追加 layernorm,这正是 GLM 系列与 Qwen 系列结构的关键差异点。
⚠️ 注意:务必检查模型文件中的
--rotary-base等配置是否对应你当前训练模型的配置,因为同一模型结构的不同模型可能有不同的取值。在这种情况下,你可以在导入模型参数后在脚本里进行覆盖,例如:source "${SCRIPT_DIR}/models/glm4-9B.sh" MODEL_ARGS += ( --rotary-base 10000 )
3.2 CKPT_ARGS:检查点与路径
CKPT_ARGS=(
# sglang 需要的 hf ckpt,我们也会从这里读 tokenizer
--hf-checkpoint /root/GLM-Z1-9B-0414
# reference model 的 ckp
--ref-load /root/GLM-Z1-9B-0414_torch_dist
# actor 的 load dir,如果是空的,会从 `ref_load` 里面读
--load /root/GLM-Z1-9B-0414_slime/
--save /root/GLM-Z1-9B-0414_slime/
--save-interval 20
)
四个关键参数的角色:
--hf-checkpoint:HF 格式权重,供 sglang 推理引擎加载,并作为 tokenizer 来源;--ref-load:reference model 的 Megatrontorch_dist检查点,GRPO 计算 KL 惩罚时需要参考模型;--load:actor 模型的加载目录,若为空会从ref_load中读取;--save/--save-interval:训练模型的保存目录与保存间隔(步数)。
3.3 ROLLOUT_ARGS:采样与训练节奏
ROLLOUT_ARGS=(
# prompt 数据集,每行是个 json
--prompt-data /root/dapo-math-17k/dapo-math-17k.jsonl
--input-key prompt
--label-key label
# 如果 prompt 的 `input_key` 中是 openai message,
# 会进行 tokenizer.apply_chat_template(...)
--apply-chat-template
# 是否 shuffle 数据
--rollout-shuffle
# reward model 类型,
# slime 提供了很多类型以及用于自定义的 --custom-rm-path
--rm-type deepscaler
# 一共要训练多少 rollout
--num-rollout 3000
# 一个 rollout 有多少 prompt
--rollout-batch-size 32
# 每个 prompt 采多少回复
# 一个 rollout 会有 rollout_batch_size * n_samples_per_prompt 条
--n-samples-per-prompt 8
# rollout sampling param
--rollout-max-response-len 8192
--rollout-temperature 0.8
# 一次 rollout 对应几个训练步
--num-steps-per-rollout 1
# 是否在训练时 balance data,可能对速度有好处
--balance-data
)
理解"采样-训练"闭环是关键:rollout_batch_size × n_samples_per_prompt 决定单轮采样的总样本数,global_batch_size × num_steps_per_rollout 决定单轮训练消耗的总样本数,slime 要求两者相等(在 slime/slime/utils/arguments.py 中若只设置 --num-steps-per-rollout 会自动推导 --global-batch-size,二者都设置则会做校验)。当前仓库实际脚本中还显式设置了 --global-batch-size 256 与 --rollout-temperature 1(文档中的示例值为 0.8,请以你运行的脚本实际值为准)。
数据侧参数说明:--prompt-data 指向 JSONL 格式的 prompt 数据集,每行一个 JSON 对象;--input-key / --label-key 指定其中哪个字段作为 prompt 与标签;--apply-chat-template 表示若 prompt 字段是 OpenAI message 格式,则调用 tokenizer.apply_chat_template(...) 处理;--balance-data 借助 karmarkar_karp 算法在数据并行 rank 间均衡 token 量(注意可能把同一 prompt 的不同回复分到不同训练步)。reward 侧通过 --rm-type deepscaler 选用规则型奖励模型,slime 内置多种类型,也支持 --custom-rm-path 传入自定义奖励函数。
3.4 EVAL_ARGS:评估配置
eval 的时候基本会继承所有 rollout 的参数,但 slime 提供了一些可以被 rollout 配置覆盖的参数,从而实现训练和 eval 用不同的采样策略:
EVAL_ARGS=(
--eval-interval 5
--eval-prompt-data /root/aime-2024/aime-2024.jsonl
--n-samples-per-eval-prompt 16
--eval-max-response-len 16384
--eval-top-p 0.7
)
即训练用 temperature 采样(配合 8 个回复做组内比较),而评估用 top-p 0.7 的高质量采样且每个 prompt 采样 16 次,并放开最大长度到 16384。仓库实际脚本还支持 --eval-prompt-data aime <path> 这种带数据源别名的写法,并默认 --eval-interval 20、--eval-top-p 1。
3.5 PERF_ARGS:并行与显存优化
这一组是 Megatron 的并行参数,只有 --use-dynamic-batch-size 与 --max-tokens-per-gpu 是 slime 添加的:
PERF_ARGS=(
--tensor-model-parallel-size 2
--sequence-parallel
--pipeline-model-parallel-size 1
--context-parallel-size 2
--expert-model-parallel-size 1
--expert-tensor-parallel-size 1
--recompute-granularity full
--recompute-method uniform
--recompute-num-layers 1
# --micro-batch-size 1
--use-dynamic-batch-size
--max-tokens-per-gpu 4608
)
dynamic batch size 原理:max_tokens_per_gpu 指每张卡最多跑多少 token。开启 --use-dynamic-batch-size 后,slime 会尽可能将一个 batch 内部长短不一的数据拼到 max_tokens_per_gpu,从而组成动态的 micro batch size;若某条数据长度超过该上限则自成一条、不会截断。开启 context parallel(CP)时,CP 各卡共享总长为 CP * max_tokens_per_gpu 的 token 预算。参数解析源码(slime/slime/utils/arguments.py)给出的示例是:3 条样本长度分别为 100 / 200 / 300,max_tokens_per_gpu=300 时会被打包成 [100, 200] 与 [300] 两个 micro batch。
注意两点:
- 开启 dynamic batch size 后会忽略传统的
--micro-batch-size; - slime 总是通过 data packing 的方法训练模型,并且严格保证 per sample loss 或 per token loss 正确,因此开启 dynamic batch size 不会对 loss 计算有任何影响,推荐开启。
8×H100 上该组并行方案为:TP=2 + sequence parallel,CP=2,配合 full recompute(uniform、1 层粒度)换取较低显存占用。若需要计算 response 的 log probs,还可以配置 --log-probs-max-tokens-per-gpu(建议大于 max_tokens_per_gpu 以获得更好性能)。
3.6 GRPO_ARGS:强化学习算法参数
目前 slime 提供如下 GRPO 相关参数:
GRPO_ARGS=(
--advantage-estimator grpo
--use-kl-loss
--kl-loss-coef 0.00
--kl-loss-type low_var_kl
--entropy-coef 0.00
--eps-clip 0.2
--eps-clip-high 0.28
)
--advantage-estimator grpo:选用 GRPO 优势估计器。除 GRPO 外,slime 还支持 GSPO、Reinforce++、Reinforce++ Baseline、PPO 等多种算法,通过该参数切换;--use-kl-loss:启用后加载 reference model 并计算当前模型与其的 KL 散度;是否计入最终 loss 取决于--kl-loss-coef——设为 0 时 KL 仅作为监控指标展示,不参与梯度;--kl-loss-type low_var_kl:低方差 KL 实现;--eps-clip 0.2/--eps-clip-high 0.28:GRPO 的 clip 下界/上界(上下界不对称是该示例的一个特点);--entropy-coef 0.00:熵正则系数,示例中关闭。
--use-kl-loss 会依赖前面 CKPT_ARGS 中的 --ref-load 参考模型路径。slime 还支持 --calculate-per-token-loss(默认是 per sample loss)与 --use-tis(Truncated Importance Sampling,用于 off-policy 场景),详见 slime/docs/zh/get_started/quick_start.md。
3.7 OPTIMIZER_ARGS:优化器参数
OPTIMIZER_ARGS=(
--optimizer adam
--lr 1e-6
--lr-decay-style constant
--weight-decay 0.1
--adam-beta1 0.9
--adam-beta2 0.98
)
使用 Adam 优化器,学习率 1e-6 且恒定不衰减,weight decay 0.1,beta1/beta2 分别为 0.9 / 0.98。这套数值是 RL 微调(而非预训练)的典型配置——极小的恒定学习率有助于在保留模型原有能力的基础上做偏好对齐。
3.8 SGLANG_ARGS:推理引擎参数
SGLANG_ARGS=(
--rollout-num-gpus-per-engine 2
)
--rollout-num-gpus-per-engine 基本对应 sglang 的 tp_size。除此之外的 sglang 参数均通过添加 --sglang- 前缀传给 slime(例如 --sglang-log-level INFO),由 slime 自动透传给 sglang。
⚠️ 注意:slime 会用 sgl-router 来调度多个 sglang server,在不开启 dp attention 的情况下不支持
dp_size(dp_size会由rollout-num-gpus / rollout-num-gpus-per-engine计算得到)。
3.9 WANDB_ARGS 与 MISC_ARGS:日志与杂项(仓库脚本补充)
仓库实际脚本还包含两组值得了解的参数:
WANDB_ARGS=(
--use-wandb
--wandb-project test_slime
--wandb-group test_slime_glm4-9B
--wandb-key ${WANDB_KEY}
)
MISC_ARGS=(
# default dropout in megatron is 0.1
--attention-dropout 0.0
--hidden-dropout 0.0
# should be good for model performance
--accumulate-allreduce-grads-in-fp32
--attention-softmax-in-fp32
# need to comment this when using model with MLA
--attention-backend flash
)
MISC_ARGS 将 attention/hidden dropout 置零(Megatron 默认 0.1,对 RL 微调通常过高),并把梯度 all-reduce 与 attention softmax 保持在 fp32 精度以保障数值稳定性;--attention-backend flash 适用于非 MLA 模型(若使用带 MLA 的模型需注释该行)。
四、训推一体(Colocated Actor and Rollout)
在原始脚本中,资源配置如下:
ray job submit ... \
-- python3 train.py \
--actor-num-nodes 1 \
--actor-num-gpus-per-node 4 \
--rollout-num-gpus 4 \
...
即开启训推分离:训练部分(actor)使用 1 机 4 卡,推理部分(rollout)使用另外 4 张卡,两路并行;若把 actor-num-gpus-per-node 设为 8、rollout-num-gpus 也设为 4 之外的组合,则会和训练共用这 8 张卡。
如果想使用训推一体(colocate)功能,需要加上 --colocate 并去掉 --rollout-num-gpus:
ray job submit ... \
-- python3 train.py \
--actor-num-nodes 1 \
--actor-num-gpus-per-node 8 \
--colocate \
...
此时训练和推理就会共用这 8 张卡。从参数解析源码(slime/slime/utils/arguments.py)看:--colocate 开启后 --rollout-num-gpus 会被忽略并自动设为 actor_num_gpus_per_node * actor_num_nodes,且 --offload 会被强制打开(--offload-train / --offload-rollout 均为 true),即在训练/推理切换时把对方的权重 offload 到 CPU,从而在同一组 GPU 上分时复用。
⚠️ 注意:在训推一体的训练时,Megatron 始终会占据一些显存,所以需要通过调整
--sglang-mem-fraction-static来降低 sglang 占据的显存比例(通常建议 0.8 左右)。此外 torch_memory_saver 中的部分显存优化仅能在训推一体模式下使用(需释放 GPU 显存),训推分离模式暂不支持。
五、Dynamic Sampling(DAPO 式动态采样)
slime 支持更复杂的 sampling 方案,例如 DAPO 中的 dynamic sampling。开启需要配置:
--over-sampling-batch-size ${OVER_SAMPLING_BS} \
--dynamic-sampling-filter-path \
slime.rollout.filter_hub.dynamic_sampling_filters.check_reward_nonzero_std
这里 over_sampling_batch_size 需要大于 rollout_batch_size,例如配置为:
--rollout-batch-size 32 \
--n-samples-per-prompt 8 \
--over-sampling-batch-size 64 \
工作机理:sampling 会直接采样 64 条 prompt,每条 prompt 采样 8 次。因为 slime 内部进行的是异步采样,所以会先后获得每个 prompt 的 8 条回复;收到一组回复时,用 dynamic_sampling_filter_path 对应的函数进行筛选,通过则留下这 8 条数据,否则丢掉。当收到 32 × 8 条有效数据时立刻停止采样,不会等剩余数据采样完成;如果被删除的数据超过了 32 条 prompt(剩余不足 32 条),则再采样 64 条 prompt 补足。
参数含义(slime/slime/utils/arguments.py):--over-sampling-batch-size 定义采样批次粒度,--dynamic-sampling-filter-path 指向过滤函数;源码中的示例过滤函数真实实现位于 slime/slime/rollout/filter_hub/dynamic_sampling_filters.py:
def check_reward_nonzero_std(args, samples: list[Sample], **kwargs):
rewards = [sample.get_reward_value(args) for sample in samples]
keep = torch.tensor(rewards, dtype=torch.float).std() > 0.0
return DynamicFilterOutput(
keep=keep,
reason=None if keep else f"zero_std_{round(rewards[0], 1)}",
)
即判断一组样本的 reward 标准差是否大于 0——全对或全错(reward 无差异)的组会被丢弃,从而保证训练数据的多样性。过滤器返回 DynamicFilterOutput(定义于 slime/slime/rollout/filter_hub/base_types.py),其中 reason 字段会被 MetricGatherer 按原因计数并输出为 rollout/dynamic_filter/drop_xxx 指标,便于观察丢弃分布。整体采样循环实现在 slime/slime/rollout/sglang_rollout.py 的 generate_rollout_async 中:while len(data) < target_data_size 外层循环 + data_source(args.over_sampling_batch_size) 按过采样粒度取数,过滤丢弃的组会令 remaining_batch_size 减一,从而触发补充采样。
六、Partial Rollout:回收被中断的生成
进行 dynamic sampling 的过程中,会提前终止(abort)大量请求。可通过配置 --partial-rollout 参数,将生成到一半的请求保存至 data buffer,在下一个 rollout 中取出来继续生成,从而进一步优化性能:
--partial-rollout \
同时可以通过配置 --buffer-filter-path 自定义如何从 buffer 中取出数据,默认函数为 pop_first:
def pop_first(args, rollout_id, buffer: list[list[Sample]], num_samples: int) -> list[list[Sample]]:
num_to_pop = min(len(buffer), num_samples)
samples = buffer[:num_to_pop]
del buffer[:num_to_pop]
return samples
即每次取出前 num_samples 个 prompt 对应的 num_samples * n_samples_per_prompt 条数据。
从源码看这一机制是闭环的:数据源侧,slime/slime/rollout/data_source.py 中的 RolloutDataSourceWithBuffer.get_samples 会先调用 buffer_filter(默认 pop_first)从 buffer 取数,不足部分再从数据集补取;采样侧,slime/slime/rollout/sglang_rollout.py 的 abort 在终止未完成请求时,若开启 --partial-rollout 会把中途生成的样本收集为 aborted samples 返回,最终由训练主循环 data_source.add_samples(aborted_samples) 写回 buffer,供下一轮 rollout 复用。
⚠️ 注意:每条 partial rollout sample 的
sample.metadata中存储了第一次进行生成的 rollout id,可以用于数据过滤(例如识别 off-policy 样本)。若希望彻底只训练 on-policy 生成的 token,可额外开启--mask-offpolicy-in-partial-rollout(参数定义见 slime/slime/utils/arguments.py),此时 partial rollout 中上一次生成的部分会被 mask 掉、仅新生成的 token 参与训练。
七、小结:从 GLM4-9B 迁移到其他模型
本文以 GLM4-9B(GLM-Z1-9B-0414)为例串起了 slime 在 8×H100 上的完整 RL 训练链路:镜像环境 → 权重转换 → run-glm4-9B.sh 八大参数组 → 训推一体 → dynamic sampling → partial rollout。迁移到其他模型时,只需替换 slime/scripts/models/ 下对应的模型配置脚本(如 qwen3-4B),并核对 --rotary-base、--vocab-size、--num-layers、--hidden-size 等结构与你的权重一致即可,其余 rollout / GRPO / optimizer 参数均可按需沿用。更进一步的多轮 Agent 适配(自定义 generate / reward 函数、--metadata-key 传递工具上下文、loss mask 控制)可参考 slime/docs/zh/get_started/quick_start.md 的 Multiturn 章节,核心扩展点均围绕 --custom-generate-function-path 与 --custom-rm-path 展开。