Evo-RL多GPU训练提速指南:accelerate分布式训练与混合精度配置详解
Evo-RL多GPU训练提速指南:accelerate分布式训练与混合精度配置详解
对于想用开源方案在 SO-101 和 AgileX PiPER 上做真机强化学习的工程师来说,Evo-RL 多GPU训练是绕不开的提速手段。Evo-RL 是基于 LeRobot 0.4.4 构建的真机离线 RL 框架,支持在单卡或单机多卡上训练 VLA 策略、价值函数等模型。本指南介绍如何用 Hugging Face accelerate 完成分布式训练与混合精度配置,把数天的训练压缩到可接受的时间范围内。
为什么需要多 GPU 训练
Evo-RL 训练的对象是包含视觉编码器、语言模型和动作解码器的完整 VLA 策略(如 Evo1),单卡训练动辄以"天"计。多 GPU 带来的收益很直接:
- 数据并行:batch 自动切分到各 GPU,有效批量 =
batch_size × GPU 数 - 梯度同步:反向传播时自动跨卡同步梯度
- 混合精度:fp16/bf16 让大模型训练更快、显存更省
上面的 Evo1 架构(冻结的视觉/语言主干 + 可训练的动作头)就是典型的多卡训练场景——主干大、动作头小,单机多卡的数据并行是性价比最高的选择。
环境准备:一键安装 accelerate
确保环境里已安装 accelerate(安装 Evo-RL 主包后通常已包含):
pip install accelerate
启动训练前可用 nvidia-smi 确认显卡可用数量,后续命令中的 --num_processes 就填这个数。
方式一:命令行直接指定参数(推荐新手)
无需预配置,一条命令即可启动多卡训练:
CUDA_VISIBLE_DEVICES=0,1 accelerate launch \
--multi_gpu \
--num_processes=2 \
--mixed_precision=bf16 \
$(which lerobot-train) \
--dataset.repo_id=<你的数据集> \
--policy.type=<策略类型> \
--batch_size=16 \
--output_dir=outputs/train/multi_gpu \
--job_name=multi_gpu_run \
--wandb.enable=true
三个关键参数:
| 参数 | 作用 |
|---|---|
--multi_gpu |
开启多 GPU 数据并行 |
--num_processes=N |
使用 N 张 GPU |
--mixed_precision=fp16 或 bf16 |
开启混合精度,训练更快 |
方式二:accelerate config 持久化配置
如果常用同一套硬件,可以交互式保存配置,以后直接 accelerate launch 启动即可:
accelerate config
单机多卡推荐设置:
- Compute environment: This machine
- Number of machines: 1
- Number of processes: 想用的 GPU 数
- GPU ids to use: 留空(默认用全部)
- Mixed precision: bf16(A100/H100 等新卡推荐)或 fp16
仓库里就附了一份 4 卡 bf16 的现成配置可以直接参考:accelerate_four_gpu_bf16.yaml
compute_environment: LOCAL_MACHINE
distributed_type: MULTI_GPU
mixed_precision: bf16
num_machines: 1
num_processes: 4
downcast_bf16: "no"
保存后,启动命令简化为:
accelerate launch $(which lerobot-train) \
--dataset.repo_id=<你的数据集> \
--policy.type=<策略类型> \
--output_dir=outputs/train/multi_gpu
混合精度怎么选:fp16 还是 bf16
- bf16(推荐首选):动态范围与 fp32 相同,几乎不会数值溢出,Ampere 架构及以后的 GPU(A100、H100、40/50 系)都支持,训练最省心。
- fp16:兼容性最好(Volta 及以后),需要梯度缩放防下溢,老卡上通常是稳妥选择。
⚠️ 注意:使用 accelerate 时,混合精度由 accelerate 的 --mixed_precision 控制;lerobot-train 的 --policy.use_amp 开关只在不用 accelerate 的纯 PyTorch AMP 路径下生效,两者不要混用。
Evo-RL 的工作流是"采集 → 价值函数训练/推理 → 策略训练"。其中价值函数训练(lerobot-value-train)和价值推理(lerobot-value-infer)同样支持同一套多卡模板,把 $(which lerobot-train) 替换成对应命令即可,完整模板见 README.md 的 Policy Training 章节。
accelerate 在 Evo-RL 里的工作机制
Evo-RL 的训练脚本(lerobot_train.py)内置了 accelerate 支持,启动后自动完成四件事:
- 自动检测:感知当前处于 accelerate 环境
- 数据切分:每个 GPU 只处理自己那份 batch
- 梯度同步:
accelerator.backward(loss)自动做跨卡 AllReduce - 单进程日志:只有主进程写日志、存 checkpoint、推送模型,避免多卡写冲突
WandB 也只在主进程初始化,不会出现一个 run 分裂成 N 条记录的问题。
关键细节:学习率与训练步数不会自动缩放
这是最容易踩的坑:Evo-RL 不会自动按 GPU 数放大学习率,也不会自动减少训练步数,一切由你手动控制。
- 有效批量变大了:2 卡 +
--batch_size=8→ 有效批量 16。常见做法是同步把steps按比例减半(如 100000 → 50000),或在稳定的前提下对学习率做线性缩放(如 1e-4 → 2e-4)。 - 调度器已正确处理:内部设置了
step_scheduler_with_optimizer=False,accelerate 不会按进程数调整 lr_scheduler 的步数,学习率曲线与单卡一致。 - 保存模型自动解包:存盘时会剥离 DDP 分布式包装层,checkpoint 与单卡训练完全兼容,可直接用于真机部署。
多卡训练命令速查
# 4 卡 bf16 训练策略(README 官方模板)
CUDA_VISIBLE_DEVICES=0,1,2,3 accelerate launch \
--multi_gpu \
--num_processes=4 \
--mixed_precision=bf16 \
$(which lerobot-train) \
--batch_size=8 \
<你的策略训练参数>
如果显存吃紧,优先降低 --batch_size(每卡批量),保持 batch_size × num_processes 的总批量不变即可。
参考资料
- 官方多卡文档:docs/source/multi_gpu_training.mdx
- 4 卡 bf16 配置示例:src/lerobot/policies/evo1/accelerate_four_gpu_bf16.yaml
- 训练脚本实现:src/lerobot/scripts/lerobot_train.py
- 单机训练示例(理解训练循环):examples/training/train_policy.py
- 策略配置(use_amp 说明):src/lerobot/configs/policies.py
掌握 accelerate 的两种启动方式、bf16 混合精度与手动超参缩放这三个要点,你就能在 Evo-RL 上把多 GPU 的算力红利真正兑现到训练时长里了。


