Evo-RL多GPU训练提速指南:accelerate分布式训练与混合精度配置详解

原创2026-10-25 16:12:372,575 阅读

Evo-RL多GPU训练提速指南:accelerate分布式训练与混合精度配置详解

对于想用开源方案在 SO-101 和 AgileX PiPER 上做真机强化学习的工程师来说,Evo-RL 多GPU训练是绕不开的提速手段。Evo-RL 是基于 LeRobot 0.4.4 构建的真机离线 RL 框架,支持在单卡或单机多卡上训练 VLA 策略、价值函数等模型。本指南介绍如何用 Hugging Face accelerate 完成分布式训练与混合精度配置,把数天的训练压缩到可接受的时间范围内。

Evo-RL 多GPU训练管线总览:基础设施、人在环数据、价值训练与策略学习四大阶段

为什么需要多 GPU 训练

Evo-RL 训练的对象是包含视觉编码器、语言模型和动作解码器的完整 VLA 策略(如 Evo1),单卡训练动辄以"天"计。多 GPU 带来的收益很直接:

  • 数据并行:batch 自动切分到各 GPU,有效批量 = batch_size × GPU 数
  • 梯度同步:反向传播时自动跨卡同步梯度
  • 混合精度:fp16/bf16 让大模型训练更快、显存更省

Evo1 VLA 架构:视觉编码器、Eagle-2 VLM、DiT 动作解码器组成的多GPU训练目标模型

上面的 Evo1 架构(冻结的视觉/语言主干 + 可训练的动作头)就是典型的多卡训练场景——主干大、动作头小,单机多卡的数据并行是性价比最高的选择。

环境准备:一键安装 accelerate

确保环境里已安装 accelerate(安装 Evo-RL 主包后通常已包含):

pip install accelerate

启动训练前可用 nvidia-smi 确认显卡可用数量,后续命令中的 --num_processes 就填这个数。

方式一:命令行直接指定参数(推荐新手)

无需预配置,一条命令即可启动多卡训练:

CUDA_VISIBLE_DEVICES=0,1 accelerate launch \
  --multi_gpu \
  --num_processes=2 \
  --mixed_precision=bf16 \
  $(which lerobot-train) \
  --dataset.repo_id=<你的数据集> \
  --policy.type=<策略类型> \
  --batch_size=16 \
  --output_dir=outputs/train/multi_gpu \
  --job_name=multi_gpu_run \
  --wandb.enable=true

三个关键参数:

参数 作用
--multi_gpu 开启多 GPU 数据并行
--num_processes=N 使用 N 张 GPU
--mixed_precision=fp16 或 bf16 开启混合精度,训练更快

方式二:accelerate config 持久化配置

如果常用同一套硬件,可以交互式保存配置,以后直接 accelerate launch 启动即可:

accelerate config

单机多卡推荐设置:

  • Compute environment: This machine
  • Number of machines: 1
  • Number of processes: 想用的 GPU 数
  • GPU ids to use: 留空(默认用全部)
  • Mixed precision: bf16(A100/H100 等新卡推荐)或 fp16

仓库里就附了一份 4 卡 bf16 的现成配置可以直接参考:accelerate_four_gpu_bf16.yaml

compute_environment: LOCAL_MACHINE
distributed_type: MULTI_GPU
mixed_precision: bf16
num_machines: 1
num_processes: 4
downcast_bf16: "no"

保存后,启动命令简化为:

accelerate launch $(which lerobot-train) \
  --dataset.repo_id=<你的数据集> \
  --policy.type=<策略类型> \
  --output_dir=outputs/train/multi_gpu

混合精度怎么选:fp16 还是 bf16

  • bf16(推荐首选):动态范围与 fp32 相同,几乎不会数值溢出,Ampere 架构及以后的 GPU(A100、H100、40/50 系)都支持,训练最省心。
  • fp16:兼容性最好(Volta 及以后),需要梯度缩放防下溢,老卡上通常是稳妥选择。

⚠️ 注意:使用 accelerate 时,混合精度由 accelerate 的 --mixed_precision 控制;lerobot-train 的 --policy.use_amp 开关只在不用 accelerate 的纯 PyTorch AMP 路径下生效,两者不要混用。

SO100 双臂遥操作采集现场:Evo-RL 多GPU训练所使用的真机数据平台

Evo-RL 的工作流是"采集 → 价值函数训练/推理 → 策略训练"。其中价值函数训练(lerobot-value-train)和价值推理(lerobot-value-infer)同样支持同一套多卡模板,把 $(which lerobot-train) 替换成对应命令即可,完整模板见 README.md 的 Policy Training 章节。

accelerate 在 Evo-RL 里的工作机制

Evo-RL 的训练脚本(lerobot_train.py)内置了 accelerate 支持,启动后自动完成四件事:

  1. 自动检测:感知当前处于 accelerate 环境
  2. 数据切分:每个 GPU 只处理自己那份 batch
  3. 梯度同步:accelerator.backward(loss) 自动做跨卡 AllReduce
  4. 单进程日志:只有主进程写日志、存 checkpoint、推送模型,避免多卡写冲突

WandB 也只在主进程初始化,不会出现一个 run 分裂成 N 条记录的问题。

关键细节:学习率与训练步数不会自动缩放

这是最容易踩的坑:Evo-RL 不会自动按 GPU 数放大学习率,也不会自动减少训练步数,一切由你手动控制。

  • 有效批量变大了:2 卡 + --batch_size=8 → 有效批量 16。常见做法是同步把 steps 按比例减半(如 100000 → 50000),或在稳定的前提下对学习率做线性缩放(如 1e-4 → 2e-4)。
  • 调度器已正确处理:内部设置了 step_scheduler_with_optimizer=False,accelerate 不会按进程数调整 lr_scheduler 的步数,学习率曲线与单卡一致。
  • 保存模型自动解包:存盘时会剥离 DDP 分布式包装层,checkpoint 与单卡训练完全兼容,可直接用于真机部署。

多卡训练命令速查

# 4 卡 bf16 训练策略(README 官方模板)
CUDA_VISIBLE_DEVICES=0,1,2,3 accelerate launch \
  --multi_gpu \
  --num_processes=4 \
  --mixed_precision=bf16 \
  $(which lerobot-train) \
  --batch_size=8 \
  <你的策略训练参数>

如果显存吃紧,优先降低 --batch_size(每卡批量),保持 batch_size × num_processes 的总批量不变即可。

参考资料

掌握 accelerate 的两种启动方式、bf16 混合精度与手动超参缩放这三个要点,你就能在 Evo-RL 上把多 GPU 的算力红利真正兑现到训练时长里了。

登录后查看全文
Evo-RL