在ModelScope/Swift项目中调整多GPU训练配置的技术指南

背景介绍

ModelScope/Swift是一个开源的大模型训练框架，支持在多GPU环境下进行高效训练。在实际应用中，研究人员经常需要根据硬件资源调整训练配置，特别是GPU数量的变化会直接影响多个关键参数。

多GPU训练的核心参数

当用户需要从4张GPU调整为6张或10张GPU进行训练时，需要同步调整以下关键参数：

1. GPU设备指定参数：

   • CUDA_VISIBLE_DEVICES：指定可见的GPU设备ID列表
   • NPROC_PER_NODE：设置每个节点的进程数，应与GPU数量一致

2. 推理相关参数：

   • num_infer_workers：推理工作进程数，建议与GPU数量保持一致
   • tensor_parallel_size：张量并行度，通常等于GPU数量

配置调整示例

6张GPU配置示例

CUDA_VISIBLE_DEVICES=0,1,2,3,4,5 \
NPROC_PER_NODE=6 \
swift rlhf \
    ...
    --num_infer_workers 6 \
    --tensor_parallel_size 6 \
    ...

10张GPU配置示例

CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7,8,9 \
NPROC_PER_NODE=10 \
swift rlhf \
    ...
    --num_infer_workers 10 \
    --tensor_parallel_size 10 \
    ...

注意事项

1. 显存管理：增加GPU数量时，可能需要调整vllm_gpu_memory_utilization参数以优化显存使用

2. 批量大小：GPU数量变化后，可以适当调整per_device_train_batch_size和gradient_accumulation_steps以获得更好的训练效率

3. 通信开销：GPU数量增加会带来更多的通信开销，可能需要调整move_model_batches参数

4. 温度参数：在多GPU环境下，temperature、top_p和top_k等生成参数可能需要重新调优

性能优化建议

1. 对于大规模模型训练，建议使用deepspeed的zero3_offload策略
2. 启用offload_optimizer和offload_model可以减轻GPU显存压力
3. 适当设置gc_collect_after_offload有助于内存管理
4. 根据硬件性能调整sleep_level参数

通过合理调整这些参数，用户可以在不同GPU配置下获得最优的训练性能。