告别调参烦恼：DeepSpeed自动调优让模型训练效率提升2.48倍的秘密

你是否还在为深度学习模型的参数调优而头疼？手动尝试各种配置组合不仅耗时费力，还往往难以达到最优性能。特别是在使用DeepSpeed这样功能强大的分布式训练框架时，面对众多配置参数，如何找到最佳组合成为许多开发者的痛点。本文将带你探索DeepSpeed自动调优（Autotuning）功能，只需简单几步，即可让系统智能发现最优配置，显著提升训练吞吐量，让你从繁琐的手动调参中解放出来。读完本文，你将了解如何启用自动调优、配置参数含义、解读调优结果，以及在实际项目中应用这一强大工具。

为什么需要自动调优？

在深度学习模型训练过程中，找到合适的配置参数（如微批次大小、ZeRO优化阶段等）对于充分利用硬件资源、实现高吞吐量至关重要。传统的手动调参方式不仅耗时，而且结果往往依赖硬件环境，在不同设备上可能需要重新调整。随着DeepSpeed等框架的发展，可配置参数越来越多，手动调参的难度和工作量也随之增加。

DeepSpeed自动调优功能正是为解决这一痛点而生。它能够自动探索最优的DeepSpeed配置，不仅减少了用户在调参上花费的时间和资源，还能发现比手动调参更好的配置方案。相关技术细节可参考官方文档：docs/_tutorials/autotuning.md。

自动调优的工作原理

DeepSpeed自动调优器通过结合模型信息、系统信息和启发式算法，高效地调整影响训练速度的系统参数。目前，自动调优主要针对以下几个方面：

• ZeRO优化阶段（Zero Redundancy Optimizer stages）
• 每GPU的微批次大小（micro-batch size per GPU）
• 其他ZeRO优化配置（如梯度累积步数等）

用户可以通过DeepSpeed配置文件进一步自定义调优范围，具体可参考deepspeed/autotuning目录下的源码实现。自动调优的核心思想是在给定的硬件资源约束下，通过尝试不同的配置组合，找到能够最大化训练吞吐量的最佳方案。

快速上手：启用自动调优的步骤

前提条件

在开始使用自动调优功能之前，请确保你已经阅读以下DeepSpeed教程：

• Getting Started
• Zero Redundancy Optimizer

环境准备

以GPT2-large模型训练为例，我们需要安装以下依赖包：

# 安装transformers（从源码）
git clone https://gitcode.com/gh_mirrors/de/DeepSpeed.git
cd transformers
pip install .

# 安装datasets
pip install datasets

本示例中使用的版本如下：

• transformers (4.12.0.dev0)
• datasets (1.11.0)

修改配置文件

在DeepSpeed配置文件中添加自动调优启用标志：

{
  "train_micro_batch_size_per_gpu": "auto",
  "fp16": {
    "enabled": true
  },
  "autotuning": {
    "enabled": true,
    "arg_mappings": {
      "train_micro_batch_size_per_gpu": "--per_device_train_batch_size",
      "gradient_accumulation_steps ": "--gradient_accumulation_steps"
    }
  }
}

运行训练脚本

在训练命令中添加--autotuning run参数：

deepspeed --autotuning run --num_nodes=$NNODES --num_gpus=$NGPUS $HF_PATH/transformers/examples/pytorch/language-modeling/run_clm.py --deepspeed $DS_CONFIG \
--model_name_or_path $MODEL_NAME \
--dataset_name wikitext \
--dataset_config_name wikitext-2-raw-v1 \
--do_train \
--do_eval \
--fp16 \
--per_device_train_batch_size $PER_DEVICE_TRAIN_BATCH_SIZE \
--gradient_accumulation_steps $GRADIENT_ACCUMULATION_STEPS \
--learning_rate 2e-5 \
--num_train_epochs $NEPOCHS \
--output_dir ${OUTPUT_DIR} \
--overwrite_output_dir

性能对比：自动调优VS手动调参

我们在16块Nvidia V100 GPU上训练一个拥有7.74亿参数的GPT2-large模型，对比了三种方案的性能：

模型名称	基线（原生HF）	HF + DS手动调参	HF + DS自动调优（快速模式）
GPT2-large	27.874（mbs=1）	56.797（z=1, mbs=2）	69.061（z=1, mbs=3）

从结果可以看出，DeepSpeed自动调优相比原生Hugging Face实现，吞吐量提升了2.48倍，相比手动调参的DeepSpeed配置也有21.6%的提升。详细的调优结果摘要如下：

• 快速模式自动调优时间：27分钟
• 实验次数：13次
• 调优空间及最佳结果：

调优空间	实验次数	最佳指标值	最佳实验名称
z0	4	59.0229	z0_gas1_tmbspg2
z1	5	87.3017	z1_gas1_tmbspg3
z2	3	77.8338	z2_gas1_tmbspg3
z3	1	0	z3_gas1_tmbspg3
global	13	87.3017	z1_gas1_tmbspg3

高级技巧与最佳实践

自定义调优范围

用户可以通过配置文件自定义调优范围，例如指定要尝试的ZeRO阶段、微批次大小范围等。具体配置方法可参考Configuring Tuning Scope。

结合AzureML使用

DeepSpeed自动调优还可以与AzureML集成，实现更便捷的云端训练调优。相关示例可参考AzureML示例。

调优结果解读

自动调优结束后，系统会生成详细的结果报告，包括每个实验的配置和性能指标。用户可以根据这些信息进一步理解不同配置对模型训练的影响，为未来的手动调参提供参考。

总结与展望

DeepSpeed自动调优功能通过智能探索最优配置，极大地简化了分布式训练的参数调优过程，显著提升了训练效率。无论是研究人员还是工业界开发者，都可以通过这一工具快速找到适合自己模型和硬件环境的最佳配置，将更多精力集中在模型设计和算法创新上。

未来，DeepSpeed团队计划进一步扩展自动调优的覆盖范围，包括更多的配置参数和更复杂的硬件环境，同时优化调优算法，减少调优所需的时间和资源。如果你在使用过程中有任何问题或建议，欢迎通过GitHub Issues与开发团队交流。

希望本文对你了解和使用DeepSpeed自动调优功能有所帮助。如果你觉得这篇文章有用，请点赞、收藏并关注我们，获取更多DeepSpeed相关的技术分享和最佳实践！