NNI Remote 模式实战:通过 SSH 在多台远程机器上并行调度 Trial

原创2026-09-21 17:37:181,833 阅读
文章标签:人工智能AutoML机器学习深度学习模型压缩模型量化模型优化特征工程MLOps数据可视化

NNI Remote 模式实战:通过 SSH 在多台远程机器上并行调度 Trial

本篇技术指南围绕 NNI(Neural Network Intelligence)开源仓库中的 Remote Training Service 展开,讲解如何借助 SSH 将多台远程机器(支持 Linux 与 Windows)组织成一个"轻量级训练平台":你只需在自己电脑上启动 nnictl,NNI 便会把实验代码自动上传到远程机器,并并行分发多个 Trial。读完本文,你将掌握 remote 模式的前置环境要求、config_remote.yml 全量配置项(含 host / port / user / password / ssh_key_file / pythonPath 等)、以及从安装到启动实验的完整实操流程。

什么是 NNI 的 remote 模式

NNI 可以在多台远程机器上运行同一个实验,这种通过 SSH 调度远程机器的方式在配置文件中被称为 remote 模式。它的定位类似于一个"轻量级训练平台":实验从你的电脑(运行 nnictl 的机器)启动,而 Trial 被并行分发到远程机器上执行。

从仓库的 Python 配置实现看,remote 模式的训练服务由两个核心数据结构承载(见 nni/experiment/config/training_services/remote.py):

  • RemoteConfig:继承 TrainingServiceConfig,platform 固定为 'remote',核心字段是 machine_list(远程机器列表)与 reuse_mode;
  • RemoteMachineConfig:描述单台远程机器的连接信息与资源分配策略。

而在 TypeScript 侧的 nni_manager 中,对应的实现位于 ts/nni_manager/training_service/remote_machine/ 与 ts/nni_manager/training_service/remote_v3/,其中 ssh.ts 封装了基于 ssh2 库的 SSH 连接:读取 sshKeyFile 私钥或使用 password 密码建立连接,之后通过 exec() 在远端执行命令、通过 SFTP 传输文件。

remote 模式对远程机器的操作系统支持范围如下:

  • Linux
  • Windows 10
  • Windows Server 2019

启动 remote 实验的前置要求

在配置实验之前,需要逐条确认以下四项要求,否则实验可能在中途失败:

  1. 远程机器默认环境必须满足 Trial 代码的运行依赖。如果默认环境不满足,可以在 NNI 配置的 command 字段中加入一段 setup 脚本(例如安装依赖包、设置环境变量),在启动 Trial 前先执行。
  2. 运行 nnictl 的机器必须能通过 SSH 访问所有远程机器。SSH 同时支持密码认证和密钥认证;更高级的用法可参考 machineList 相关配置文档。
  3. 每台机器上的 NNI 版本必须一致,避免协议或接口不兼容导致调度失败。
  4. 如果混用 Linux 与 Windows 远程机器,Trial 命令必须兼容两种系统。例如 Linux 上默认的 Python 3 可执行文件通常叫 python3,而 Windows 上叫 python,因此 trialCommand 需要写成两种系统都能识别的形式。

Linux 远程机器

按照 NNI 的 Linux 安装文档在远程机器上完成 NNI 安装即可,无需额外配置 SSH 服务端(Linux 发行版默认自带 sshd)。

Windows 远程机器

Windows 远程机器除安装 NNI 外,还需要完成以下配置:

  1. 安装 OpenSSH Server:

    • 打开 Windows 的"设置"应用;

    • 点击"应用",再点击"可选功能";

    • 点击"添加功能",搜索并选择"OpenSSH Server",然后点击"安装";

    • 安装完成后,以管理员身份打开命令提示符,执行以下命令启动服务并设置为开机自启:

      sc config sshd start=auto
      net start sshd
      
  2. 远程账户必须是管理员,这样 NNI 才能在执行过程中终止(kill)正在运行的 Trial。

  3. 远程登录时不要输出多余的欢迎信息。Node.js 侧的 ssh2 在欢迎消息异常增多时会导致连接失败。例如在使用 Azure Data Science VM 时,需要移除 C:\dsvm\tools\setup\welcome.bat 中额外的 echo 命令。打开新的命令窗口时,输出类似下面这样即为正常:

    Microsoft Windows [Version 10.0.17763.1192]
    (c) 2018 Microsoft Corporation. All rights reserved.
    
    (py37_default) C:\Users\AzureUser>
    

使用 config_remote.yml 启动一个远程实验

场景示例:三台可密码登录的机器

假设有三台机器,均可用用户名与密码登录:

IP Username Password
10.1.1.1 bob bob123
10.1.1.2 bob bob123
10.1.1.3 bob bob123

在三台机器中的任意一台(或另一台能访问它们的机器)上安装并运行 NNI 即可。

参考配置:mnist-pytorch 的 config_remote.yml

仓库中的 examples/trials/mnist-pytorch/config_remote.yml 是 remote 模式的标准示例,其完整内容如下:

searchSpaceFile: search_space.json
trialCommand: python3 mnist.py
trialGpuNumber: 0
trialConcurrency: 4
maxTrialNumber: 20
tuner:
  name: TPE
  classArgs:
    optimize_mode: maximize
trainingService:
  platform: remote
  machineList:
    - host: ${your server's IP or domain name}
      user: ${your user name}
      ssh_key_file: ~/.ssh/id_rsa  # We recommend public key over password, it's more secure and convenient.
    # You can specify more than one SSH servers:
    - host: 123.123.123.123
      port: 10022
      user: nniuser
      password: 12345
      pythonPath: /usr/bin  # Other examples:
                            #   /opt/python3.9/bin
                            #   C:/Python39
                            #   C:/Users/USERNAME/.conda/envs/ENVNAME;C:/Users/USERNAME/.conda/envs/ENVNAME/Scripts;C:/Users/USERNAME/.conda/envs/ENVNAME/Library/bin

配置中的关键字段说明如下:

  • searchSpaceFile:指向 search_space.json,其中定义了 batch_size、hidden_size、lr、momentum 等超参数的取值范围,远程调度器会按此生成不同的 Trial 参数组合;
  • trialCommand:远程机器上执行 Trial 的命令,注意跨平台兼容性(Linux 常用 python3,Windows 常用 python);
  • trialCodeDirectory:待上传到远程机器的代码目录,默认值为当前目录 .,可省略;目录中的文件会被自动上传到远程机器;
  • trialGpuNumber:每个 Trial 需要的 GPU 数量,示例中为 0(纯 CPU 训练);
  • trialConcurrency:并发运行的 Trial 数量;
  • maxTrialNumber:实验最多生成的 Trial 总数;
  • tuner:超参调优算法,示例使用 TPE 并设为 maximize 优化模式;
  • trainingService.platform:必须为 remote;
  • trainingService.machineList:远程机器列表,每台机器可配置 host、port、user、password 或 ssh_key_file、pythonPath。

说明:上面示例中的 ${...} 与 123.123.123.123 为占位符。在 RemoteMachineMode.rst 原始示例中,machineList 使用了两台机器:192.0.2.1(alice,密钥登录)与 192.0.2.2(bob,密码登录、指定端口 10022 与 pythonPath),两种认证方式可混合使用。

启动命令

在 Windows、Linux 或 macOS 上均可运行下面的命令,向远程 Linux 机器分发 Trial:

nnictl create --config examples/trials/mnist-pytorch/config_remote.yml

执行后 NNI 会自动完成代码上传、Trial 分发、结果回收等一系列工作。

machineList 完整字段与校验规则

结合 nni/experiment/config/training_services/remote.py 的源码实现,machineList 中每台 RemoteMachineConfig 支持以下字段:

字段 类型 默认值 说明
host str 必填 远程机器 IP 或域名
port int 22 SSH 端口,校验范围为 0 < port < 65536
user str 必填 登录用户名
password Optional[str] None SSH 密码;提供密码时 ssh_key_file 会被置为 None
ssh_key_file PathLike ~/.ssh/id_rsa SSH 私钥路径,推荐优先使用密钥认证
ssh_passphrase Optional[str] None 私钥口令(passphrase)
use_active_gpu bool False 是否复用远端当前活跃的 GPU
max_trial_number_per_gpu int 1 每张 GPU 上最多运行的 Trial 数
gpu_indices List[int]/int/str None 指定使用远端哪些 GPU 索引
python_path Optional[str] None 指定远端 Python 环境的可执行目录

源码校验逻辑(_validate_canonical)还包含几条值得注意的约束:

  • password 与 ssh_key_file 必须至少提供一个有效值;若既没有密码、私钥文件又不存在,会抛出 ValueError;
  • 使用密码时,会触发一条警告:SSH password will be exposed in web UI as plain text. We recommend to use SSH key file.,即密码会以明文形式暴露在 Web UI 中,因此官方推荐使用 SSH 密钥;
  • 若 trialGpuNumber 为 0 但某台机器设置了 max_trial_number_per_gpu != 1,会校验失败;
  • machine_list 至少需要包含一台机器。

指定远端 Python 环境:pythonPath

默认情况下,远程机器上的命令与脚本会在其默认环境中执行。如果远程机器安装了多个 Python 虚拟环境,而你希望实验在某个特定环境中运行,可以使用 pythonPath 指定该环境。

例如使用 Anaconda 时,可以这样指定:

pythonPath: /home/bob/.conda/envs/ENV-NAME/bin

Windows 上多目录时用分号分隔,例如:

pythonPath: C:/Users/USERNAME/.conda/envs/ENVNAME;C:/Users/USERNAME/.conda/envs/ENVNAME/Scripts;C:/Users/USERNAME/.conda/envs/ENVNAME/Library/bin

从实现角度看,pythonPath 最终会通过 SSH 通道注入远程命令的执行前缀。在 ssh.ts 的 exec() 方法中可以看到,当 path 被设置后,实际执行的命令会被改写为 PATH="<pythonPath>" <command> 的形式,从而让远端命令优先使用指定环境中的可执行程序。

底层工作流程与验证依据

remote 模式的整体工作流可以概括为以下几步:

  1. nnictl create 解析配置文件,nni_manager 依据 platform: remote 选择 Remote Training Service;
  2. 通过 SSH(ssh2 库,支持密码与私钥两种方式)连接 machineList 中的每台机器;
  3. 将 trialCodeDirectory 中的代码通过 SFTP 上传到远程机器;
  4. 根据 trialConcurrency、GPU 配置等信息,将 Trial 并行分发到远程机器执行;
  5. 收集 Trial 输出与指标,交给 Tuner 迭代下一轮超参组合,直到达到 maxTrialNumber。

仓库中与 remote 模式相关的可查阅文件包括:

常见注意事项小结

  • 版本一致性:所有机器(含运行 nnictl 的机器)上的 NNI 版本保持一致;
  • 认证方式:优先使用 SSH 密钥(ssh_key_file),密码会在 Web UI 中明文展示;
  • Windows 专属坑:必须安装并启动 OpenSSH Server、账户需为管理员、且不能有多余的欢迎输出;
  • 跨平台命令:Linux 用 python3、Windows 用 python,混用时 trialCommand 需兼容两者;
  • 环境隔离:需要特定 Python 环境时务必通过 pythonPath 显式指定,而非依赖远端默认环境。
登录后查看全文
nni