NNI Remote 模式实战:通过 SSH 在多台远程机器上并行调度 Trial
NNI Remote 模式实战:通过 SSH 在多台远程机器上并行调度 Trial
本篇技术指南围绕 NNI(Neural Network Intelligence)开源仓库中的 Remote Training Service 展开,讲解如何借助 SSH 将多台远程机器(支持 Linux 与 Windows)组织成一个"轻量级训练平台":你只需在自己电脑上启动 nnictl,NNI 便会把实验代码自动上传到远程机器,并并行分发多个 Trial。读完本文,你将掌握 remote 模式的前置环境要求、config_remote.yml 全量配置项(含 host / port / user / password / ssh_key_file / pythonPath 等)、以及从安装到启动实验的完整实操流程。
什么是 NNI 的 remote 模式
NNI 可以在多台远程机器上运行同一个实验,这种通过 SSH 调度远程机器的方式在配置文件中被称为 remote 模式。它的定位类似于一个"轻量级训练平台":实验从你的电脑(运行 nnictl 的机器)启动,而 Trial 被并行分发到远程机器上执行。
从仓库的 Python 配置实现看,remote 模式的训练服务由两个核心数据结构承载(见 nni/experiment/config/training_services/remote.py):
RemoteConfig:继承TrainingServiceConfig,platform固定为'remote',核心字段是machine_list(远程机器列表)与reuse_mode;RemoteMachineConfig:描述单台远程机器的连接信息与资源分配策略。
而在 TypeScript 侧的 nni_manager 中,对应的实现位于 ts/nni_manager/training_service/remote_machine/ 与 ts/nni_manager/training_service/remote_v3/,其中 ssh.ts 封装了基于 ssh2 库的 SSH 连接:读取 sshKeyFile 私钥或使用 password 密码建立连接,之后通过 exec() 在远端执行命令、通过 SFTP 传输文件。
remote 模式对远程机器的操作系统支持范围如下:
- Linux
- Windows 10
- Windows Server 2019
启动 remote 实验的前置要求
在配置实验之前,需要逐条确认以下四项要求,否则实验可能在中途失败:
- 远程机器默认环境必须满足 Trial 代码的运行依赖。如果默认环境不满足,可以在 NNI 配置的
command字段中加入一段 setup 脚本(例如安装依赖包、设置环境变量),在启动 Trial 前先执行。 - 运行
nnictl的机器必须能通过 SSH 访问所有远程机器。SSH 同时支持密码认证和密钥认证;更高级的用法可参考 machineList 相关配置文档。 - 每台机器上的 NNI 版本必须一致,避免协议或接口不兼容导致调度失败。
- 如果混用 Linux 与 Windows 远程机器,Trial 命令必须兼容两种系统。例如 Linux 上默认的 Python 3 可执行文件通常叫
python3,而 Windows 上叫python,因此trialCommand需要写成两种系统都能识别的形式。
Linux 远程机器
按照 NNI 的 Linux 安装文档在远程机器上完成 NNI 安装即可,无需额外配置 SSH 服务端(Linux 发行版默认自带 sshd)。
Windows 远程机器
Windows 远程机器除安装 NNI 外,还需要完成以下配置:
-
安装 OpenSSH Server:
-
打开 Windows 的"设置"应用;
-
点击"应用",再点击"可选功能";
-
点击"添加功能",搜索并选择"OpenSSH Server",然后点击"安装";
-
安装完成后,以管理员身份打开命令提示符,执行以下命令启动服务并设置为开机自启:
sc config sshd start=auto net start sshd
-
-
远程账户必须是管理员,这样 NNI 才能在执行过程中终止(kill)正在运行的 Trial。
-
远程登录时不要输出多余的欢迎信息。Node.js 侧的 ssh2 在欢迎消息异常增多时会导致连接失败。例如在使用 Azure Data Science VM 时,需要移除
C:\dsvm\tools\setup\welcome.bat中额外的echo命令。打开新的命令窗口时,输出类似下面这样即为正常:Microsoft Windows [Version 10.0.17763.1192] (c) 2018 Microsoft Corporation. All rights reserved. (py37_default) C:\Users\AzureUser>
使用 config_remote.yml 启动一个远程实验
场景示例:三台可密码登录的机器
假设有三台机器,均可用用户名与密码登录:
| IP | Username | Password |
|---|---|---|
| 10.1.1.1 | bob | bob123 |
| 10.1.1.2 | bob | bob123 |
| 10.1.1.3 | bob | bob123 |
在三台机器中的任意一台(或另一台能访问它们的机器)上安装并运行 NNI 即可。
参考配置:mnist-pytorch 的 config_remote.yml
仓库中的 examples/trials/mnist-pytorch/config_remote.yml 是 remote 模式的标准示例,其完整内容如下:
searchSpaceFile: search_space.json
trialCommand: python3 mnist.py
trialGpuNumber: 0
trialConcurrency: 4
maxTrialNumber: 20
tuner:
name: TPE
classArgs:
optimize_mode: maximize
trainingService:
platform: remote
machineList:
- host: ${your server's IP or domain name}
user: ${your user name}
ssh_key_file: ~/.ssh/id_rsa # We recommend public key over password, it's more secure and convenient.
# You can specify more than one SSH servers:
- host: 123.123.123.123
port: 10022
user: nniuser
password: 12345
pythonPath: /usr/bin # Other examples:
# /opt/python3.9/bin
# C:/Python39
# C:/Users/USERNAME/.conda/envs/ENVNAME;C:/Users/USERNAME/.conda/envs/ENVNAME/Scripts;C:/Users/USERNAME/.conda/envs/ENVNAME/Library/bin
配置中的关键字段说明如下:
searchSpaceFile:指向 search_space.json,其中定义了batch_size、hidden_size、lr、momentum等超参数的取值范围,远程调度器会按此生成不同的 Trial 参数组合;trialCommand:远程机器上执行 Trial 的命令,注意跨平台兼容性(Linux 常用python3,Windows 常用python);trialCodeDirectory:待上传到远程机器的代码目录,默认值为当前目录.,可省略;目录中的文件会被自动上传到远程机器;trialGpuNumber:每个 Trial 需要的 GPU 数量,示例中为0(纯 CPU 训练);trialConcurrency:并发运行的 Trial 数量;maxTrialNumber:实验最多生成的 Trial 总数;tuner:超参调优算法,示例使用 TPE 并设为maximize优化模式;trainingService.platform:必须为remote;trainingService.machineList:远程机器列表,每台机器可配置host、port、user、password或ssh_key_file、pythonPath。
说明:上面示例中的
${...}与123.123.123.123为占位符。在 RemoteMachineMode.rst 原始示例中,machineList 使用了两台机器:192.0.2.1(alice,密钥登录)与192.0.2.2(bob,密码登录、指定端口 10022 与 pythonPath),两种认证方式可混合使用。
启动命令
在 Windows、Linux 或 macOS 上均可运行下面的命令,向远程 Linux 机器分发 Trial:
nnictl create --config examples/trials/mnist-pytorch/config_remote.yml
执行后 NNI 会自动完成代码上传、Trial 分发、结果回收等一系列工作。
machineList 完整字段与校验规则
结合 nni/experiment/config/training_services/remote.py 的源码实现,machineList 中每台 RemoteMachineConfig 支持以下字段:
| 字段 | 类型 | 默认值 | 说明 |
|---|---|---|---|
host |
str | 必填 | 远程机器 IP 或域名 |
port |
int | 22 |
SSH 端口,校验范围为 0 < port < 65536 |
user |
str | 必填 | 登录用户名 |
password |
Optional[str] | None |
SSH 密码;提供密码时 ssh_key_file 会被置为 None |
ssh_key_file |
PathLike | ~/.ssh/id_rsa |
SSH 私钥路径,推荐优先使用密钥认证 |
ssh_passphrase |
Optional[str] | None |
私钥口令(passphrase) |
use_active_gpu |
bool | False |
是否复用远端当前活跃的 GPU |
max_trial_number_per_gpu |
int | 1 |
每张 GPU 上最多运行的 Trial 数 |
gpu_indices |
List[int]/int/str | None |
指定使用远端哪些 GPU 索引 |
python_path |
Optional[str] | None |
指定远端 Python 环境的可执行目录 |
源码校验逻辑(_validate_canonical)还包含几条值得注意的约束:
password与ssh_key_file必须至少提供一个有效值;若既没有密码、私钥文件又不存在,会抛出ValueError;- 使用密码时,会触发一条警告:
SSH password will be exposed in web UI as plain text. We recommend to use SSH key file.,即密码会以明文形式暴露在 Web UI 中,因此官方推荐使用 SSH 密钥; - 若
trialGpuNumber为 0 但某台机器设置了max_trial_number_per_gpu != 1,会校验失败; machine_list至少需要包含一台机器。
指定远端 Python 环境:pythonPath
默认情况下,远程机器上的命令与脚本会在其默认环境中执行。如果远程机器安装了多个 Python 虚拟环境,而你希望实验在某个特定环境中运行,可以使用 pythonPath 指定该环境。
例如使用 Anaconda 时,可以这样指定:
pythonPath: /home/bob/.conda/envs/ENV-NAME/bin
Windows 上多目录时用分号分隔,例如:
pythonPath: C:/Users/USERNAME/.conda/envs/ENVNAME;C:/Users/USERNAME/.conda/envs/ENVNAME/Scripts;C:/Users/USERNAME/.conda/envs/ENVNAME/Library/bin
从实现角度看,pythonPath 最终会通过 SSH 通道注入远程命令的执行前缀。在 ssh.ts 的 exec() 方法中可以看到,当 path 被设置后,实际执行的命令会被改写为 PATH="<pythonPath>" <command> 的形式,从而让远端命令优先使用指定环境中的可执行程序。
底层工作流程与验证依据
remote 模式的整体工作流可以概括为以下几步:
nnictl create解析配置文件,nni_manager 依据platform: remote选择 Remote Training Service;- 通过 SSH(
ssh2库,支持密码与私钥两种方式)连接machineList中的每台机器; - 将
trialCodeDirectory中的代码通过 SFTP 上传到远程机器; - 根据
trialConcurrency、GPU 配置等信息,将 Trial 并行分发到远程机器执行; - 收集 Trial 输出与指标,交给 Tuner 迭代下一轮超参组合,直到达到
maxTrialNumber。
仓库中与 remote 模式相关的可查阅文件包括:
- 配置实现与校验:nni/experiment/config/training_services/remote.py
- 训练服务基类(
trial_command、trial_code_directory、trial_gpu_number等字段的规范化):nni/experiment/config/training_service.py - 远程 SSH 封装:ts/nni_manager/training_service/remote_v3/ssh.ts
- 远程训练服务主逻辑:ts/nni_manager/training_service/remote_v3/remote.ts
- 完整可运行示例配置:examples/trials/mnist-pytorch/config_remote.yml 与配套的 examples/trials/mnist-pytorch/mnist.py、examples/trials/mnist-pytorch/search_space.json
常见注意事项小结
- 版本一致性:所有机器(含运行
nnictl的机器)上的 NNI 版本保持一致; - 认证方式:优先使用 SSH 密钥(
ssh_key_file),密码会在 Web UI 中明文展示; - Windows 专属坑:必须安装并启动 OpenSSH Server、账户需为管理员、且不能有多余的欢迎输出;
- 跨平台命令:Linux 用
python3、Windows 用python,混用时trialCommand需兼容两者; - 环境隔离:需要特定 Python 环境时务必通过
pythonPath显式指定,而非依赖远端默认环境。