kube-openmpi 使用指南

1. 项目介绍

kube-openmpi 是一个开源项目，它提供了一个基于 Kubernetes 的解决方案，用于在 Kubernetes 集群上运行 Open MPI 任务。项目主要包含两部分内容：

• Kubernetes 配置模板（由 Helm 支持），用于在 Kubernetes 集群上运行 Open MPI 任务。
• 基础 Docker 镜像，用户可以基于这些镜像构建自己的 Docker 镜像。目前提供基于 Ubuntu 16.04 的镜像，同时也提供了支持 CUDA 的镜像，以便于处理分布式深度学习工作负载。

2. 项目快速启动

在开始之前，确保已经安装了以下工具：

• kubectl：用于与 Kubernetes 集群进行通信的命令行工具。
• helm：Kubernetes 的包管理工具。

生成 SSH 密钥并编辑配置

首先，生成一个临时的 SSH 密钥：

./gen-ssh-key.sh

然后，编辑 values.yaml 文件，配置您的项目信息：

$EDITOR values.yaml

部署

设置集群名称和命名空间变量：

MPI_CLUSTER_NAME=__CHANGE_ME__
KUBE_NAMESPACE=__CHANGE_ME_

然后，使用 Helm 模板创建 Kubernetes 对象：

helm template chart --namespace $KUBE_NAMESPACE --name $MPI_CLUSTER_NAME -f values.yaml -f ssh-key.yaml | kubectl -n $KUBE_NAMESPACE create -f -

运行

等待主节点 $MPI_CLUSTER_NAME-master 准备就绪：

kubectl get -n $KUBE_NAMESPACE po $MPI_CLUSTER_NAME-master

然后，您可以通过 kubectl exec 运行 mpiexec：

kubectl -n $KUBE_NAMESPACE exec -it $MPI_CLUSTER_NAME-master -- mpiexec --allow-run-as-root \
--hostfile /kube-openmpi/generated/hostfile \
--display-map -n 4 -npernode 1 \
sh -c 'echo $(hostname):hello'

扩缩集群

MPI workers 以 StatefulSets 形式存在，因此可以轻松地进行扩缩：

# 将工作节点从 4 个缩减到 3 个
kubectl -n $KUBE_NAMESPACE scale statefulsets $MPI_CLUSTER_NAME-worker --replicas=3

清理

当不再需要集群时，可以使用以下命令进行清理：

helm template chart --namespace $KUBE_NAMESPACE --name $MPI_CLUSTER_NAME -f values.yaml -f ssh-key.yaml | kubectl -n $KUBE_NAMESPACE delete -f -

3. 应用案例和最佳实践

• 使用自定义 Docker 镜像：在 values.yaml 中的 image 部分指定您的自定义镜像。
• 从私有仓库拉取镜像：创建一个类型为 docker-registry 的 Kubernetes Secret，然后在 values.yaml 中引用该 Secret。
• 从 GitHub 注入代码：在 values.yaml 中配置 appCodesToSync 部分，以同步 GitHub 上的代码到容器中。
• 以非 root 用户运行集群：在 values.yaml 中为 mpiMaster 和 mpiWorkers 配置 securityContext，指定运行用户和组。

4. 典型生态项目

目前，kube-openmpi 主要支持与分布式深度学习相关的项目，如 ChainerMN。用户可以基于提供的镜像和配置，轻松地在 Kubernetes 集群上部署和运行这些项目。