Cube Studio项目GPU节点初始化指南

前言

在机器学习和大数据处理领域，GPU加速已经成为提升计算效率的关键技术。Cube Studio作为一个数据基础设施项目，需要充分利用GPU的计算能力来加速模型训练和推理任务。本文将详细介绍如何在Cube Studio项目中初始化GPU节点，包括在线和离线两种安装方式，以及Docker和Containerd两种容器运行时的配置方法。

环境准备

在开始之前，请确保您的系统满足以下条件：

• Ubuntu或CentOS操作系统
• 已安装NVIDIA显卡驱动
• 已安装Docker或Containerd容器运行时

在线安装方式

Ubuntu系统安装

对于Ubuntu系统，我们需要先清理可能存在的冲突配置，然后添加NVIDIA容器工具包的官方源：

# 清理旧配置
sudo rm -f /etc/apt/sources.list.d/nvidia*.list
sudo rm -f /usr/share/keyrings/nvidia*.gpg

# 添加NVIDIA容器工具包源
distribution=$(. /etc/os-release;echo $ID$VERSION_ID) \
      && curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \
      && curl -s -L https://nvidia.github.io/libnvidia-container/$distribution/libnvidia-container.list | \
            sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
            sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list

# 更新并安装
apt update -y
apt install -y nvidia-docker2  # Docker运行时
apt install -y nvidia-container-toolkit  # Containerd运行时

CentOS系统安装

对于CentOS系统，安装过程略有不同：

Docker运行时安装

yum install docker-ce -y
cp nvidia-docker.repo /etc/yum.repos.d/nvidia-docker.repo
yum makecache
yum install -y nvidia-docker2

Containerd运行时安装

yum install -y yum-utils
sudo yum-config-manager --add-repo https://nvidia.github.io/libnvidia-container/stable/rpm/nvidia-container-toolkit.repo
yum makecache
yum install -y nvidia-container-toolkit

离线安装方式

对于无法连接互联网的环境，可以使用离线安装包：

wget https://cube-studio.oss-cn-hangzhou.aliyuncs.com/install/nvidia-docker2.tar.gz
tar -zxvf nvidia-docker2.tar.gz
rm nvidia-docker2.tar.gz
cd nvidia-docker2
dpkg -i ./*.deb
dpkg -l | grep nvidia-docker2

容器运行时配置

Docker配置

修改Docker配置文件以支持GPU：

cat > /etc/docker/daemon.json << EOF
{
    "registry-mirrors": ["https://docker.1panel.live", "https://hub.rat.dev/", "https://docker.chenby.cn", "https://docker.m.daocloud.io"],
    "data-root": "/data/docker",
    "max-concurrent-downloads": 30,
    "insecure-registries":["docker.oa.com:8080"],
    "default-runtime": "nvidia",
    "runtimes": {
        "nvidia": {
            "path": "/usr/bin/nvidia-container-runtime",
            "runtimeArgs": []
        }
    }
}
EOF

systemctl stop docker
systemctl daemon-reload
systemctl start docker

Containerd配置

对于Containerd运行时，需要编辑配置文件/etc/containerd/config.toml：

1. 添加nvidia运行时：

[plugins."io.containerd.grpc.v1.cri".containerd.runtimes]
  [plugins."io.containerd.grpc.v1.cri".containerd.runtimes.nvidia]
    runtime_type = "io.containerd.runc.v2"
    [plugins."io.containerd.grpc.v1.cri".containerd.runtimes.nvidia.options]
      BinaryName = "/usr/bin/nvidia-container-runtime"

2. 修改默认运行时为nvidia：

[plugins."io.containerd.grpc.v1.cri".containerd]
  default_runtime_name = "nvidia"

3. 重启服务使配置生效：

systemctl daemon-reload
systemctl restart containerd

测试GPU识别

安装完成后，可以通过以下命令测试Docker是否能正确识别GPU：

# 使用官方CUDA镜像测试
docker run --name test --gpus all -it nvidia/cuda:11.8.0-devel-ubuntu22.04 bash

# 使用Cube Studio提供的镜像测试
docker run --name test --gpus all -it ccr.ccs.tencentyun.com/cube-studio/ubuntu-gpu:cuda11.8.0-cudnn8-python3.9 bash

在容器内运行nvidia-smi命令，如果能看到GPU信息，则说明配置成功。

常见问题解决

1. 安装失败：确保已安装正确的NVIDIA驱动版本，并检查系统版本是否匹配。
2. GPU无法识别：检查Docker或Containerd的配置是否正确，特别是运行时路径。
3. 性能问题：确保使用的是最新的驱动和容器工具包版本。

总结

通过本文的步骤，您应该已经成功在Cube Studio项目中初始化了GPU节点。正确的GPU配置对于机器学习工作负载至关重要，可以显著提高模型训练和推理的效率。根据您的具体环境选择在线或离线安装方式，并确保容器运行时配置正确，以获得最佳的GPU加速效果。