Slurm 工作负载管理器使用教程

1. 项目介绍

Slurm 是一个开源的集群资源管理和作业调度系统，旨在实现简单、可扩展、可移植、容错和互连无关。Slurm 目前仅在 Linux 系统上进行了测试。作为一个集群资源管理器，Slurm 提供了三个关键功能：

1. 分配独占和/或非独占的资源（计算节点）给用户，以便他们在一定时间内执行工作。
2. 提供一个框架，用于启动、执行和监控在分配节点上的工作（通常是并行作业）。
3. 通过管理待处理工作的队列来仲裁对资源的冲突请求。

2. 项目快速启动

2.1 安装 Slurm

首先，克隆 Slurm 的 GitHub 仓库：

git clone https://github.com/SchedMD/slurm.git
cd slurm

2.2 配置和编译

按照官方文档中的说明进行配置和编译：

./configure
make
sudo make install

2.3 配置 Slurm

在 /etc/slurm/slurm.conf 中创建或编辑配置文件。以下是一个简单的配置示例：

# slurm.conf
ClusterName=mycluster
ControlMachine=localhost
SlurmctldPort=6817
SlurmdPort=6818
AuthType=auth/munge
CryptoType=crypto/munge
MpiDefault=none
ProctrackType=proctrack/pgid
ReturnToService=1
SlurmctldPidFile=/var/run/slurmctld.pid
SlurmdPidFile=/var/run/slurmd.pid
StateSaveLocation=/var/spool/slurmctld
SlurmdSpoolDir=/var/spool/slurmd
SwitchType=switch/none
TaskPlugin=task/none

# COMPUTE NODES
NodeName=localhost CPUs=4 State=UNKNOWN
PartitionName=debug Nodes=ALL Default=YES MaxTime=INFINITE State=UP

2.4 启动 Slurm

启动 slurmctld 和 slurmd 服务：

sudo systemctl start slurmctld
sudo systemctl start slurmd

3. 应用案例和最佳实践

3.1 应用案例

Slurm 广泛应用于高性能计算（HPC）集群中，特别是在需要高效管理和调度大量计算任务的场景中。例如，在科学计算、数据分析和机器学习等领域，Slurm 能够有效地分配资源，确保任务的顺利执行。

3.2 最佳实践

• 资源分配策略：根据任务的性质和需求，合理配置资源分配策略，避免资源浪费。
• 监控和日志：定期监控 Slurm 的运行状态，并记录日志以便故障排查和性能优化。
• 安全配置：确保 Slurm 的安全配置，防止未经授权的访问和攻击。

4. 典型生态项目

4.1 Slurm Workload Manager

Slurm 本身是一个高度可扩展的工作负载管理器，提供了丰富的功能和灵活的配置选项。

4.2 Munge

Munge 是一个用于认证和授权的开源项目，常与 Slurm 一起使用，提供安全的用户认证机制。

4.3 Checkpoint/Restart

Slurm 支持作业的检查点/重启功能，允许作业在节点故障或系统重启后继续执行，确保任务的连续性和可靠性。

通过以上步骤，您可以快速启动并使用 Slurm 工作负载管理器，并了解其在实际应用中的最佳实践和相关生态项目。