dstack项目0.18.41版本发布：GPU资源分块与SSH集群增强

项目概述

dstack是一个开源的机器学习工作负载编排平台，它帮助研究人员和工程师轻松地在云上运行计算密集型任务。dstack提供了简单易用的接口来管理GPU资源、运行分布式训练任务以及创建开发环境，大大简化了机器学习基础设施的管理工作。

核心特性解析

GPU资源分块机制

本次版本最引人注目的特性是引入了GPU资源分块功能。在之前的版本中，即使物理实例拥有充足的资源，dstack也只能在每个实例上一次处理一个工作负载。0.18.41版本通过新的blocks属性彻底改变了这一限制。

技术实现上，blocks属性允许将单个物理实例划分为多个虚拟子实例（称为"块"）。每个块可以独立运行工作负载，同时分配相应比例的GPU、CPU和内存资源。这种设计显著提高了硬件资源的利用率，特别是在使用大型GPU实例时。

配置示例展示了两种典型场景：

1. 云环境配置：将8块GPU的实例划分为4个块，每个块获得2块GPU
2. SSH托管环境：自动根据GPU数量划分块，如8块GPU自动划分为8个块

用户可以通过dstack fleet命令实时监控各实例的块使用情况，了解哪些块当前处于忙碌状态，哪些块可用于新任务。

SSH集群与头节点支持

针对企业级部署场景，0.18.41版本增强了SSH集群功能，新增了proxy_jump配置项。这一特性解决了工作节点位于头节点后方、无法直接访问的网络拓扑问题。

技术实现上，dstack现在支持通过SSH跳转连接工作节点，典型配置包括：

• 工作节点列表
• 头节点连接信息（主机名、用户、密钥文件）
• 可选的每节点特定跳转配置

这种架构特别符合企业安全规范，允许将计算节点置于内网，仅通过堡垒机（头节点）进行访问，同时保持dstack的全部管理功能。

空闲自动停止机制

针对开发环境场景，新版本引入了inactivity_duration参数，允许配置开发环境在无活动一段时间后自动停止，避免资源浪费。

系统会监控以下活动状态：

• VS Code连接
• SSH shell会话
• 附加的dstack命令会话

当所有连接都断开且超过指定时长后，环境将自动停止。这一特性特别适合需要临时开发环境但又容易忘记关闭实例的用户。

高级功能改进

多EFA接口支持

对于AWS上的高性能计算场景，0.18.41版本优化了Elastic Fabric Adapter(EFA)的配置。系统现在会根据实例类型自动配置最大数量的EFA接口，例如p5.48xlarge实例将配置32个接口，提供高达3,200Gbps的总网络带宽。

需要注意的是，这一优化仅在实例不配置公网IP时生效（public_ips: false），这是AWS平台的限制所致。

分布式任务卷支持

新版本解决了分布式任务中单挂载卷的限制问题。通过引入dstack.node_rank变量插值，现在可以为分布式任务的不同节点挂载不同的卷。

典型使用模式是：

1. 为每个节点创建独立的卷
2. 在任务配置中使用变量引用特定卷
3. 通过批量命令创建所有需要的卷

这种设计使得分布式训练任务可以充分利用持久化存储，同时保持各节点的数据隔离。

可用区配置

0.18.41版本增加了对可用区的精细控制，用户现在可以：

• 为卷指定特定的可用区
• 为集群和运行配置指定可用区列表
• 查看资源和集群的可用区信息

这一改进带来了多个优势：

1. 确保卷和计算资源位于同一可用区
2. 针对特定可用区优化资源分配
3. 通过多可用区配置提高资源可用性

部署建议

对于正在运行dstack服务器的用户，如果采用滚动部署方式（新旧副本共存），建议在升级到0.18.41版本前：

1. 停止所有运行中的任务
2. 终止所有集群
3. 执行升级操作

这样可以避免旧版本副本产生的错误日志干扰，虽然这些错误不会造成实质影响，但遵循这一流程可以确保升级过程更加干净。

总结

dstack 0.18.41版本通过GPU资源分块、SSH集群增强和多项基础设施改进，显著提升了平台的资源利用率和灵活性。这些变化特别有利于需要高效利用昂贵GPU资源的研究团队和企业用户，同时也为复杂网络环境下的部署提供了更好的支持。新引入的空闲检测和自动停止机制则进一步优化了成本管理，使dstack成为一个更加成熟全面的机器学习工作负载管理平台。