dstack项目发布0.18.36版本:增强云服务商集群部署与系统性能优化
2025-06-27 01:11:05作者:何举烈Damon
dstack是一个开源的AI开发工作流编排平台,它允许开发者在云环境中轻松定义、运行和管理机器学习工作流。通过简单的YAML配置文件,用户可以快速在各类云服务商的后端资源上运行分布式训练任务。
云服务商后端支持集群部署模式
本次0.18.36版本更新中,dstack为云服务商后端增加了集群部署(Cluster Placement)功能。这一特性使得用户可以在云平台上创建具有低延迟互连的GPU计算集群,特别适合需要多节点协同工作的分布式训练场景。
在YAML配置文件中,用户只需简单设置placement: cluster参数,即可让dstack在云服务商上自动配置一个互联的计算集群。例如以下配置将创建一个包含4个MI300X GPU节点的计算集群:
type: fleet
nodes: 4
placement: cluster
resources:
gpu: MI300X:8
backends: [cloud_provider]
这种集群部署模式确保了节点间的网络性能,为分布式训练任务提供了理想的运行环境。dstack会自动处理节点间的网络配置和互联,开发者可以专注于模型训练本身。
系统性能显著提升
本次更新对dstack server的核心性能进行了多项优化:
-
单节点处理能力提升:优化后的dstack server单个实例现在可以同时管理多达150个活跃的运行任务、作业和计算实例。这一改进显著提高了平台的资源利用率和管理效率。
-
数据库支持扩展:通过支持PostgreSQL作为后端数据库,用户现在可以部署多个dstack server实例来实现水平扩展,满足更大规模的工作负载需求。
-
资源查询加速:改进了
dstack apply命令获取云服务商实例报价的机制,大幅减少了查询延迟,使用户能够更快地获取和配置所需资源。
其他重要改进
除了上述主要特性外,本次更新还包含多项功能增强和问题修复:
- 改进了本地后端(Local Backend)的稳定性和兼容性
- 实现了实例报价缓存机制,优化资源查询性能
- 增强了API接口,包括新增实例列表查询和按ID获取集群信息等功能
- 完善了运行器(Runner)的错误报告机制,提供更详细的终止原因和消息
- 修复了资源类型过滤和空闲实例管理相关的多个问题
这些改进共同提升了dstack平台的稳定性、性能和用户体验,使其能够更好地服务于各类机器学习工作流的管理需求。
登录后查看全文
热门项目推荐
相关项目推荐
GLM-5智谱 AI 正式发布 GLM-5,旨在应对复杂系统工程和长时域智能体任务。Jinja00
GLM-5.1GLM-5.1是智谱迄今最智能的旗舰模型,也是目前全球最强的开源模型。GLM-5.1大大提高了代码能力,在完成长程任务方面提升尤为显著。和此前分钟级交互的模型不同,它能够在一次任务中独立、持续工作超过8小时,期间自主规划、执行、自我进化,最终交付完整的工程级成果。Jinja00
LongCat-AudioDiT-1BLongCat-AudioDiT 是一款基于扩散模型的文本转语音(TTS)模型,代表了当前该领域的最高水平(SOTA),它直接在波形潜空间中进行操作。00- QQwen3.5-397B-A17BQwen3.5 实现了重大飞跃,整合了多模态学习、架构效率、强化学习规模以及全球可访问性等方面的突破性进展,旨在为开发者和企业赋予前所未有的能力与效率。Jinja00
HY-Embodied-0.5这是一套专为现实世界具身智能打造的基础模型。该系列模型采用创新的混合Transformer(Mixture-of-Transformers, MoT) 架构,通过潜在令牌实现模态特异性计算,显著提升了细粒度感知能力。Jinja00
FreeSql功能强大的对象关系映射(O/RM)组件,支持 .NET Core 2.1+、.NET Framework 4.0+、Xamarin 以及 AOT。C#00
项目优选
收起
deepin linux kernel
C
27
14
OpenHarmony documentation | OpenHarmony开发者文档
Dockerfile
657
4.26 K
Ascend Extension for PyTorch
Python
502
606
本项目是CANN提供的数学类基础计算算子库,实现网络在NPU上加速计算。
C++
939
862
Oohos_react_native
React Native鸿蒙化仓库
JavaScript
334
378
openEuler内核是openEuler操作系统的核心,既是系统性能与稳定性的基石,也是连接处理器、设备与服务的桥梁。
C
390
284
AscendNPU-IR是基于MLIR(Multi-Level Intermediate Representation)构建的,面向昇腾亲和算子编译时使用的中间表示,提供昇腾完备表达能力,通过编译优化提升昇腾AI处理器计算效率,支持通过生态框架使能昇腾AI处理器与深度调优
C++
123
195
openGauss kernel ~ openGauss is an open source relational database management system
C++
180
258
🎉 (RuoYi)官方仓库 基于SpringBoot,Spring Security,JWT,Vue3 & Vite、Element Plus 的前后端分离权限管理系统
Vue
1.54 K
891
昇腾LLM分布式训练框架
Python
142
168