dstack项目0.19.10版本发布:任务优先级与Azure Fsv2系列支持
dstack作为一个开源的机器学习工作流编排平台,致力于简化AI/ML项目的开发、测试和部署流程。通过提供统一的接口来管理计算资源和工作流,dstack让研究人员和工程师能够更专注于模型开发本身,而无需花费大量时间在基础设施配置上。
任务优先级管理
本次0.19.10版本引入了一个重要的新特性——任务优先级管理。在之前的版本中,所有任务都是按照先进先出(FIFO)的原则进行调度,这在某些场景下可能不够灵活。新版本允许用户为每个运行配置指定一个0到100之间的优先级数值,数值越高表示优先级越高。
优先级机制的工作方式是:系统首先按照优先级降序排列任务,然后在同一优先级组内保持FIFO顺序。值得注意的是,高优先级任务如果因资源限制无法调度,不会阻塞低优先级任务的执行,这保证了系统资源的高效利用。
在实际应用中,可以将关键实验或生产任务设置为高优先级(如80-100),而将非紧急的测试或探索性任务设置为中等或低优先级(如20-50)。同时,结合重试策略(retry),可以确保重要任务在遇到容量限制时能够保持排队状态,直到资源可用。
CLI工具改进
命令行界面(CLI)也迎来了重要更新。新版本用更直观的dstack project命令取代了原有的dstack config命令,提供了更清晰的项目管理体验:
dstack project list可以列出所有配置的项目及其详细信息dstack project set-default可以设置默认项目dstack project add用于添加新项目配置
此外,dstack ps命令新增了-n/--last参数,方便用户快速查看最近的N个运行记录,这在日常监控和调试中非常实用。
Azure Fsv2系列支持
对于使用Azure作为后端的用户,本次更新增加了对Fsv2系列计算优化型虚拟机的支持。Fsv2系列基于Intel Xeon Platinum 8168处理器,提供出色的计算性能与性价比平衡,特别适合计算密集型工作负载。
在资源选择时,系统会自动将Fsv2系列纳入考虑范围,用户可以通过dstack apply命令查看不同配置的价格和性能信息,选择最适合自己需求的实例类型。
其他重要改进
- 多节点任务支持:修复了在空闲实例上无法运行多节点任务的bug,提升了资源利用率
- 本地代码上传限制:使本地代码上传的大小限制可配置,适应不同项目需求
- Docker镜像优化:默认Docker镜像中移除了conda,改用更轻量级的uv工具
- 主题持久化:UI界面的深色/浅色主题选择现在会持久化保存
- 自动缩放保护:增加了对缩放目标值的校验,防止意外配置错误
总结
dstack 0.19.10版本通过引入任务优先级、改进CLI体验和扩展Azure支持,进一步提升了平台的灵活性和用户体验。这些改进使得资源调度更加智能,管理更加便捷,同时也为不同预算和性能需求的用户提供了更多选择。对于机器学习团队来说,这些增强功能将有助于更高效地管理和执行复杂的计算工作流。
PaddleOCR-VLPaddleOCR-VL 是一款顶尖且资源高效的文档解析专用模型。其核心组件为 PaddleOCR-VL-0.9B,这是一款精简却功能强大的视觉语言模型(VLM)。该模型融合了 NaViT 风格的动态分辨率视觉编码器与 ERNIE-4.5-0.3B 语言模型,可实现精准的元素识别。Python00- DDeepSeek-OCR暂无简介Python00
openPangu-Ultra-MoE-718B-V1.1昇腾原生的开源盘古 Ultra-MoE-718B-V1.1 语言模型Python00
HunyuanWorld-Mirror混元3D世界重建模型,支持多模态先验注入和多任务统一输出Python00
AI内容魔方AI内容专区,汇集全球AI开源项目,集结模块、可组合的内容,致力于分享、交流。03
Spark-Scilit-X1-13BFLYTEK Spark Scilit-X1-13B is based on the latest generation of iFLYTEK Foundation Model, and has been trained on multiple core tasks derived from scientific literature. As a large language model tailored for academic research scenarios, it has shown excellent performance in Paper Assisted Reading, Academic Translation, English Polishing, and Review Generation, aiming to provide efficient and accurate intelligent assistance for researchers, faculty members, and students.Python00
GOT-OCR-2.0-hf阶跃星辰StepFun推出的GOT-OCR-2.0-hf是一款强大的多语言OCR开源模型,支持从普通文档到复杂场景的文字识别。它能精准处理表格、图表、数学公式、几何图形甚至乐谱等特殊内容,输出结果可通过第三方工具渲染成多种格式。模型支持1024×1024高分辨率输入,具备多页批量处理、动态分块识别和交互式区域选择等创新功能,用户可通过坐标或颜色指定识别区域。基于Apache 2.0协议开源,提供Hugging Face演示和完整代码,适用于学术研究到工业应用的广泛场景,为OCR领域带来突破性解决方案。00- HHowToCook程序员在家做饭方法指南。Programmer's guide about how to cook at home (Chinese only).Dockerfile013
Spark-Chemistry-X1-13B科大讯飞星火化学-X1-13B (iFLYTEK Spark Chemistry-X1-13B) 是一款专为化学领域优化的大语言模型。它由星火-X1 (Spark-X1) 基础模型微调而来,在化学知识问答、分子性质预测、化学名称转换和科学推理方面展现出强大的能力,同时保持了强大的通用语言理解与生成能力。Python00- PpathwayPathway is an open framework for high-throughput and low-latency real-time data processing.Python00