ZenML 0.80.0版本发布：项目重构与增强的标签系统

项目简介

ZenML是一个开源的机器学习操作（MLOps）框架，旨在简化和标准化机器学习工作流程的构建和部署过程。它提供了统一的接口来管理机器学习生命周期的各个阶段，从数据准备到模型部署，同时支持多种云服务和本地环境。

核心更新内容

项目重构：从工作区到项目

0.80.0版本对ZenML的架构进行了重大调整，将原有的"工作区"概念重构为"项目"。这一变化不仅仅是术语上的更新，而是带来了更清晰的资源组织和权限管理方式。

新引入的项目结构提供了：

• 更细粒度的资源隔离能力
• 改进的基于角色的访问控制(RBAC)机制
• 更好的项目统计和资源跟踪功能

这种重构使得团队协作更加高效，特别是在多项目环境下，不同团队可以更清晰地管理各自的机器学习工作流。

增强的标签系统

标签功能在此版本中得到了显著增强，主要改进包括：

1. 资源类型过滤：现在可以为不同类型的资源（如管道、模型、数据等）创建特定类型的标签，避免标签混乱。

2. 独占标签行为：某些标签可以被标记为"独占"，确保关键资源不会被错误地标记。

3. 批量操作支持：提供了更灵活的API来批量添加或移除标签。

这些改进使得资源分类和检索更加高效，特别是在大型机器学习项目中管理数百个模型和数据集时。

性能优化与基础设施改进

构建与部署优化

• Docker构建加速：重新设计了开发Dockerfile，显著减少了重建时间，提高了开发效率。

• CLI响应优化：通过优化导入机制，减少了命令行工具的启动时间，使日常操作更加流畅。

云服务集成增强

1. Vertex AI支持：增加了对持久资源的支持，可以显著加快开发迭代速度。

2. Kubernetes改进：

   • 支持通过KubernetesSecret传递API令牌，提高了安全性
   • 允许在KubernetesPodSettings中设置环境变量

3. GitLab支持：改进了GitLab仓库的URL解析和匹配逻辑，现在可以无需令牌注册公共GitLab仓库。

开发者体验提升

管道开发改进

• 步骤依赖控制：现在可以通过直接传递步骤产物来指定上游步骤，使得管道依赖关系更加直观。

• 构建时间跟踪：新增了构建持续时间记录功能，帮助开发者识别和优化耗时操作。

实验跟踪增强

• Weave集成：在Wandb设置中启用了Weave集成，提供了更强大的实验可视化和分析能力。

安全性与稳定性

• 错误处理改进：对于运行时错误不再重试REST API调用，避免了潜在的死循环。

• 敏感信息保护：Kubernetes编排器现在可以完全不暴露任何敏感API令牌在环境中。

向后兼容性说明

虽然这是一个重大更新，但团队已经注意保持向后兼容性。需要注意的变化包括：

• 原"工作区"概念已更名为"项目"，相关API也相应更新
• GitHub代码仓库的一些API已被标记为弃用，建议迁移到新接口

总结

ZenML 0.80.0版本通过项目重构和标签系统增强，为机器学习工作流管理提供了更强大的组织结构。性能优化和安全改进使这个版本成为生产环境部署的更可靠选择。特别是对于使用Google Cloud Vertex AI或Kubernetes的团队，新版本提供了更紧密的集成和更好的开发体验。

这些变化标志着ZenML向更成熟的企业级MLOps解决方案迈进，同时保持了开发者友好的特性。团队可以更高效地协作管理复杂的机器学习项目，而增强的标签系统则为资源管理提供了前所未有的灵活性。