Prefect 3.1.12版本发布:冬季峰会即将到来与核心功能增强
项目简介
Prefect是一个现代化的工作流编排系统,专为数据工程和科学工作流设计。它提供了直观的API、强大的调度能力和丰富的监控功能,帮助开发者构建、运行和监控复杂的数据管道。Prefect采用Python优先的设计理念,与主流数据科学生态系统无缝集成。
版本亮点
冬季峰会预告
Prefect团队宣布将于1月22-23日举办冬季线上峰会,届时将分享开源社区增长情况、客户案例以及产品路线图更新。这是了解Prefect发展方向和最佳实践的绝佳机会。
核心功能增强
-
缓存策略命名优化
将NONE
缓存策略更名为更直观的NO_CACHE
,提高了代码可读性和API一致性。 -
资源占用优化
通过两次优化显著降低了独立Prefect服务器的内存需求,使得在资源受限环境中运行更加高效。 -
部署SLA定义
新增了部署级别的SLA(服务等级协议)定义功能,允许用户为工作流设置明确的执行时间预期。 -
工作池类型增强
在工作池相关资源中添加了类型信息,便于系统管理和资源分配。
稳定性改进
-
Redis连接修复
解决了Redis连接相关的问题,提升了存储后端的可靠性。 -
参数模式强制设置处理
修复了在prefect.yaml
中设置enforce_parameter_schema
时的处理逻辑。 -
工作流运行提交改进
当工作流运行提交失败时,工作器现在会正确移除flow_run ID,避免资源泄漏。 -
上下文重建优化
在hydrate_context
中显式调用FlowRunContext.model_rebuild()
,确保上下文正确初始化。
开发者体验提升
-
日志改进
现在使用flow run记录器来记录加载流程失败的情况,便于问题排查。 -
类型系统清理
对服务器端类型系统进行了全面清理,提高了代码质量和开发效率。 -
自动化SDK简化
移除了自动化SDK中的sync_compatible
装饰器,简化了API设计。
生态系统更新
-
依赖项升级
将croniter依赖版本范围扩展至支持7.0.0以下版本,提高了兼容性。 -
文档优化
对文档结构进行了重新组织,突出了主要功能,移除了硬编码的本地链接,并更新了运行器文档字符串以增强清晰度。 -
Docker镜像增强
在Docker镜像中默认安装了otel
(OpenTelemetry)扩展,移除了实验性标志设置,简化了可观测性功能的启用。
总结
Prefect 3.1.12版本在性能、稳定性和开发者体验方面都做出了显著改进。内存占用的优化使得Prefect Server可以在更轻量的环境中运行,而新增的SLA定义功能则为生产环境工作流提供了更好的管控能力。随着冬季峰会的临近,Prefect社区正展现出蓬勃发展的态势,这个版本也为即将到来的新功能奠定了基础。
cherry-studio
🍒 Cherry Studio 是一款支持多个 LLM 提供商的桌面客户端TypeScript039RuoYi-Vue3
🎉 (RuoYi)官方仓库 基于SpringBoot,Spring Security,JWT,Vue3 & Vite、Element Plus 的前后端分离权限管理系统Vue0413arkanalyzer
方舟分析器:面向ArkTS语言的静态程序分析框架TypeScript041GitCode百大开源项目
GitCode百大计划旨在表彰GitCode平台上积极推动项目社区化,拥有广泛影响力的G-Star项目,入选项目不仅代表了GitCode开源生态的蓬勃发展,也反映了当下开源行业的发展趋势。03CS-Books
🔥🔥超过1000本的计算机经典书籍、个人笔记资料以及本人在各平台发表文章中所涉及的资源等。书籍资源包括C/C++、Java、Python、Go语言、数据结构与算法、操作系统、后端架构、计算机系统知识、数据库、计算机网络、设计模式、前端、汇编以及校招社招各种面经~014openGauss-server
openGauss kernel ~ openGauss is an open source relational database management systemC++0146
热门内容推荐
最新内容推荐
项目优选









