MLRun v1.10.0-rc1 版本深度解析与特性前瞻
2025-07-01 03:12:43作者:裴锟轩Denise
MLRun 作为一个开源的机器学习运维(MLOps)平台,为数据科学家和机器学习工程师提供了端到端的机器学习生命周期管理能力。在最新发布的 v1.10.0-rc1 候选版本中,MLRun 团队带来了多项重要更新和改进,涵盖了从模型监控到运行时优化等多个关键领域。
核心特性解析
模型监控体系全面升级
本次版本对模型监控功能进行了重大改进,移除了对 taoswrap 的依赖,转而采用更高效的 TSDB 指标查询机制。开发者现在可以指定需要返回的 TSDB 指标列表,显著提升了 get_model_endpoint 调用的性能,特别是在流处理场景下。
模型监控写入器现在支持多工作线程模式,提高了大规模监控场景下的吞吐量。同时修复了 TDengine 时间戳精度问题,现在能够支持微秒级精度,为高精度监控场景提供了更好的支持。
运行时环境优化
MLRun 在运行时环境方面进行了多项改进:
- Spark 和 Dask 运行时现在能够从抢占模式调度约束中自动获取驱动和执行器的配置参数,优化了资源利用率
- MPIJob 的服务器端轮询机制得到改进,提高了作业启动的可靠性
- 引入了 Python 3.11 支持,Jupyter 和 API 服务镜像均已升级到 Python 3.11 版本
- GPU 镜像升级到 CUDA 12.8.1,为深度学习任务提供了更好的硬件加速支持
存储与数据管理增强
在数据存储管理方面,新版本引入了多项改进:
- 批量删除对象机制解决了大规模删除操作可能导致的超时问题
- 修复了带标签查询时的排序问题,确保"latest"标签始终优先显示
- 改进了时间戳处理逻辑,能够正确处理不带毫秒部分的时间戳
- 数据存储现在支持解析"ds://"格式的URL,提升了与IPython环境的集成度
文档与教程完善
MLRun 团队持续完善文档体系,新增了多个实用教程和说明:
- 向量数据库使用教程,帮助开发者快速上手向量检索场景
- 本地运行与远程运行的对比说明,帮助用户理解不同环境下的行为差异
- 模型监控中TDengine和Kafka的配置指南
- 秘密管理最佳实践,提高安全性意识
- Spark数据摄取详细说明,扩展了数据源支持
技术架构改进
依赖管理与构建系统
项目构建系统进行了现代化改造:
- 从传统的setup.py迁移到pyproject.toml,符合Python打包最新标准
- 严格限制pip版本到25.0.x系列,确保构建环境一致性
- 自动化依赖升级机制,保持第三方库处于最新稳定版本
- 移除了Python 3.11的lint检查,为全面支持Python 3.11铺平道路
性能优化与代码质量
在性能优化方面:
- 模型端点Pydantic模型构建过程得到优化
- 移除了大量已弃用代码,保持代码库精简
- 服务端和客户端单元测试运行器分离,提高测试效率
- 改进了假设测试的健康检查,修复了CI中的测试失败问题
使用建议与升级注意事项
对于计划升级到v1.10.0版本的用户,需要注意以下几点:
- 本地开发环境建议同步升级到Python 3.11以获得最佳兼容性
- 模型监控配置需要相应调整,特别是使用TDengine的场景
- 升级后需要重建自定义镜像以确保所有组件版本兼容
- 注意检查是否有使用已移除的废弃API,及时更新代码
这个候选版本展示了MLRun作为成熟MLOps平台的持续进化能力,从核心功能到开发者体验都进行了全面优化。正式版本发布后,将为机器学习工程化提供更强大、更稳定的支持。
登录后查看全文
热门项目推荐
相关项目推荐
atomcodeClaude Code 的开源替代方案。连接任意大模型,编辑代码,运行命令,自动验证 — 全自动执行。用 Rust 构建,极致性能。 | An open-source alternative to Claude Code. Connect any LLM, edit code, run commands, and verify changes — autonomously. Built in Rust for speed. Get StartedRust0192
cann-learning-hubCANN 学习中心仓,支持在线互动运行、边学边练,提供教程、示例与优化方案,一站式助力昇腾开发者快速上手。Jupyter Notebook0120
Step-3.7-FlashStep-3.7-Flash是一个拥有 1980 亿参数的稀疏混合专家(MoE)视觉语言模型,由 1960 亿参数的语言主干网络和 18 亿参数的视觉编码器组合而成,具备原生图像理解能力。Python00
JoyAI-EchoJoyAI-Echo,这是一个独立的、仅用于推理的版本,旨在实现分钟级多镜头音视频生成。它采用了经过蒸馏的DMD生成器、配对的跨模态记忆以及故事级别的一致性。其性能的核心在于,一个跨模态视听记忆库能够在长达五分钟的视频中保持角色外观和语音音色的一致性。同时,一个训练后处理流程将基于记忆的强化学习与分布匹配蒸馏相结合,实现了7.5倍的速度提升,显著增强了视觉质量和对齐效果。00
fun-rec推荐系统入门教程,在线阅读地址:https://datawhalechina.github.io/fun-rec/Python03
so-large-lm大模型基础: 一文了解大模型基础知识01
热门内容推荐
最新内容推荐
项目优选
收起
暂无描述
Dockerfile
766
4.98 K
本项目是CANN提供的transformer类大模型算子库,实现网络在NPU上加速计算。
C++
857
1.93 K
本项目是CANN提供的神经网络类计算算子库,实现网络在NPU上加速计算。
C++
685
1.34 K
Ascend Extension for PyTorch
Python
720
884
本项目是CANN提供的数学类基础计算算子库,实现网络在NPU上加速计算。
C++
1.08 K
1.1 K
deepin linux kernel
C
32
16
openEuler内核是openEuler操作系统的核心,既是系统性能与稳定性的基石,也是连接处理器、设备与服务的桥梁。
C
457
440
本仓库是 Flutter SDK 与 Flutter Engine 的 OpenHarmony 适配版本,由 CPF-Flutter 团队维护。开发者可使用熟悉的 Flutter 技术栈开发 OpenHarmony 应用,3.35.7 及以后的适配版本可基于本仓库源码构建支持 OpenHarmony 的 Flutter Engine。
Dart
1.01 K
262
华为昇腾面向大规模分布式训练的多模态大模型套件,支撑多模态生成、多模态理解。
Python
151
253
CANNBot 是面向 CANN 开发的用于提升开发效率的系列智能体,本仓库为其提供可复用的 Skills 模块。
Python
1 K
610