DLRover v0.4.0 版本发布：分布式训练监控与容错能力全面升级

DLRover 是一个面向分布式机器学习训练场景的智能监控与容错系统，旨在提升大规模深度学习训练的稳定性和效率。该系统通过实时监控训练过程中的关键指标，自动检测异常并提供智能化的故障恢复方案，帮助用户减少人工干预成本，提高训练任务的成功率。

核心功能升级

框架支持扩展

本次发布的 v0.4.0 版本在框架兼容性方面取得重要进展：

• 全面支持 PyTorch 2.4.x 及以上版本，其中 2.4.x 版本已在生产环境中经过充分验证
• 新增对 Python 3.10 运行环境的支持
• 针对 PyTorch 2.5 版本提供了初步兼容性验证，为后续全面支持奠定基础

训练监控体系增强

v0.4.0 引入了全新的 XPU_TIMER 指标监控体系，这是本次更新的核心亮点之一：

1. XPU 计时器集成：新增了对 XPU 设备计时指标的监控能力，能够精确捕捉计算设备的运行状态
2. 训练卡死检测：实现了第一版训练卡死诊断机制，通过创新的正向诊断算法，显著提高了异常检测的准确性
3. 关键事件扩展：丰富了监控事件体系，新增多个关键训练事件的捕获能力

容错机制优化

在故障恢复方面，本版本进行了多项重要改进：

1. TensorFlow 快速失败策略：针对 pending timeout 场景设计了新的快速失败机制，减少无谓等待
2. Worker 容错逻辑完善：修复了当 worker 数量少于默认重试次数(3次)时容错计数不准确的问题
3. 资源配额处理：解决了因资源配额问题导致的意外故障恢复失败情况
4. 节点检查增强：优化了节点健康检查流程，提高了系统鲁棒性

关键技术改进

资源监控重构

本次版本对资源监控模块进行了深度重构：

• 采用更高效的指标采集机制，降低系统开销
• 优化了监控数据的存储和处理流程
• 提升了大规模集群下的监控稳定性

状态管理优化

引入全新的 'job_context' 设计：

• 集中管理所有关键状态的读写操作
• 提供原子化的状态变更保证
• 简化了状态同步逻辑，提高了系统可靠性

进程管理改进

针对特殊硬件环境进行了适配：

• 解决了 Ascend NPU 环境下进程泄漏问题（临时方案）
• 优化了节点心跳机制，增强了极端场景下的稳定性

问题修复与稳定性提升

v0.4.0 版本修复了多个影响稳定性的关键问题：

1. 检查点保存：修复了 step 0 无法保存的问题
2. 并发控制：解决了并发目录删除导致的异常情况
3. 地址读取：修复了大规模训练中 master 地址读取的竞态条件
4. 节点管理：完善了多个节点管理相关的边界条件处理

XPU_Timer v0.1.0 同步发布

作为配套工具，XPU_Timer 的首个正式版本随本次更新一同发布。该组件提供了精确的 XPU 设备计时能力，为训练性能分析和异常检测提供了基础支撑。

总结

DLRover v0.4.0 在监控能力、容错机制和系统稳定性方面实现了全面升级，特别是新增的 XPU_TIMER 指标体系和训练卡死检测功能，为分布式训练提供了更强大的保障。同时，对 PyTorch 2.4+ 和 Python 3.10 的官方支持，使得该系统能够更好地服务于现代化的深度学习训练场景。