NVIDIA DALI 中 RandAugment 使用问题分析与解决方案

问题背景

在计算机视觉领域的数据增强中，RandAugment 是一种非常有效的自动数据增强技术。NVIDIA DALI 作为一个高效的数据加载和预处理库，在其 1.31.0 版本中提供了 RandAugment 的实现。然而，用户在使用过程中遇到了程序崩溃的问题。

问题现象

当用户尝试在 DALI 管道中使用 rand_augment.rand_augment() 函数时，程序会意外崩溃。具体表现为在多进程环境下运行时，子进程会以退出码 -11 异常终止，同时伴随有信号量泄漏的警告信息。

技术分析

通过分析用户提供的示例代码和错误日志，可以确认以下几点：

1. 问题仅出现在使用 RandAugment 时，注释掉相关代码后程序可以正常运行
2. 错误发生在多进程环境下，特别是使用 torchrun 启动分布式训练时
3. 错误表现为 SIGTERM 信号导致的进程终止

根本原因

经过 NVIDIA DALI 开发团队的确认，这是一个已知的 bug，已经在最近的开发分支中被修复。该问题与 RandAugment 在多进程环境下的实现方式有关，特别是在处理 GPU 资源和内存管理时存在缺陷。

解决方案

开发团队已经提供了两种解决方案：

1. 使用最新 nightly 版本：从 2024 年 9 月 17 日构建的 nightly 版本已经包含了该问题的修复
2. 等待正式发布：该修复将被包含在即将发布的 1.42 版本中

最佳实践建议

对于需要在生产环境中使用 RandAugment 的用户，建议：

1. 如果急需使用，可以切换到最新的 nightly 版本
2. 如果对稳定性要求较高，可以暂时使用其他数据增强方法替代，等待 1.42 正式版发布
3. 在多进程环境下使用时，确保所有节点都使用相同版本的 DALI 库

总结

NVIDIA DALI 作为深度学习数据预处理的重要工具，其 RandAugment 功能为计算机视觉任务提供了强大的数据增强能力。虽然当前版本存在多进程环境下的稳定性问题，但开发团队已经迅速响应并提供了解决方案。用户可以根据自身需求选择合适的解决路径，以获得最佳的使用体验。