MLflow 项目中使用 MinIO 存储时垃圾回收失败问题分析

问题背景

在 MLflow 项目中，当使用 MinIO 作为 artifacts 存储后端并启用了 artifact proxying 功能时，执行 mlflow gc 命令进行垃圾回收会遇到失败情况。该问题表现为系统无法正确列出和删除 artifacts，导致垃圾回收功能失效。

问题根源

经过深入分析，发现问题出在 S3 存储路径处理逻辑上。具体表现为：

1. 路径拼接问题：MLflow 在构建 S3 存储路径时，会在路径末尾添加了双斜杠("//")，这在基于文件系统的 MinIO 存储后端中被视为非法字符。

2. MinIO 特殊性：与标准 S3 服务不同，MinIO 构建在文件系统存储后端之上，对路径命名有更严格的限制，特别是不能使用多余的"/"字符作为路径分隔符。

3. 错误表现：当 MLflow 尝试列出 artifacts 时，会收到 MinIO 返回的 XMinioInvalidObjectName 错误，提示"Object name contains unsupported characters"。

技术细节

问题主要出现在 mlflow/store/artifact/s3_artifact_repo.py 文件中的两个方法：

1. list_artifacts 方法：在构建 S3 查询前缀(prefix)时，没有正确处理路径末尾的斜杠。

2. delete_artifacts 方法：同样存在路径拼接问题，导致无法正确构建删除操作所需的前缀。

解决方案

通过以下代码修改可以解决该问题：

# 在构建目标路径后添加路径清理逻辑
dest_path = dest_path.rstrip("/") if dest_path else ""

这一修改确保了：

1. 在构建 S3 查询前缀前，先清理路径末尾多余的斜杠
2. 保持了原有功能的语义不变
3. 兼容了 MinIO 的路径命名规则

影响范围

该问题影响以下 MLflow 功能组件：

1. 垃圾回收(mlflow gc)功能
2. 使用 MinIO 作为存储后端的 artifact 管理功能
3. 启用了 artifact proxying 的 MLflow 跟踪服务器

最佳实践建议

对于使用 MinIO 作为 MLflow 存储后端的用户，建议：

1. 及时应用该修复补丁
2. 在部署前测试垃圾回收功能
3. 监控 artifact 存储使用情况，避免因垃圾回收失败导致存储空间不足
4. 考虑定期手动清理不再需要的 artifacts

总结

该问题的解决体现了 MLflow 项目对多样化存储后端的良好支持能力。通过简单的路径处理逻辑调整，即可解决与 MinIO 存储的兼容性问题，展现了 MLflow 架构的灵活性和可扩展性。对于企业用户而言，这一修复确保了在混合云环境下使用 MinIO 作为 MLflow 存储后端的可靠性。