Apache Iceberg 中清理孤立文件的优化实践

背景介绍

Apache Iceberg 作为新一代数据湖表格式，提供了强大的数据管理能力。在实际使用中，随着数据不断写入和删除，表目录下可能会积累一些不再被元数据引用的"孤立文件"。这些文件不仅占用存储空间，还会影响查询性能。Iceberg 提供了专门的 API 来清理这些孤立文件。

孤立文件清理机制

Iceberg 的孤立文件清理功能主要通过 RemoveOrphanFiles 操作实现。该操作会扫描表的数据目录，并与当前元数据中记录的有效文件进行比对，找出那些未被引用的文件并将其删除。

两种清理模式

1. 默认模式（无数据帧输入）

这是最常用的清理方式，Iceberg 会自动：

• 扫描表的所有数据文件
• 查询当前元数据快照
• 比对找出未被引用的文件
• 执行删除操作

这种方式简单直接，适合大多数常规清理场景。

2. 自定义文件列表模式

在某些特殊场景下，用户可能需要：

• 提供自定义的文件列表作为比对基准
• 基于特定条件筛选要保留的文件
• 实现更精细化的清理策略

这种模式通过 API 参数支持，允许用户传入一个包含待检查文件列表的 Spark 数据帧。

实现建议

对于大多数用户，推荐使用默认模式，因为：

1. 实现简单，无需额外编码
2. 自动与元数据保持同步
3. 减少资源消耗（无需构建数据帧）

只有在需要特殊过滤逻辑或自定义清理规则时，才考虑使用自定义文件列表模式。

最佳实践

1. 定期执行：建议设置定时任务定期清理孤立文件
2. 保留期设置：配置合理的文件保留时间，避免误删新文件
3. 测试验证：首次在生产环境执行前，先在小规模数据上测试
4. 监控机制：记录清理的文件数量和释放的空间

通过合理使用 Iceberg 的孤立文件清理功能，可以有效维护数据湖的健康状态，优化存储利用率并提升查询性能。