Rasterio项目中的merge性能回归问题分析与解决方案

性能问题背景

在Rasterio 1.4.x版本中，用户报告了一个显著的性能退化问题：当使用rasterio.merge.merge函数合并多个小型GeoTIFF文件时，执行时间从1.3.10版本的几秒钟激增至1.4.x版本的几分钟甚至更长时间。这个问题在需要处理大量小文件（如10000+）的场景下尤为严重，可能导致处理时间从10秒增加到1000秒。

问题根源分析

经过开发团队的深入调查，发现性能下降主要源于以下几个关键因素：

1. 全范围读取操作：1.4.x版本中，merge函数对每个输入文件执行了"boundless"读取操作，导致即使处理小文件时也会读取和重新处理一个非常大的数组（如从(120,56)扩展到(4458,3582)）。

2. numpy.isclose()函数调用：新版本中引入了对numpy.isclose()的频繁调用，用于比较栅格值与nodata值。虽然这在理论上提高了精度，但在实际应用中，特别是当栅格值与nodata值差异明显时，这种检查是不必要的性能开销。

3. 内存处理策略变化：1.4.0版本对merge函数进行了优化，主要针对大型输入/输出场景，这反而在处理大量小文件时引入了额外的开销。

临时解决方案

开发团队提供了一个临时解决方案，通过指定输出路径和内存限制参数来缓解性能问题：

M = merge(rasters, method='first', dst_path=merge_file, mem_limit=4)

这个解决方案的关键点在于：

• dst_path参数强制将中间结果写入磁盘而非内存
• mem_limit=4限制了内部数组的大小，避免处理过大的临时数组

性能对比数据

在实际测试中，合并约4200个文件的表现如下：

• Rasterio 1.3.10：约45秒完成
• Rasterio 1.4.2（无优化）：约4分钟完成
• Rasterio 1.4.2（使用临时方案）：约1-2分钟完成

虽然临时方案有所改善，但仍比1.3.10版本慢约6倍。

长期解决方案展望

开发团队已经确认这是一个需要修复的回归问题，并正在着手以下改进：

1. 优化数组大小处理，避免不必要的扩展
2. 重新评估numpy.isclose()的使用场景，在不需要精确比较时跳过此步骤
3. 改进内存管理策略，使其在不同规模的数据集上都能表现良好

用户建议

对于当前受此问题影响的用户，建议：

1. 如果可能，暂时回退到Rasterio 1.3.x版本
2. 如果必须使用1.4.x版本，采用上述临时解决方案
3. 关注后续版本更新，性能问题有望在不久的将来得到彻底解决

这个问题展示了在优化大型数据集处理时可能对小型数据集处理产生的意外影响，也提醒我们在性能优化时需要全面考虑各种使用场景。