7-Zip-zstd项目中7z格式使用zstd压缩方法的内存占用问题分析

在7-Zip-zstd项目中，开发者发现了一个关于内存占用的有趣现象：当使用7z格式配合zstd压缩方法时，内存消耗会显著高于直接使用zstd格式进行压缩。这一现象在压缩小文件时尤为明显。

问题现象

测试表明，在压缩一个2KB大小的文件时，使用7z格式配合zstd压缩方法(-t7z -m0=zstd:max)比直接使用zstd格式(-tzstd -mmax)消耗了更多的内存资源：

• 工作集峰值大小：16788724 vs 8399432
• 页面文件使用峰值：30216980 vs 8437368

这种差异在普通压缩级别(如22级)下更为显著：

• 工作集峰值大小：728292 vs 6580
• 页面文件使用峰值：7228292 vs 14352

问题根源

经过深入分析，发现问题出在7z压缩处理程序(7zHandler)的实现上。当使用7z格式进行压缩时，系统没有正确设置unpackSize参数，导致zstd压缩器无法获取源文件大小信息。

由于缺少ZSTD_c_srcSizeHint参数，zstd压缩器无法针对小文件进行内存优化，只能按照更保守的策略分配内存，从而造成了内存使用的显著增加。

解决方案

开发者通过修改ZstdHandler的代码，确保在7z格式压缩时也能正确传递源文件大小信息。这一修改不仅降低了内存使用量，还意外地带来了压缩率的轻微提升——因为zstd压缩器现在能够基于已知的文件大小更好地优化其压缩策略。

技术意义

这个问题的解决展示了压缩算法实现中的一些微妙之处：

1. 内存优化：压缩算法通常会根据输入大小调整内存使用策略，缺少关键信息会导致次优的内存分配。

2. 压缩效率：了解输入数据的特征(如大小)可以帮助压缩算法做出更好的决策，从而提高压缩效率。

3. 格式兼容性：不同压缩格式的实现细节可能导致性能差异，需要特别注意跨格式的功能一致性。

这个修复不仅解决了内存占用问题，还提升了7-Zip-zstd在处理小文件时的整体效率，是项目优化过程中的一个重要里程碑。