MNN项目中Qwen2-VL-2B模型转换与加载问题分析

问题背景

在使用MNN框架处理Qwen2-VL-2B模型时，用户遇到了模型转换和加载的问题。具体表现为在加载转换后的MNN模型时出现"past_key_values tensor is input but not found"的错误，导致程序崩溃。

问题现象

用户在尝试加载转换后的Qwen2-VL-2B模型时，系统报错显示无法找到past_key_values这个输入张量。当用户尝试修改llmexport.py源码删除past_key_values后，虽然能够运行，但最终推理结果不正确。

技术分析

1. 模型转换问题

past_key_values是Transformer架构中用于存储历史键值对(KV Cache)的重要组件，它使得模型能够记住之前处理过的序列信息，在自回归生成过程中起到关键作用。直接删除这个组件会导致模型无法正确维护上下文信息，从而产生错误的推理结果。

2. 正确的转换方法

对于MNN框架，处理Transformer类模型时需要特别注意以下几点：

1. 在从ONNX转换为MNN格式时，必须添加--transformerFuse参数，这个参数会优化Transformer相关的算子融合。

2. 需要使用MNN的transformer/engine来编译llm_demo，而不是使用旧的mnn-llm实现。

3. ONNX推理方案

如果用户希望直接在ONNX格式下进行推理，必须正确处理past_key_values输入。这需要：

1. 在每次推理时正确维护和更新KV Cache状态
2. 将更新后的KV Cache作为下一次推理的输入

如果希望完全消除past_key_values分支，需要自行实现KV Cache的管理逻辑，这包括：

1. 修改模型架构，将KV Cache管理外置
2. 实现自定义的缓存管理机制
3. 确保推理过程中上下文信息的正确传递

解决方案建议

1. 遵循标准转换流程：严格按照MNN文档指导进行模型转换，确保所有必要参数(如--transformerFuse)都已正确设置。

2. 使用最新工具链：确保使用MNN最新的transformer/engine组件，而不是过时的实现。

3. KV Cache管理：如果需要在ONNX层面处理，可以考虑以下方案：

   • 实现外部的KV Cache管理模块
   • 在每次推理前后正确处理缓存状态
   • 考虑使用更高级的推理引擎来简化这一过程

4. 性能考量：KV Cache的优化对大型语言模型的推理性能至关重要，不当的处理可能导致显著的性能下降。

总结

处理大型Transformer模型时，KV Cache的正确管理是关键。MNN框架提供了专门的优化参数和组件来处理这类模型，用户应当遵循推荐的转换和使用流程。对于有特殊需求的场景，需要深入理解模型架构和推理机制，才能进行有效的定制化修改。