MediaPipe LLM推理在Android GPU模型长文本输入时重复生成的问题分析

问题背景

在使用MediaPipe进行移动端LLM推理时，开发者发现当输入提示文本(prompt)较长时，Gemma 1.1 2B int8 GPU模型会出现重复生成相同token的问题。具体表现为模型输出大量重复词汇（如"Walkover Walkover..."），且不会自动停止，直到达到最大token限制。

问题复现条件

该问题在以下环境中可稳定复现：

• 设备：Xiaomi 14 Pro（Android 14）
• MediaPipe版本：0.10.14
• 模型：Gemma 1.1 2B int8 GPU版本
• 输入条件：当提示文本超过一定长度时（约100字符以上）

技术分析

正常工作情况

在短文本输入情况下（约100字符），模型表现正常。例如，当输入关于ImageNet的简短查询时，模型能够生成合理且连贯的回答：

ImageNet是一个包含1400多万张图像的数据集，分为1000个类别，可用于训练深度学习模型进行图像分类等任务。

异常工作情况

当输入较长文本时（如200字符以上），模型开始输出大量重复token。值得注意的是：

1. 该问题仅出现在GPU版本模型上，CPU版本表现正常
2. 问题与模型的理论上下文窗口大小（8k tokens）无关
3. 重复模式固定，且不会自动停止

可能原因

根据技术分析，推测可能的原因包括：

1. GPU内存管理问题：长文本输入可能导致GPU内存分配或管理异常
2. 注意力机制实现缺陷：在GPU加速路径下，长序列的注意力计算可能出现问题
3. 量化误差累积：int8量化在长序列处理中可能产生误差累积
4. 缓冲区溢出：GPU端的文本缓冲区可能未正确扩展以适应长输入

解决方案

MediaPipe团队在后续版本（0.10.15）中修复了该问题。开发者升级到最新版本后，长文本输入下的重复生成问题已得到解决。

最佳实践建议

对于在移动端使用MediaPipe进行LLM推理的开发者，建议：

1. 始终使用最新稳定版本的MediaPipe
2. 对于关键应用，考虑实现输入长度监控和异常检测
3. 在部署前进行充分的压力测试，特别是针对长文本输入场景
4. 保持对GPU和CPU两种推理路径的兼容性测试

总结

MediaPipe作为移动端机器学习推理框架，在LLM支持方面仍在不断优化。这次的长文本输入问题提醒我们，在将大型语言模型部署到移动设备时，需要特别注意内存管理和计算路径的正确性。随着框架的持续更新，开发者可以期待更稳定、高效的移动端LLM推理体验。