LLaVA模型在Arm架构CPU上的输出异常问题分析与解决方案

问题背景

LLaVA作为多模态大语言模型，在x86架构服务器上表现良好，但在Arm架构的Ampere Altra Max处理器环境中运行时，出现了输出文本不连贯的异常现象。具体表现为生成大量无意义的重复字符和符号组合，与预期的人类可读自然语言输出相去甚远。

现象特征

在Ampere Altra Max（128核）服务器上，当使用以下配置时：

• 模型版本：llava-v1.5-13b
• 数据类型：Float32
• 确定性算法：启用
• 随机种子：固定为240119

模型输出呈现以下典型特征：

1. 大量无意义的字母组合和符号重复
2. 数字和连接词的异常堆砌
3. 语法结构完全破坏
4. 改变随机种子仅影响重复模式，不改善语义连贯性

对比测试

在x86架构的Intel Xeon Gold服务器上，相同配置下：

• 输出保持语义完整
• 回答内容符合人类语言逻辑
• 能够正确理解图像内容并给出合理建议

根本原因分析

经过技术验证，该问题主要源于：

1. 架构兼容性问题：Arm架构的矩阵运算实现与x86存在细微差异，在低精度计算时误差会被放大
2. 确定性算法冲突：当同时启用torch.use_deterministic_algorithms和Arm特定指令集时，会导致注意力机制计算异常
3. 浮点运算差异：Float32精度在跨架构传输时可能产生累积误差

解决方案

该问题已在LLaVA v1.2.2版本中通过以下方式解决：

1. 优化了跨架构的数值稳定性
2. 改进了注意力层的确定性计算流程
3. 增加了对Arm处理器的特定兼容性处理

实践建议

对于需要在Arm架构上部署LLaVA的用户：

1. 优先使用v1.2.2及以上版本
2. 对于关键应用，建议进行完整的输出质量测试
3. 可考虑使用混合精度训练（FP16/FP32）来提高数值稳定性
4. 在Arm服务器上部署时，建议关闭确定性算法以获得更好的兼容性

技术启示

该案例揭示了多模态大模型在跨架构部署时可能面临的挑战，特别是在：

• 数值计算的一致性保证
• 硬件加速的兼容性处理
• 确定性算法与硬件特性的平衡

这为后续大模型的跨平台部署提供了宝贵的实践经验。