GLM-4模型在Transformers 4.42.3版本下的兼容性问题分析

在使用OpenCompass评估工具对GLM-4-9b-chat模型进行推理测试时，开发者遇到了一个关键性的兼容性问题。当运行评估脚本时，系统报出"AttributeError: 'str' object has no attribute 'shape'"错误，这表明在模型的前向传播过程中出现了类型不匹配的问题。

深入分析错误堆栈可以发现，问题出现在modeling_chatglm.py文件的第891行。具体来说，当模型尝试获取past_key_values的形状信息时，系统发现传入的past_key_values参数实际上是一个字符串类型，而非预期的张量类型。这种类型不匹配导致无法访问shape属性，从而引发错误。

从技术实现角度来看，这个问题很可能源于Transformers库版本与GLM-4模型之间的兼容性问题。在Transformers 4.42.3版本中，past_key_values的处理方式可能与GLM-4模型的预期不符。past_key_values在Transformer架构中通常用于存储先前计算的键值对，以支持自回归生成任务，正确的张量格式对这一机制至关重要。

经过验证，将Transformers库降级到4.40版本可以解决这个问题。这表明在4.42.3版本中可能引入了某些对past_key_values处理逻辑的变更，而这些变更与GLM-4模型的实现方式产生了冲突。对于使用GLM-4系列模型的开发者而言，这是一个需要注意的重要兼容性问题。

在实际部署过程中，建议开发者在搭建GLM-4模型运行环境时，特别注意Transformers库的版本选择。如果遇到类似的形状属性访问错误，版本降级是一个值得尝试的解决方案。同时，这也提醒我们在使用大型语言模型时，需要密切关注框架版本与模型实现之间的兼容性关系。