Langchain-Chatchat项目中GLM-4-9B-Chat模型适配问题解决方案

问题背景

在Langchain-Chatchat项目中，用户尝试运行GLM-4-9B-Chat模型时遇到了输出结果持续自问自答无法停止的问题。经过社区多位开发者的深入分析和实践，发现这是由于FastChat框架尚未完全兼容GLM-4系列模型导致的。

问题根源分析

GLM-4系列模型采用了与之前ChatGLM系列不同的对话格式和提示词模板。当FastChat框架处理GLM-4模型时，主要存在以下几个问题：

1. 模型类型识别错误：FastChat通过模型路径中的"chatglm"关键字来判断模型类型，导致错误地应用了ChatGLM3的对话处理逻辑。

2. 提示词模板不匹配：GLM-4使用了新的对话格式，而FastChat仍沿用ChatGLM3的模板格式，导致模型无法正确理解输入。

3. 特殊token处理不当：GLM-4输出中包含的特殊token未被正确处理，导致生成结果异常。

解决方案

方案一：修改模型路径命名

最简单的解决方案是修改模型文件夹名称，避免包含"chatglm"字样：

"llm_model": {
    "glm-4-9b-chat": "/path/to/glm-4-9b-chat/",
}

这种方法可以防止FastChat错误地应用ChatGLM3的处理逻辑，但可能无法完全解决所有兼容性问题。

方案二：深度适配修改

更完整的解决方案需要对FastChat框架进行多处修改：

1. 修改model_chatglm.py：

elif "glm-4" in model_type:
    message_list = recover_message_list(prompt)
    inputs = tokenizer.apply_chat_template(
        message_list, tokenize=True, return_tensors="pt", 
        return_dict=True, add_generation_prompt=True
    ).to(model.device)

2. 修改model_adapter.py：

if "chatglm3" or 'glm-4' in model_path.lower():
    tokenizer = AutoTokenizer.from_pretrained(
        model_path,
        encode_special_tokens=True,
        trust_remote_code=True,
        revision=revision,
    )

3. 添加GLM-4对话模板：

在conversation.py中添加GLM-4专用的对话模板：

register_conv_template(
    Conversation(
        name="chatglm4",
        system_template="<|system|>\n{system_message}",
        roles=("<|user|>", "<|assistant|>"),
        sep_style=SeparatorStyle.CHATGLM4,
        stop_token_ids=[64795, 64797, 2],
    )
)

关键修复点

1. 特殊token处理：在解码输出时添加skip_special_tokens=True参数：

response = tokenizer.decode(output_ids, skip_special_tokens=True)

2. 消息列表处理：修复了recover_message_list函数对GLM-4格式消息的处理逻辑。

3. 停止条件设置：正确配置了GLM-4的停止token列表。

实践建议

1. 对于临时解决方案，建议优先采用修改模型路径名称的方法。

2. 如需完整功能支持，建议实施深度适配方案，但需要注意这需要对FastChat框架有较深理解。

3. 长期来看，建议等待FastChat官方对GLM-4的正式支持更新。

4. 在调试过程中，可以使用简单的测试问题验证模型响应是否正常，避免复杂场景下的干扰。

总结

GLM-4系列模型作为新一代大语言模型，其对话格式和处理逻辑与之前版本有所不同。在Langchain-Chatchat项目中集成时，需要特别注意FastChat框架的兼容性问题。本文提供的解决方案已经经过社区验证，能够有效解决模型输出异常的问题。随着生态的完善，预计官方将很快提供原生支持，届时集成过程将更加简便。