Langchain-Chatchat项目中ChatGLM3模型Agent功能异常问题分析

在Langchain-Chatchat项目的最新版本(0.3.0.20240625.1)中，用户报告了一个关于ChatGLM3模型Agent功能的异常问题。当用户尝试启用Agent能力进行问答时，系统会抛出"unhashable type: 'slice'"的错误，而普通问答功能则能正常运行。

问题现象

用户在使用chatchat -a命令启用Agent功能后，系统日志显示了两类错误信息：

1. Langchain-Chatchat侧报错：主要包含HTTP连接中断和流式处理异常，最终表现为"peer closed connection without sending complete message body"错误。

2. Xinference侧报错：核心错误是"unhashable type: 'slice'"，发生在ChatGLM3模型的_stream_generator方法中，具体位置是处理文本分块时对chunk_text进行切片操作失败。

技术分析

从错误堆栈可以分析出几个关键点：

1. 流式处理中断：系统在尝试以流式方式处理Agent生成的响应时，连接被意外关闭。这表明Agent功能在生成响应过程中可能遇到了无法处理的异常。

2. 切片操作失败：核心错误发生在ChatGLM3模型的文本生成过程中，当尝试对生成的文本块(chunk_text)进行切片操作时，Python解释器发现该对象不支持切片操作。这通常意味着chunk_text变量被意外赋值为一个不支持切片操作的对象类型。

3. 版本兼容性问题：该问题出现在特定版本组合下(Langchain-Chatchat 0.3.0.20240625.1 + transformers 4.40.2 + torch 2.1.0)，可能涉及不同组件间的接口兼容性问题。

解决方案

根据项目协作者的反馈，该问题在0.3.1版本中已经得到优化。新版本改进了配置方式，使得修改配置项无需重启服务器，建议用户升级到最新版本尝试解决此问题。

对于暂时无法升级的用户，可以尝试以下临时解决方案：

1. 检查并确保ChatGLM3模型的输入输出处理逻辑正确，特别是在流式生成文本时的类型转换。

2. 验证模型配置参数，特别是与文本生成相关的参数设置是否合理。

3. 在启用Agent功能前，先确保普通问答功能完全正常，逐步排查问题。

总结

这类问题通常反映了深度学习框架与上层应用之间的接口兼容性挑战。随着Langchain-Chatchat项目的持续更新，建议用户保持对最新版本的关注，及时获取功能改进和问题修复。对于生产环境部署，建议在升级前进行充分的测试验证。