GPT Academic项目中ChatGLM3本地加载问题的解决方案

问题背景

在使用GPT Academic项目时，部分用户遇到了无法本地加载ChatGLM3模型的问题。该问题表现为即使明确指定了本地模型路径，系统仍会尝试从THUDM/chatglm3-6b远程仓库下载模型，导致连接错误。

问题分析

通过深入分析，我们发现问题的根源在于ChatGLM3的tokenizer配置文件(tokenizer_config.json)中的自动映射设置。该文件默认配置会导致系统优先尝试从远程仓库获取模型，即使开发者已经指定了本地路径。

解决方案

要解决此问题，需要对tokenizer_config.json文件进行以下修改：

1. 找到项目中的tokenizer_config.json文件
2. 修改"auto_map"部分的配置，删除"tokenization_chatglm.ChatGLMTokenizer"前面的代码
3. 修改后的配置应如下所示：

"auto_map": {
    "AutoTokenizer": [
      "tokenization_chatglm.ChatGLMTokenizer",
      null
    ]
}

技术原理

这种修改之所以有效，是因为：

1. 原始配置中的额外代码会强制系统从远程仓库获取模型
2. 修改后的配置允许系统优先使用本地路径加载模型
3. 这种修改不会影响模型的核心功能，只是改变了模型的加载方式

实施建议

对于开发者来说，实施此解决方案时应注意：

1. 确保修改的是正确的tokenizer_config.json文件
2. 修改前备份原始文件
3. 修改后重新启动应用以确保更改生效
4. 如果使用不同版本的ChatGLM3，可能需要相应调整配置

总结

通过修改tokenizer配置文件，开发者可以成功实现ChatGLM3模型的本地加载，避免不必要的远程连接尝试。这一解决方案不仅解决了当前问题，也为类似情况提供了参考思路。