ChatGLM3 代码解释器图片生成问题分析与解决方案

问题背景

在 ChatGLM3 项目的 composite_demo 中，用户发现代码解释器在执行绘图代码时无法正确返回生成的图片。这是一个常见的技术问题，涉及到 Jupyter 内核配置、Matplotlib 后端设置以及消息传递机制等多个技术环节。

问题现象分析

从用户提供的日志可以看出两种不同的执行情况：

1. 正常情况：执行简单计算任务时，代码解释器能够正确返回计算结果（如文本"33"）
2. 异常情况：执行绘图代码时，虽然代码执行成功（状态为"ok"），但返回的内容中缺少图片数据，只有代码本身

技术原理探究

这个问题涉及到几个关键技术点：

1. Matplotlib 后端设置：Matplotlib 默认可能使用交互式后端，需要明确指定为"inline"才能在 Jupyter 中内嵌显示图片
2. Jupyter 内核消息协议：代码执行结果通过不同的消息通道传递，需要正确处理显示数据（display_data）消息
3. IPython 内核配置：内核启动参数决定了其行为特性，包括图形显示方式

解决方案

经过技术分析，可以通过以下步骤解决问题：

1. 修改内核配置：

   • 定位内核配置文件：~/.local/share/jupyter/kernels/<kernel-name>/kernel.json
   • 在argv列表中添加参数"--matplotlib=inline"

2. 配置示例：

{
 "argv": [
  "python",
  "-m",
  "ipykernel_launcher",
  "--matplotlib=inline",
  "-f",
  "{connection_file}"
 ],
 "display_name": "ChatGLM3 Demo",
 "language": "python"
}

技术细节解析

1. Matplotlib 后端机制：

   • inline 后端会将图形渲染为静态图片直接嵌入输出
   • 其他后端如qt、tk等会尝试打开独立窗口，这在无界面环境中会失败

2. Jupyter 消息协议：

   • 执行请求（execute_request）
   • 输入消息（iopub_msg）
   • 执行回复（execute_reply）
   • 需要正确处理包含图片数据的display_data消息

3. 内核生命周期：

   • 内核启动时加载配置
   • 参数影响运行时行为
   • 修改后需要重启内核生效

验证方法

修改配置后，可以通过以下方式验证：

1. 在代码解释器中执行简单绘图代码
2. 检查返回结果中是否包含图片数据
3. 确认消息流中是否有display_data类型的消息

最佳实践建议

1. 对于长期使用的内核，建议在创建时就指定正确参数
2. 在生产环境中，可以考虑创建专用的绘图内核
3. 对于复杂应用，可以自定义消息处理器来更好地处理图形输出

总结

ChatGLM3 代码解释器的图片显示问题是一个典型的配置问题，通过正确设置 Matplotlib 后端即可解决。理解 Jupyter 架构和消息协议对于开发类似的交互式工具至关重要。这个问题也提醒我们，在构建AI辅助编程环境时，需要充分考虑各种输出类型的处理方式。