ChatGPT Code Interpreter 能力全景笔记:已确认能力、已知缺陷与开源复刻路线(ai-notes 视角)

原创2026-10-11 10:22:321,335 阅读
文章标签:人工智能大模型知识库技术博客

ChatGPT Code Interpreter 能力全景笔记:已确认能力、已知缺陷与开源复刻路线(ai-notes 视角)

本篇技术指南以 Resources/ChatGPT Code Interpreter Capabilities.md 为核心骨架,系统梳理 ChatGPT Code Interpreter(现称 Advanced Data Analysis)从 2023 年 3 月插件预览到 7 月 GA 的能力全貌:包括时间线、系统提示词、启动时已确认的文件处理与数据分析能力、模型协作行为、沙箱环境特性、明确短板,以及围绕它的能力清单与开源复刻生态。读完本文,你将获得一份可检索、可引用的能力基线清单,并能在自建代码解释器(Code Interpreter)类 Agent 时,直接对照验证"能做/不能做/怎么做"三大问题。

一、背景与时间线:从插件预览到 GA

Code Interpreter 的演进在笔记中有一条清晰的时间线,它是理解后续所有能力的起点:

时间 事件 说明
2023-03-23 ChatGPT Plugins 预览发布 Code Interpreter 最初以插件形式亮相,官方博客宣布插件生态
2023-03 前后 首个公开演示 社区成员 gdb 演示了模型编写并执行 MoviePy 代码,底层依赖 ffmpeg
2023-07-06 至 07-08 正式 GA(General Availability)发布 面向全部 ChatGPT 用户开放,见官方 ChatGPT 发布说明
2023-07-10 Latent Space 深度文章 对 Code Interpreter 做了系统性评测与总结

仓库侧证同样指向 2023 年 7 月这一时间节点:OpenAI 笔记 在 OpenAI 2023 年发布节奏中记录 "july - code interpreter",并将其与 June - functions、aug - finetuning 并列,说明它是当年 OpenAI 能力矩阵(函数调用 → 代码执行 → 微调)中的关键一环。此外,Toolmaking as the next frontier 引用了 Ethan Mollick 对 Code Interpreter 解锁能力的分析,并记录其可处理 100MB 级别文件,侧面印证了它在数据分析场景的定位。

二、系统提示词与运行环境

原笔记指出 Code Interpreter 的系统提示词被社区公开(OpenAI 官方对话分享链接),同时公开了环境中的 requirements.txt 及其逐行注解版本。对工程实践而言,这条线索的意义在于:Code Interpreter 的运行环境本质上是一个受限的 Python 沙箱,其可用依赖与预装包是有明确清单的,后续所有"能做什么"都受这份清单约束。

从社区对环境的逆向提取(详见后文"能力清单与社区收集"一节)可以确认两个环境事实:

  1. Jupyter Notebook 内核:环境中存在与 Jupyter 设置相关的组件(如 ace_client),说明代码在 notebook 内核中以"单元"为单位执行;
  2. 可写文件目录:执行过程中产生的文件默认写入 /mnt/data 之类的工作目录(例如 Image(filename='/mnt/data/flowchart_enhanced.png')),模型可读写该目录下的中间产物。

一个值得注意的机制是动态导入模块:模型在代码执行时按需 import 库,这既是灵活性来源,也是后面"依赖幻觉"(NameError: name 'pd' is not defined)问题的根源。

三、启动时已确认的能力清单(GA 基线)

以下能力在 GA 发布时即被社区逐一验证,是评估任何"代码解释器类 Agent"的基准清单。

3.1 视频与多媒体处理

  • 视频操作:使用 MoviePy 编写并执行视频剪辑代码。gdb 的演示明确说明 MoviePy 底层调用 ffmpeg,因此所谓"运行时间"绝大部分是在等待 ffmpeg 执行——这比传统"查参数列表"的瓶颈是一大进步,说明模型已经能自主组合工具链。

3.2 支持的文件类型

类型 能力
.zip 解压后继续打开、检查内部文件,支持多轮迭代处理
.csv 表格数据分析(最常见的数据入口)
.xls Excel 表格读取与分析
.png 轻量级图片编辑与尺寸调整
.mov 视频文件的读取与处理

.zip 是最有代表性的用例:模型会解压、遍历内部文件并逐个分析。笔记中记录了一段典型场景——由于会话状态重置导致变量丢失后,模型回复 "I apologize for the oversight. The variable unzip_folder was also lost in the reset. We'll need to extract the data from the zip file again before proceeding",即需要重新解压才能继续。

3.3 绘图、地图与可视化

  • 绘制图表:可以生成 graphviz 图表(包括对代码结构作图),但笔记提示"有挑战";
  • 地图绘制:可以使用 folium 生成交互式地图,并把 folium 地图渲染成图片后内联展示。

3.4 数据分析全流程

这是 Code Interpreter 的核心战场,原笔记给出了完整的工作流证据链:

  1. 开放性分析:直接给出原始数据并说 "Here is some data on superhero powers, look through it and tell me what you find",模型即可自主探索;
  2. 预测建模:"predict what powers a hero might have based on other factors"——多标签分类任务;
  3. 数据连接(Joins):"Could you first combine the two datasets";
  4. 完整性检查:"confirm that they combined properly";
  5. 数据清洗:"does the data need cleaning in any way?";
  6. 数据预处理:为聚类分析做归一化/特征工程,模型能主动规划预处理步骤;
  7. 分析总结:"what is your summary of all this analysis, in bullet points?"。

这一连串提示词本身就是一套可复用的"数据分析 Agent 工作流模板",从探索 → 建模 → 连接 → 校验 → 清洗 → 预处理 → 聚类 → 总结,层层递进。

3.5 交互式仪表盘与数据可视化

模型不仅能出静态图,还能交付可发布的交互产物:社区成员基于分析结果发布了交互式 Dashboard(如 Superhero 数据分析页、3D 音乐可视化页、GPT 航班地图等),即最终产出是 HTML/JS 页面,而不仅限于 notebook 内的图表。

3.6 上传自定义库与依赖

除了预装包,用户还可以上传更多库与依赖并让模型安装使用:

  • 社区总结出安装外部 Python 包的可行方法(见 awesome-chatgpt-code-interpreter-experiments 的 install-external-python-packages 部分,具体以仓库内能力收集笔记为准);
  • 典型案例:在沙箱内用 GGML 运行 GPT-2,证明沙箱具备执行较重计算任务的能力。

四、行为模式:模型如何与用户协作

原笔记从真实会话中提炼出三类值得借鉴的协作行为:

4.1 给出选项,暂停等待确认

面对复杂任务(如多标签分类),模型不会闷头干,而是:

  • 提示任务规模("我们有大量潜在 powers 标签需要预测");
  • 给出分支选择("预测所有 powers,还是聚焦特定子集?");
  • 提出降维或特征选择方案;
  • 列出候选模型(决策树、随机森林、神经网络)并等待用户拍板。

用户甚至可以要求 "pick which you think is best, be clear about strengths and weaknesses",让模型带论证地自行决策。这种"先方案后执行"的模式,是 Agent 产品中值得固化的交互范式。

4.2 从数据问题中恢复

模型能主动诊断数据质量问题并给出处理选项:

  • 识别 NaN/infinity/超出 float32 范围等数值异常;
  • 检查预处理后是否仍存在缺失值与无穷值;
  • 发现异常极端值(如 975cm 身高、900kg 体重)并判断是"记录错误、未知占位符还是正常值";
  • 修复逻辑误解:例如把编码后的数值误当索引取回原名导致 IndexError: index 0 is out of bounds,随后自行道歉并修正思路。

4.3 主动请求更多数据

当现有数据不足以支撑结论时,模型会主动向用户索要更多数据——这是"数据驱动 Agent"应有的克制与严谨。

五、环境特性与恢复机制

沙箱环境并非完全稳定,笔记记录了以下环境侧事实:

  • 抢占/重置恢复(Preemption recovery):会话可能出现 "a disruption in the code execution environment causing a reset";
  • 灾难恢复与重试(Catastrophic recovery and retry):状态丢失后模型会 "Let's start from the beginning by extracting the data from the zip file again",重新开始但保证路径正确;
  • 自包含脚本策略:面对反复重置,模型主动建议 "write a self-contained script that does not rely on any variables from earlier in the session"——这是应对无状态执行环境的实战技巧,同样适用于自建 Agent;
  • 内联展示图片:通过 from IPython.display import Image 展示 /mnt/data/ 下的生成图片;
  • 中断处理:长任务执行后可响应 KeyboardInterrupt;
  • 图像处理栈:PIL 做图像编辑(如 "make the background of this image black")、OpenCV(cv2)做计算机视觉、pytesseract 做 OCR。

六、已废弃的研究预览(Research Preview)能力

  • subprocess.run:研究预览阶段曾被观察到可以运行子进程(据 Simon Willison 的记录),但 GA 后该能力被移除。这说明沙箱权限在正式版中做了收敛,对外部进程的控制是收紧而非放松的。

七、已知缺陷:Code Interpreter 不擅长的事

原笔记毫不避讳地记录了短板,这些是评估该技术路线成熟度的关键依据:

缺陷 表现
表格渲染慢 表格展示为纯 LLM 生成文本,速度慢;改进方向是换成组件并把代码输出灌入组件
环境重置频繁 "the code execution state was reset" 消息频繁出现
环境恢复能力差 会话状态丢失后难以无缝续接
依赖幻觉 频繁出现 NameError: name 'df' is not defined、pd、zipfile、np、combinations、ImageDraw 未定义——模型"忘记"了 import,只能事后道歉补救
无互联网访问 无法从 PyPI/文档抓取包描述,"fetching data from the internet is not permitted in the current environment"
无法"脑补"缺失数据 指令要求"guess the data you don't have"会失败,不靠 LLM 知识补全
对自身环境认知偏差 以为没有 folium,实际有;把 HTML 转图片也做不到,只能建议用户本地用 imgkit/selenium
空间分析受限 明确表示当前环境无法做细粒度空间分析,建议换 GIS 工具(如 geopandas)与更细的数据
聚类与命名受限 不能调用 OpenAI API 做 embedding、环境没有 transformers、没有 UMAP,因此"聚类后给簇命名"类任务做不了

工程启示:上述缺陷清单本质上是对"代码执行沙箱"这类产品的验收标准——状态持久化、依赖管理、网络权限边界、环境自述准确性,每一项都对应一个明确的改进方向。

八、能力清单与社区收集

原笔记收录了两个重要的社区资产,用于持续追踪能力变化:

  1. tomviner/scrape-ai(ChatGPT Code Interpret 抓取器):手动抓取并整理 ChatGPT Code Interpreter 的库列表、环境变量、完整文件路径清单,可追踪变更;未来 TODO 包括系统包列表、home 目录内容等,并已提取出 Jupyter notebook 设置相关组件(如 ace_client)以及 filesystem 目录下的文件系统摘录;
  2. SkalskiP/awesome-chatgpt-code-interpreter-experiments:社区实验清单,包含外部 Python 包安装方法等实用条目(上文 3.6 已引用)。

这类"手工抓取 + 定期对比"的做法,在官方不公开环境细节的情况下,是维护能力基线最务实的路径。

九、开源复刻与后续演进

原笔记记录了 Code Interpreter 的开源复刻生态,结合本仓库后续月度笔记,可以看到这条路线的持续演进:

项目/事件 定位 仓库佐证
approximatelabs/datadm 早期开源复刻之一 本笔记 关联文档
shroominic/codeinterpreter-api 基于 LangChain 的 Code Interpreter API 实现 同上;LangChain 官方博客亦有介绍
e2b-dev/llm-code-interpreter 面向 LLM 的代码解释器沙箱 同上
tomviner/scrape-ai(filesystem 部分) 环境文件系统抓取 同上
Open Interpreter 本地运行的开源 Code Interpreter,可离线跑大模型(如 falcon 180B) Sept 2023 notes
Open Interpreter 0.2 加入 vision 模型与 API,支持定位视觉控件 Jan 2024 notes
Bing Code Interpreter 竞品免费提供同类能力 Dec 2023 notes
ChatGPT Data Analysis 改进 官方持续迭代 Code Interpreter/Data Analysis May 2024 notes

此外,TEXT_CHAT.md 在 Plugins 一节提供了"roll your own"(自己造一个 Code Interpreter)的早期实现参考(如 ricklamers/gpt-code-ui 及其博客说明),与上表共同构成"官方能力 → 社区复刻 → 本地自建"的完整路径。

值得对照的是 Oct 2023 notes 中对同类产品(如 Yasa)的描述:通过一个 flag 开启代码执行、自动识别响应中的代码块并执行、把结果追加到块末尾——这正是 Code Interpreter 机制在第三方产品中的实现范式,可作为理解其"代码块级执行"心智模型的具体案例。

十、总结:从能力笔记到工程清单

回顾这份笔记,Code Interpreter 的价值不在于单点能力,而在于它示范了"LLM + 受限沙箱"的产品形态。对自建类似系统,可以提炼出五条可直接落地的经验:

  1. 能力基线要显式化:预装依赖、可写目录、可用文件类型都应像 requirements.txt 一样有明确清单,避免模型与用户对能力边界产生认知偏差(对应缺陷:误以为没有 folium);
  2. 无状态环境要配套自包含脚本策略:状态重置不可避免时,引导模型产出不依赖会话变量的脚本(对应 5.3 的自包含建议);
  3. import 幻觉需要护栏:NameError 频发说明依赖注入不可靠,可在执行前注入常用别名或做自动补 import;
  4. 网络边界要在提示词中讲清:无互联网是设计使然,但模型需要知道"不能联网"以避免无效尝试;
  5. 交互式确认提升任务成功率:"给选项 + 等确认"让模型在复杂分析中不跑偏,值得作为 Agent 的默认行为模式。

如需继续深挖,建议按此顺序查阅仓库原文:能力主文档 → OpenAI 发布节奏 → ChatGPT 生态笔记 → Open Interpreter 演进记录。

登录后查看全文
ai-notes