ChatGPT Code Interpreter 能力全景笔记:已确认能力、已知缺陷与开源复刻路线(ai-notes 视角)
ChatGPT Code Interpreter 能力全景笔记:已确认能力、已知缺陷与开源复刻路线(ai-notes 视角)
本篇技术指南以 Resources/ChatGPT Code Interpreter Capabilities.md 为核心骨架,系统梳理 ChatGPT Code Interpreter(现称 Advanced Data Analysis)从 2023 年 3 月插件预览到 7 月 GA 的能力全貌:包括时间线、系统提示词、启动时已确认的文件处理与数据分析能力、模型协作行为、沙箱环境特性、明确短板,以及围绕它的能力清单与开源复刻生态。读完本文,你将获得一份可检索、可引用的能力基线清单,并能在自建代码解释器(Code Interpreter)类 Agent 时,直接对照验证"能做/不能做/怎么做"三大问题。
一、背景与时间线:从插件预览到 GA
Code Interpreter 的演进在笔记中有一条清晰的时间线,它是理解后续所有能力的起点:
| 时间 | 事件 | 说明 |
|---|---|---|
| 2023-03-23 | ChatGPT Plugins 预览发布 | Code Interpreter 最初以插件形式亮相,官方博客宣布插件生态 |
| 2023-03 前后 | 首个公开演示 | 社区成员 gdb 演示了模型编写并执行 MoviePy 代码,底层依赖 ffmpeg |
| 2023-07-06 至 07-08 | 正式 GA(General Availability)发布 | 面向全部 ChatGPT 用户开放,见官方 ChatGPT 发布说明 |
| 2023-07-10 | Latent Space 深度文章 | 对 Code Interpreter 做了系统性评测与总结 |
仓库侧证同样指向 2023 年 7 月这一时间节点:OpenAI 笔记 在 OpenAI 2023 年发布节奏中记录 "july - code interpreter",并将其与 June - functions、aug - finetuning 并列,说明它是当年 OpenAI 能力矩阵(函数调用 → 代码执行 → 微调)中的关键一环。此外,Toolmaking as the next frontier 引用了 Ethan Mollick 对 Code Interpreter 解锁能力的分析,并记录其可处理 100MB 级别文件,侧面印证了它在数据分析场景的定位。
二、系统提示词与运行环境
原笔记指出 Code Interpreter 的系统提示词被社区公开(OpenAI 官方对话分享链接),同时公开了环境中的 requirements.txt 及其逐行注解版本。对工程实践而言,这条线索的意义在于:Code Interpreter 的运行环境本质上是一个受限的 Python 沙箱,其可用依赖与预装包是有明确清单的,后续所有"能做什么"都受这份清单约束。
从社区对环境的逆向提取(详见后文"能力清单与社区收集"一节)可以确认两个环境事实:
- Jupyter Notebook 内核:环境中存在与 Jupyter 设置相关的组件(如
ace_client),说明代码在 notebook 内核中以"单元"为单位执行; - 可写文件目录:执行过程中产生的文件默认写入
/mnt/data之类的工作目录(例如Image(filename='/mnt/data/flowchart_enhanced.png')),模型可读写该目录下的中间产物。
一个值得注意的机制是动态导入模块:模型在代码执行时按需 import 库,这既是灵活性来源,也是后面"依赖幻觉"(NameError: name 'pd' is not defined)问题的根源。
三、启动时已确认的能力清单(GA 基线)
以下能力在 GA 发布时即被社区逐一验证,是评估任何"代码解释器类 Agent"的基准清单。
3.1 视频与多媒体处理
- 视频操作:使用 MoviePy 编写并执行视频剪辑代码。gdb 的演示明确说明 MoviePy 底层调用 ffmpeg,因此所谓"运行时间"绝大部分是在等待 ffmpeg 执行——这比传统"查参数列表"的瓶颈是一大进步,说明模型已经能自主组合工具链。
3.2 支持的文件类型
| 类型 | 能力 |
|---|---|
.zip |
解压后继续打开、检查内部文件,支持多轮迭代处理 |
.csv |
表格数据分析(最常见的数据入口) |
.xls |
Excel 表格读取与分析 |
.png |
轻量级图片编辑与尺寸调整 |
.mov |
视频文件的读取与处理 |
.zip 是最有代表性的用例:模型会解压、遍历内部文件并逐个分析。笔记中记录了一段典型场景——由于会话状态重置导致变量丢失后,模型回复 "I apologize for the oversight. The variable unzip_folder was also lost in the reset. We'll need to extract the data from the zip file again before proceeding",即需要重新解压才能继续。
3.3 绘图、地图与可视化
- 绘制图表:可以生成 graphviz 图表(包括对代码结构作图),但笔记提示"有挑战";
- 地图绘制:可以使用 folium 生成交互式地图,并把 folium 地图渲染成图片后内联展示。
3.4 数据分析全流程
这是 Code Interpreter 的核心战场,原笔记给出了完整的工作流证据链:
- 开放性分析:直接给出原始数据并说 "Here is some data on superhero powers, look through it and tell me what you find",模型即可自主探索;
- 预测建模:"predict what powers a hero might have based on other factors"——多标签分类任务;
- 数据连接(Joins):"Could you first combine the two datasets";
- 完整性检查:"confirm that they combined properly";
- 数据清洗:"does the data need cleaning in any way?";
- 数据预处理:为聚类分析做归一化/特征工程,模型能主动规划预处理步骤;
- 分析总结:"what is your summary of all this analysis, in bullet points?"。
这一连串提示词本身就是一套可复用的"数据分析 Agent 工作流模板",从探索 → 建模 → 连接 → 校验 → 清洗 → 预处理 → 聚类 → 总结,层层递进。
3.5 交互式仪表盘与数据可视化
模型不仅能出静态图,还能交付可发布的交互产物:社区成员基于分析结果发布了交互式 Dashboard(如 Superhero 数据分析页、3D 音乐可视化页、GPT 航班地图等),即最终产出是 HTML/JS 页面,而不仅限于 notebook 内的图表。
3.6 上传自定义库与依赖
除了预装包,用户还可以上传更多库与依赖并让模型安装使用:
- 社区总结出安装外部 Python 包的可行方法(见 awesome-chatgpt-code-interpreter-experiments 的 install-external-python-packages 部分,具体以仓库内能力收集笔记为准);
- 典型案例:在沙箱内用 GGML 运行 GPT-2,证明沙箱具备执行较重计算任务的能力。
四、行为模式:模型如何与用户协作
原笔记从真实会话中提炼出三类值得借鉴的协作行为:
4.1 给出选项,暂停等待确认
面对复杂任务(如多标签分类),模型不会闷头干,而是:
- 提示任务规模("我们有大量潜在 powers 标签需要预测");
- 给出分支选择("预测所有 powers,还是聚焦特定子集?");
- 提出降维或特征选择方案;
- 列出候选模型(决策树、随机森林、神经网络)并等待用户拍板。
用户甚至可以要求 "pick which you think is best, be clear about strengths and weaknesses",让模型带论证地自行决策。这种"先方案后执行"的模式,是 Agent 产品中值得固化的交互范式。
4.2 从数据问题中恢复
模型能主动诊断数据质量问题并给出处理选项:
- 识别 NaN/infinity/超出 float32 范围等数值异常;
- 检查预处理后是否仍存在缺失值与无穷值;
- 发现异常极端值(如 975cm 身高、900kg 体重)并判断是"记录错误、未知占位符还是正常值";
- 修复逻辑误解:例如把编码后的数值误当索引取回原名导致
IndexError: index 0 is out of bounds,随后自行道歉并修正思路。
4.3 主动请求更多数据
当现有数据不足以支撑结论时,模型会主动向用户索要更多数据——这是"数据驱动 Agent"应有的克制与严谨。
五、环境特性与恢复机制
沙箱环境并非完全稳定,笔记记录了以下环境侧事实:
- 抢占/重置恢复(Preemption recovery):会话可能出现 "a disruption in the code execution environment causing a reset";
- 灾难恢复与重试(Catastrophic recovery and retry):状态丢失后模型会 "Let's start from the beginning by extracting the data from the zip file again",重新开始但保证路径正确;
- 自包含脚本策略:面对反复重置,模型主动建议 "write a self-contained script that does not rely on any variables from earlier in the session"——这是应对无状态执行环境的实战技巧,同样适用于自建 Agent;
- 内联展示图片:通过
from IPython.display import Image展示/mnt/data/下的生成图片; - 中断处理:长任务执行后可响应 KeyboardInterrupt;
- 图像处理栈:PIL 做图像编辑(如 "make the background of this image black")、OpenCV(cv2)做计算机视觉、pytesseract 做 OCR。
六、已废弃的研究预览(Research Preview)能力
subprocess.run:研究预览阶段曾被观察到可以运行子进程(据 Simon Willison 的记录),但 GA 后该能力被移除。这说明沙箱权限在正式版中做了收敛,对外部进程的控制是收紧而非放松的。
七、已知缺陷:Code Interpreter 不擅长的事
原笔记毫不避讳地记录了短板,这些是评估该技术路线成熟度的关键依据:
| 缺陷 | 表现 |
|---|---|
| 表格渲染慢 | 表格展示为纯 LLM 生成文本,速度慢;改进方向是换成组件并把代码输出灌入组件 |
| 环境重置频繁 | "the code execution state was reset" 消息频繁出现 |
| 环境恢复能力差 | 会话状态丢失后难以无缝续接 |
| 依赖幻觉 | 频繁出现 NameError: name 'df' is not defined、pd、zipfile、np、combinations、ImageDraw 未定义——模型"忘记"了 import,只能事后道歉补救 |
| 无互联网访问 | 无法从 PyPI/文档抓取包描述,"fetching data from the internet is not permitted in the current environment" |
| 无法"脑补"缺失数据 | 指令要求"guess the data you don't have"会失败,不靠 LLM 知识补全 |
| 对自身环境认知偏差 | 以为没有 folium,实际有;把 HTML 转图片也做不到,只能建议用户本地用 imgkit/selenium |
| 空间分析受限 | 明确表示当前环境无法做细粒度空间分析,建议换 GIS 工具(如 geopandas)与更细的数据 |
| 聚类与命名受限 | 不能调用 OpenAI API 做 embedding、环境没有 transformers、没有 UMAP,因此"聚类后给簇命名"类任务做不了 |
工程启示:上述缺陷清单本质上是对"代码执行沙箱"这类产品的验收标准——状态持久化、依赖管理、网络权限边界、环境自述准确性,每一项都对应一个明确的改进方向。
八、能力清单与社区收集
原笔记收录了两个重要的社区资产,用于持续追踪能力变化:
- tomviner/scrape-ai(ChatGPT Code Interpret 抓取器):手动抓取并整理 ChatGPT Code Interpreter 的库列表、环境变量、完整文件路径清单,可追踪变更;未来 TODO 包括系统包列表、home 目录内容等,并已提取出 Jupyter notebook 设置相关组件(如
ace_client)以及filesystem目录下的文件系统摘录; - SkalskiP/awesome-chatgpt-code-interpreter-experiments:社区实验清单,包含外部 Python 包安装方法等实用条目(上文 3.6 已引用)。
这类"手工抓取 + 定期对比"的做法,在官方不公开环境细节的情况下,是维护能力基线最务实的路径。
九、开源复刻与后续演进
原笔记记录了 Code Interpreter 的开源复刻生态,结合本仓库后续月度笔记,可以看到这条路线的持续演进:
| 项目/事件 | 定位 | 仓库佐证 |
|---|---|---|
| approximatelabs/datadm | 早期开源复刻之一 | 本笔记 关联文档 |
| shroominic/codeinterpreter-api | 基于 LangChain 的 Code Interpreter API 实现 | 同上;LangChain 官方博客亦有介绍 |
| e2b-dev/llm-code-interpreter | 面向 LLM 的代码解释器沙箱 | 同上 |
| tomviner/scrape-ai(filesystem 部分) | 环境文件系统抓取 | 同上 |
| Open Interpreter | 本地运行的开源 Code Interpreter,可离线跑大模型(如 falcon 180B) | Sept 2023 notes |
| Open Interpreter 0.2 | 加入 vision 模型与 API,支持定位视觉控件 | Jan 2024 notes |
| Bing Code Interpreter | 竞品免费提供同类能力 | Dec 2023 notes |
| ChatGPT Data Analysis 改进 | 官方持续迭代 Code Interpreter/Data Analysis | May 2024 notes |
此外,TEXT_CHAT.md 在 Plugins 一节提供了"roll your own"(自己造一个 Code Interpreter)的早期实现参考(如 ricklamers/gpt-code-ui 及其博客说明),与上表共同构成"官方能力 → 社区复刻 → 本地自建"的完整路径。
值得对照的是 Oct 2023 notes 中对同类产品(如 Yasa)的描述:通过一个 flag 开启代码执行、自动识别响应中的代码块并执行、把结果追加到块末尾——这正是 Code Interpreter 机制在第三方产品中的实现范式,可作为理解其"代码块级执行"心智模型的具体案例。
十、总结:从能力笔记到工程清单
回顾这份笔记,Code Interpreter 的价值不在于单点能力,而在于它示范了"LLM + 受限沙箱"的产品形态。对自建类似系统,可以提炼出五条可直接落地的经验:
- 能力基线要显式化:预装依赖、可写目录、可用文件类型都应像
requirements.txt一样有明确清单,避免模型与用户对能力边界产生认知偏差(对应缺陷:误以为没有 folium); - 无状态环境要配套自包含脚本策略:状态重置不可避免时,引导模型产出不依赖会话变量的脚本(对应 5.3 的自包含建议);
- import 幻觉需要护栏:
NameError频发说明依赖注入不可靠,可在执行前注入常用别名或做自动补 import; - 网络边界要在提示词中讲清:无互联网是设计使然,但模型需要知道"不能联网"以避免无效尝试;
- 交互式确认提升任务成功率:"给选项 + 等确认"让模型在复杂分析中不跑偏,值得作为 Agent 的默认行为模式。
如需继续深挖,建议按此顺序查阅仓库原文:能力主文档 → OpenAI 发布节奏 → ChatGPT 生态笔记 → Open Interpreter 演进记录。