ModelTrace 是什么?主动模型归因工具完整指南:3 条挑战看清 GPT 与 Claude
ModelTrace 是什么?主动模型归因工具完整指南:3 条挑战看清 GPT 与 Claude
ModelTrace 是一个在本地运行的主动模型归因工具:它通过 3 条独立的长整数生成挑战提取输出指纹,在统一候选库中自动判断你面对的是 GPT 还是 Claude,甚至进一步定位到具体版本。这篇完整指南带你从零理解它的原理、跑起页面、完成手动与 API 自动测试,并看懂每一份归因结果。
🧭 一句话理解主动模型归因
很多工具只能被动地"听"模型说话,而 ModelTrace 属于主动探测:它主动向待测模型发出精心设计的问题,再根据模型的回答反推"它到底是哪一款模型"。
它的核心思路很巧妙——让模型凭第一反应逐个选择 1~355 之间的整数,生成一长串看起来杂乱、实则藏着"个性"的数字。不同模型在"随机"选择时,会流露出各自独特的统计偏好,ModelTrace 就抓住这些偏好看清它。
📌 当前自带的统一候选库共收录 2 个家族、13 个模型:
gpt-5.4 / gpt-5.5 / gpt-5.6-luna / gpt-5.6-terra / gpt-5.6-sol / gpt-6-astra
claude-haiku-4-5 / claude-sonnet-4-6 / claude-sonnet-5
claude-opus-4-6 / claude-opus-4-7 / claude-opus-4-8 / claude-opus-5
结果是在"候选库内、均匀先验"下给出的闭集概率,用来判断"最像库里哪一个"。
🔍 为什么是"3 条整数挑战"
理解原理,先记住两句话:数字有偏好、特征可比对。
- 数字有偏好:即使模型被告知"不要用工具、不要找规律、逐个凭第一反应选",它在选数时仍会留下分布特征与顺序特征,这些特征在不同模型间存在可区分的差异。
- 特征可比对:每条挑战会要求模型输出约 292~332 个整数,程序解析出最长连续数字序列后,将其与候选库中各模型的中心指纹比对。
它融合两类特征(详见 fingerprint.py):
0.75 × 去除环境方向后的 Hellinger 模型中心相似度
+ 0.25 × 有序块数字序列特征
3 条挑战独立生成、分别评分、再取平均,最后通过一次全局 softmax 得到具体模型概率,模型家族概率则是该家族下各模型概率之和。用 3 份回答而不是 1 份,是为了让归因更稳、概率更可信。
🚀 三步跑起 ModelTrace:安装、启动、打开页面
整个过程只需一个 Python 环境,全程在本地完成。
第 1 步:获取项目源码
git clone https://gitcode.com/gh_mirrors/mo/ModelTrace
第 2 步:安装依赖并启动
cd ModelTrace
python -m pip install -r requirements.txt
python start.py
依赖清单见 requirements.txt,启动入口为 start.py。
第 3 步:打开页面
启动后浏览器会自动打开 http://127.0.0.1:7860/。页面由 app.py 提供接口,界面模板在 templates/index.html。
💡 仓库里还有一个不依赖后端的手动版本 static/index.html,归因计算与指纹库读取全部在浏览器本地完成,适合快速体验。
✍️ 手动测试流程:3 条挑战逐个粘出结果
这是最直观的方式,适合"手上就有一个想测的模型"的场景。
- 在页面点击获取三条挑战,程序会生成三段要求不同、数量各异的整数选择任务。
- 把三条挑战分别发送给同一个待测模型,等它各自完整回答。
- 将每次的完整输出原样粘贴回页面。
- 点击分析,页面给出模型家族预测与具体版本概率。
⚠️ 关键提示:
- 一定要是完整回答。程序对每条输出设了有效数字下限(至少 80 个,且达到期望数量的一定比例),拒答或严重截断的回答不会计入。
- 三条挑战尽量发给同一个模型,否则归因会被"混合"结果稀释。
⚡ API 自动测试:填写连接信息一键归因
如果你能直接调用接口,就不用手动复制粘贴了。
- 填写 Base URL、API Key、模型名。
- 点击自动测试,程序会以"拿到三份有效回答"为目标,自动完成归因。
- 它会自动尝试 OpenAI Chat Completions 与 Anthropic Messages 两种格式,无需你手动切换(逻辑见 enrollment.py)。
🔒 安全说明:API Key 只用于当前页面发起请求,不会写入磁盘,可放心使用。
📚 指纹库管理:为现有库添加你的模型
ModelTrace 的判断范围由"候选库"决定,你既能用、也能扩。
- 新建指纹库:从零创建自己的候选集合。
- 为现有库添加模型:通过 API 采集并入库新的模型指纹。
库的构建与概率校准由 bank_builder.py 负责,自动建库挑战定义在 challenge_suite.py。运行中的统一全局库由 rebuild_unified_bank.py 重建,最终落在 data/unified_bank.json。
📂 相关数据文件:
- 统一全局库:data/unified_bank.json
- GPT 家族库:data/gpt_bank.json
- Claude 家族库:data/claude_bank.json
拟合后的库只保存统计指纹与校准参数,不保存原始回答内容,隐私友好。
📊 看懂归因结果:概率、家族与校准温度
分析完成后,你会看到三个层次的信息:
- 模型家族预测:GPT 还是 Claude,以及各自的概率(家族概率 = 家族内各模型概率之和)。
- 具体模型概率:在全部 13 个候选中,按概率从高到低排列,第一名即预测版本。
- 校准与可信度:程序会按"有效回答数量"选择对应的校准温度(beta),并把得分转换为概率。用越多份有效回答,交叉验证准确率通常越高——3 份回答时校准效果最佳。
这些计算都在 fingerprint.py 的 analyze_global_outputs 中完成,结果会同时给出每条回答是否被采纳的诊断信息,方便你判断"为什么某次没算进去"。
🛡️ 进阶:ModelTrace Guard 任务内监测插件
如果你常年在 Codex 里跑任务,还想持续盯着"当前用的是不是我以为的模型",可以装上配套的 ModelTrace Guard 插件。
它的思路:
- 按工具调用次数在后台触发检测,无需人工逐次操作。
- 从原任务的冻结快照fork 出临时分支做普通检测与异常复测,测完自动清理临时分支。
- 正常结果静默保存,不打扰主任务;一旦首次结果不一致,会要求智能体告知并暂停,若额外复测仍全部不一致,则停止原任务并拦截后续受支持的工作工具。
- 配有网页仪表盘,提供完整历史分页与实时提醒。
正常场景下,页面刷新不消耗模型额度;探针由 Codex 自身生成并消耗对应推理额度。安装、配置与结果解释详见插件说明 codex-plugin/modeltrace-guard/README.md。
⚠️ 结果解读与注意事项
把 ModelTrace 当"参考尺",而不是"判决书"。
- 仅供参考:测试结果并非判断模型的决定性证据,建议结合其他信息综合判断。
- 闭集判断:它只针对"指纹库内"的模型尽量去判断。若待测模型不在库中,可能得到任何结果,此时概率只表示"最像库里谁"。
- 环境敏感:已知系统提示词会显著影响模型偏好。在 Claude Code 等环境里测出的结果偏差较大,建议避免在 Claude Code 中测试。
🎯 小结
ModelTrace 用"3 条整数挑战 + 数字指纹比对"这套轻量方案,把"这到底是 GPT 还是 Claude、哪个版本"这件事,变成了本地即可完成的主动探测。手动粘贴适合快速体验,API 自动测试适合批量验证,Guard 插件则适合长期任务监测。装好、跑起、粘出三份回答,你就能看到一张清晰而可信的概率图。