AI考了98分,是天才还是背过答案?这套"13-gram查重法"把作弊查了个底朝天

原创2026-11-11 14:21:501,762 阅读
文章标签:人工智能大模型推理模型强化学习本地部署模型评测

AI考了98分,是天才还是背过答案?这套"13-gram查重法"把作弊查了个底朝天

孩子考了满分,家长第一反应往往是:这套卷子他是不是提前做过?

现在这句话,轮到问AI了。

前不久,AI实验室 webAI 开源了一个只有88亿参数的小模型 TwIL-8B。它的数学成绩单相当扎眼:MATH-500 拿到 98.2 分,比参数多出三倍多的谷歌 Gemma 4 31B 还高;代码能力 LiveCodeBench 拿到 81.6 分,也是同组第一。

消息一出,评论区最常见的三个字是:背题吧?

这话不算冤枉人。大模型训练要"吃"海量网上文本,而 AIME、HMMT 这些竞赛题和标准答案,早就在论坛、题解站、GitHub 上传了好多年。模型在训练时如果正好"读过"这些题,考试时等于开卷——分数漂亮,真让它解一道没见过的新题,立刻原形毕露。

所以真正值得看的,不是 98.2 这个分数,而是它后面那套"自证清白"的流程。这套流程,其实任何做AI评测的团队都能抄作业。

一、先说清楚:什么叫"数据污染"

打个比方。

假设一个学生要参加数学竞赛,老师给他发了十万套练习卷。结果这套练习卷里,不小心夹进去了三张正式比赛的真题和答案。

学生考了满分,你说他是天才,还是运气好?

AI 面临的局面一模一样。训练数据是从整个互联网上扒下来的,谁也说不清哪一页里就躺着某道评测题。这种"考题混进了复习资料"的情况,行业里叫数据污染。

污染有多常见?常见到很多模型的高分里,都掺着这种水分。更麻烦的是,它不写在脸上——你只看到一个 98 分,看不到这 98 分里有多少是"见过"。

二、13-gram 到底是什么?就是给每道题做"指纹"

先说 gram。你可以把 AI 眼里的文字想成一串"积木块":一个词是一块,半个长词也可能是一块,这玩意儿叫 token。

13-gram,就是连续 13 块积木拼成的一小段。

TwIL-8B 团队干的事,说白了就是拿一个"13 块积木的滑动窗口",从训练数据的开头一路滑到结尾,每滑一次就取出一小段,去跟评测题库里的每一小段做比对。

只要有一小段一模一样地对上了,对不起,这条训练样本整条作废。

这就像查重软件:不是看两篇文章意思像不像,而是看有没有一段连续的文字完全重合。凑巧撞上几个字很正常,但连续 13 个"积木块"一字不差地撞上,基本只有一个解释——你看的就是同一道题。

为什么不选 5 个、也不选 30 个?

这里就是最见功力的"阈值取舍"。

窗口太短,比如只比 5 块积木,"求函数的最小值"这种套话在数学题里满地都是,一查一大片,正常的训练数据被误杀,模型还没开始学就先饿瘦了。

窗口太长,比如 30 块,题目只要改了标点、换个措辞、调一下语序,就查不出来了,作弊的照样溜过去。

13 这个数字,是"不冤枉好人"和"不放过坏人"之间的一个折中。它足够长,长到只有原题才会一字不差地出现;又足够短,短到改写几个字依然能被逮住。

而判定规则更狠:命中即整条剔除。不是把那一小段剪掉接着用,而是整条样本直接扔掉。宁可少一份数据,也不留一丝"我可能背过"的嫌疑。

代价当然有——训练数据会变少。但在这个问题上,团队选择了"宁可错杀"。

三、三个池子,分头清洗

更细的地方在于,他们不是拿一锅乱炖的数据统一过筛,而是按用途分成几个池子,各自对上各自的"考场"。

数学池,对的是 AIME(2025、2026 以及更早年份)、HMMT 2025年2月和2026年2月、MATH-500 这几套题。这几套是它数学分数的主要来源,必须查得最干净。

STEM 与知识池,对的是 GPQA Diamond、MMLU-Pro、HLE。有意思的是,这几项恰恰是它成绩最差的地方——GPQA Diamond 只有 70.2 分,比 Qwen3.5-9B 低了 11.5 分。换句话说,它在自己不擅长的科目上,也没有偷偷背答案来撑门面。

指令跟随池,对的是 IFEval 和 IFBench。"指令跟随"听着玄,其实就是"让它干啥它就干啥"的能力,比如"用三句话回答,每句不超过15个字"。这类题目最容易在网上流传,也最容易被模型顺手记住。

顺便说一句,代码能力对应的 LiveCodeBench 也在清洗名单里。

TwIL-8B 与 Qwen3.5-9B、Gemma 4 12B、Gemma 4 31B 的成绩对比

四、最能加分的一点:它主动交代了"哪里没洗干净"

如果这篇文章只夸它严谨,那也就一般。

真正让人信服的,是它在说明里老老实实写了几个"没做到"的地方:

HMMT 2025年11月这套题,没有进入去污染的比对名单;HumanEval、MBPP、CRUXEval 这几套代码题也没有;更关键的是——代码训练数据到底有没有做过去污染,没有记录。

这句话翻译成人话就是:数学和指令跟随的分数,我敢拍胸脯;代码那部分,你自己留个心眼。

敢把短板摊在桌面上,比一味喊"我们第一"要可信得多。

五、把去污染做成"三步自查",任何模型都能用

这套方法最值钱的地方,是它可以脱离 TwIL-8B,变成一把人人都能用的尺子。总结下来就三步:

第一步,先对清单。 把训练数据用到的来源,和评测题库的来源,摆在一起看。这一步不需要任何技术,纯靠诚实。很多团队栽就栽在"不敢对"。

第二步,做指纹查重。 用连续 13 个 token 的窗口去滑、去比,命中就整条剔除。同时把"剔掉了多少条、占多大比例"记录下来。这个比例本身就是个信号:如果一查发现训练集里有百分之几跟考题重合,那之前的分数就得重新看了。

第三步,清完之后再考一遍,看掉了多少分。

这一步是整个流程的灵魂。

分数几乎没掉,说明是真会;分数哗啦啦掉一大截,说明以前那个高分确实是背出来的。

TwIL-8B 清完之后,MATH-500 依然是 98.2,AIME 2025 是 88.3。这两个数字没塌,才是它真正的底气。

还有两个旁证值得一提。

一是新题表现。AIME 2026 是更新的一套题,它拿到 88.3 分,说明能力不是只对旧题有效。当然也要实话实说:这一项它比 Qwen3.5-9B 低了 4.2 分,并不是全面碾压。

二是答题成本。解一道 AIME 2026,它平均输出约 1.95 万个 token,而 Qwen3.5-9B 要 3.12 万个,少了 38%,准确率只差 4 分左右。这从侧面说明,它不是靠"把所有可能都试一遍"硬堆出来的分数。

六、这事跟不看代码的普通人,有什么关系?

关系比你想的大。

你今天在手机里用的AI助手、公司采购的AI服务、朋友圈刷到的"某某模型排行榜第一",背后靠的都是这类评测分数。

而分数是可以被"污染"美化的。一个模型在榜上领先,可能只是它训练时多啃了几口题库。

所以以后再看到"某模型数学吊打GPT"的新闻,你完全可以多问一句:去过污染吗?怎么去的?清完之后分数掉了多少?

这三个问题,比榜单上的排名有用得多。

至于 TwIL-8B 本身,它也不是全能选手。它更像一个"偏科的理科尖子":数学、代码、听指令是长板,知识面却是短板,官方自己也承认"它不是知识模型"。好处是它够小——量化之后只有 4.98 GiB,一台普通笔记本就能在本地跑起来,不用联网、不用按次付费。

写在最后

AI 圈有句老话:** benchmarks 是可以被"卷"出来的,但真实世界不会按题库出题。**

13-gram 去污染这套方法,说白了就是给行业立了个规矩:想拿高分可以,但请先证明你没偷看答案。

它未必完美——13 个 token 也可能误伤,也可能漏网,代码部分甚至没有完整记录。但它至少把"自证清白"这件事,从一句口号变成了可执行的三步。

最后留个问题给大家:

如果一个AI考试前偷偷做完了原题,考了满分,这个分数你认还是不认?

评论区聊聊,你更看重模型的"考试分数",还是它面对一道全新题目时的表现。

登录后查看全文
TwIL-8B