8.8B小模型数学考98分,常识题却集体翻车:这种"偏科生"到底算不算成功?
8.8B小模型数学考98分,常识题却集体翻车:这种"偏科生"到底算不算成功?
最近AI圈被一张成绩单刷屏了。
榜单上,一个只有88亿参数的"小个子"模型,数学竞赛题分数压过了体量是自己3.5倍的谷歌Gemma 4 31B;代码题分数甩开同级别的通义Qwen3.5-9B整整16分;连"听指令办事"的能力都比Claude Opus 4.8高出12分。
但翻到下一栏,画风突变:专业知识问答、百科常识、硬核科学题,它几乎全线落后,有的项目差了十几二十分。
一边是"学霸",一边是"学渣",同一个模型身上同时出现。这就是webAI刚开源的TwIL-8B。
于是争论来了:这种严重偏科的小模型,到底算不算一次成功?
一、它到底是个啥?一句话:理科重点班里的尖子生
先别管那些参数和缩写。你可以这样理解TwIL-8B:
它不是一本"什么都查得到的百科全书",而是一个被关在教室里刷了几个月竞赛题的理科尖子生。
底子是IBM的Granite 4.2(一个8B级别的通用模型),webAI拿过来之后,做了一件很"偏执"的事:只喂数学题、编程题、以及"严格按复杂要求办事"的训练数据,再用强化学习反复打磨解题套路。
打个比方,就像把一个本来各科都及格的学生,送进理科竞赛班集训半年。出来之后,数学物理突飞猛进,但你要问他"宋朝第三个皇帝是谁",他可能真的会愣住。
官方自己也没藏着,在模型说明里写得很直白:"它不是一个知识模型。"
这句话很关键,几乎解释了后面所有的争议。
二、成绩单到底多能打?三个长板真的亮
第一个长板:数学,几乎顶到天花板。
MATH-500这项高难度数学测试,TwIL-8B拿到98.2分,同场对比里最高。Qwen3.5-9B是96.6,Gemma 4 31B只有87.9。
AIME 2025(美国数学邀请赛)它拿88.3,比Gemma 4 31B的87.1还高一点。
这意味着什么?一个能塞进普通笔记本的小模型,在做高考压轴题、竞赛题这件事上,已经不输那些要几张专业显卡才能跑动的大块头。
第二个长板:写代码,反超"大胖子"。
LiveCodeBench这项考察真实编程能力的测试里,TwIL-8B拿到81.6,比Gemma 4 31B的80.0略高,比Qwen3.5-9B的65.6高出16分。
通俗点说:让它写一段能跑通的代码、修一个逻辑错误,它的表现已经摸到了GPT-5.5、Claude Opus 4.8这些顶级模型92%到93%的水平——注意,那些模型背后的算力成本,是它的几十上百倍。
第三个长板:听话,能严格照做。
这点很多人忽略,但特别实用。你让它"用三段话、每段不超过20字、最后一句必须是问句",小模型经常说着说着就跑偏了。
TwIL-8B在IFBench这项"抠指令细节"的测试里拿74.4分,比Qwen3.5-9B高近10分,甚至比Claude Opus 4.8高12.2分,离GPT-5.5只差1.5分。
对普通人来说,"听话"比"聪明"更值钱——你让它整理表格格式、按模板改写文案,它不会自作主张。
三、那短板有多短?相当于语文考试交了白卷
翻到知识类那一栏,确实有点扎心。
GPQA Diamond(研究生级别科学问答)它拿70.2,Qwen3.5-9B是81.7,Gemma 4 31B是84.3。MMLU-Pro(综合学科知识)76.5,对手分别是82.5和85.2。最惨的是HLE这种"人类最后的考试"级难题,它只有12.6分,对手19.5。
这就像一个数学满分的学生,被问"珠穆朗玛峰多高""某个历史事件发生在哪一年",回答得含糊其辞。
原因其实很朴素:知识靠"装",推理靠"练"。
模型记住多少常识,很大程度上跟它的"脑容量"(参数量)挂钩,装得越多越贵。而解题思路、代码逻辑、按指令办事,是可以靠反复练习"练"出来的。
TwIL-8B把有限的脑容量和训练时间,全押在了"练"上。所以它像一个刷题刷到走火入魔的考生——解题手法极其熟练,但见闻有限。
还有一个细节挺有意思:官方说训练前做过"去污染"处理,用13个连续词的比对方式,把训练数据里跟考试原题几乎一样的题目整条剔除。白话讲,就是考前把练习册里的真题原页撕掉,防止孩子是靠背答案考高分的。
这一手,恰恰是"成绩单能信"的底气所在。
四、偏科算不算成功?关键看你用什么尺子量
说到这里,回到标题那个问题。
如果按"总分排名"来评价,TwIL-8B确实不完美:13项共同测试里,它跟Qwen3.5-9B打成7比6,平均分78.1对77.6,几乎平手。跟Gemma 4 31B比是3胜11负,总分明显落后。
但**"总分"这个尺子,本身就是给全能选手准备的**。
你不会因为一个顶级外科医生不会修车,就说他"能力不行"。也不会因为一家川菜馆做不好粤菜,就给它打一星。
AI模型正在走向同样的逻辑:从"什么都会一点的通才",分裂成"某一行特别能打的专科医生"。
TwIL-8B就是那个"数学+代码专科门诊"的医生。你带一道竞赛题、一段报错的代码去找它,它手到病除;你带一个"帮我讲讲量子纠缠的历史"过去,它可能就该请你转诊了。
所以更合理的评价方式不是"排第几",而是按场景加权:
- 你的活儿是解题、写代码、按模板批量处理内容?它的分数几乎全是加分项,短板根本碰不到;
- 你的活儿是客服问答、知识科普、行业咨询?那它的短板正好踩在你的雷区上,再便宜也别选。
不是模型不行,是尺子拿错了。
五、还有两个隐藏彩蛋,普通人也用得上
第一,它真的能在你自己的电脑上跑。
量化压缩后的版本只有约4.98GB,一台内存5GB上下的普通笔记本、或者一张入门级显卡,就能让它转起来。它还继承了12.8万字的超长上下文——差不多能一口气读完一本中篇小说再跟你讨论。
第二,它"想得更省"。
这类会"先思考再回答"的模型,有个隐性成本:思考过程也要烧算力。TwIL-8B专门做了一轮"长度感知"训练,让它在保证正确率的前提下少绕弯。
同样一道AIME题,它平均输出约1.95万个token,Qwen3.5-9B要3.12万个,省了38%。打个比方:两个司机都能到目的地,一个少绕了三分之一的路,油钱自然省下来。
官方还很贴心地给了两个版本:balanced(默认,想得短、答得快、成本低,适合日常)和verbose(想得久、更较真,适合啃硬骨头难题)。
顺便提醒一句:这个模型是非商业许可,个人研究、学习、做实验都没问题,但想拿它做付费产品,得先去谈授权。这一点很多人会踩坑。
六、给普通人的三条选型原则:别只看总分
如果你只是个想在自己电脑上玩AI的普通用户,或者一个接私活的小开发者,这份成绩单其实教了我们三件事:
第一,先想清楚"我要它干什么",再看榜单。 榜单第一名的模型,可能在你最在意的那一栏是倒数。
第二,看"答错的代价"。 写代码答错了,编译器会立刻报错,你能改;做知识问答答错了,你可能被误导而不自知。越是"错了看不出来"的场景,越要选知识扎实的大模型。
第三,看你的机器。 一个跑不动的"全能冠军",价值等于零。能在你手上这台电脑流畅跑起来的专科高手,才是真能用。
写在最后
TwIL-8B的出现,其实透露了一个更大的信号:AI不再只比"谁更全能",而是开始比"谁在自己那口井里挖得更深"。
一个88亿参数的小模型,能在一半的项目上跟三倍体量的巨头掰手腕,这本身就是开源社区最迷人的地方——算力不是唯一的门票,专注也可以是。
那么问题来了:如果让你选一个AI助手,你更愿意要一个"门门70分的全科生",还是一个"数学代码95分、常识问答50分"的偏科天才?
评论区聊聊你的选择和理由。