SWE-bench 75 分是实力还是刷榜?扒完这份开源模型的成绩单,我发现了一个被忽略的真相
SWE-bench 75 分是实力还是刷榜?扒完这份开源模型的成绩单,我发现了一个被忽略的真相
最近科技圈有个数字被反复刷屏:75。
不是手机跑分,也不是显卡温度,而是一个国产开源大模型在 SWE-bench Verified 上拿到的分数。榜单一出,评论区立刻分成两派——
一派说“国产模型终于能打了,75 分已经是国际第一梯队”;另一派冷笑:“现在的编程榜单,水分比奶茶还多。”
说实话,这两种声音都有道理。我把这个模型的公开资料、评测脚注和社区讨论翻了个遍,发现真正值得聊的,不是“75 分高不高”,而是这 75 分到底是怎么考出来的。
一、先搞明白:SWE-bench 到底是个什么考试
你可以把它理解成程序员界的“高考”。
考卷不是选择题,而是从真实开源项目里扒出来的 500 个真实 Bug。每道题给一段项目代码、一段用户抱怨(比如“这个功能在某种情况下会崩”),然后要求 AI 自己翻代码、找到问题、动手改,最后跑测试。
只有项目原有的测试全部通过,这道题才算“解决”。
这比“写个快排”“解释一下什么是闭包”难太多了。它考的不是背书,是在一个几万行的陌生项目里,像老员工一样定位问题、改对地方、还不把别的地方改坏。
所以 SWE-bench 的分数,一直被当成“AI 能不能真干活”的硬指标。
二、那 75 分,含金量在哪?
先看这个模型的底子:中国电信星辰系列的 Xing4.0-29B-A4B,总参数 29B,但每次推理只激活 4B。
打个比方:这家公司养了 64 位专家,但每来一个活儿,只叫其中 4 位进会议室。
好处是干活快、算力省;代价是“家底”得全存着,显存一点不能少。这也是它能在消费级显卡上跑起来的关键。
再看成绩单上的横向对比,信息量很大:
- SWE-bench Verified:75.00,和同场的 Qwen3.6-35B-A3B(76.00)几乎肩并肩,把 Gemma4-26B-A4B(53.00)甩开一大截;
- Terminal-Bench 2.1:57.50,对手分别是 51.50 和 30.00,差不多是后者的两倍;
- SWE-bench 多语言版:66.00,同样咬得很紧。
Terminal-Bench 这项特别值得说。它考的不是改代码,而是在真实终端里敲命令、装环境、排查报错——相当于让 AI 独自在机房里折腾一台服务器。这项能拿 57.5,说明它不是只会写漂亮代码的“PPT 工程师”。
但注意,成绩单上也有输的地方:指令遵循 69.67 输给 Gemma4 的 72.67,长上下文推理 61.00 输给对手的 66.00,工具调用基准 64.63 也小负 Qwen 的 67.20。
一句话总结:它不是全面碾压,而是明显偏科——编程和终端操作是强项,通用对话和复杂指令是短板。
这个“偏科”本身,反而比 75 分更真实。
三、分数通胀的真相:三道看不见的“加分项”
现在说重点。为什么业内越来越不信榜单?因为同一道题,换个考法,分数能差出十几分。
第一道:脚手架(Harness)。
AI 改代码不是孤零零一个人干,外面要套一层“工具框架”,帮它读文件、搜关键词、跑测试、看报错。
这就好比考试允不允许带参考书、允不允许用计算器。同一个学生,开卷和闭卷能差出 20 分。而不同厂商用的脚手架五花八门,分数压根不是同一把尺子量出来的。
第二道:考试时间和“准考证”。
这份成绩单的脚注写得很老实:SWE-bench 用的是 21 万 token 的上下文窗口;Terminal-Bench 更夸张,给了 24 小时超时,还要跑 3 次取平均分。
翻译成人话:允许考生在考场里待一整天,还能考三遍取最高分。
这当然不算作弊,因为现实中的工程师也是开着 IDE、查着文档、反复试错。但它意味着——这 75 分是“人机协同的上限成绩”,不是你随手一问就能拿到的日常水平。
第三道:判分只看测试,不看人品。
SWE-bench 的判分逻辑很朴素:测试过了就算解决。
于是就有了各种“小聪明”:把测试文件一起改了、把断言删了、针对某个输入硬编码返回值……测试确实绿了,代码其实是废的。
更麻烦的是数据污染。这些题目全部来自公开的开源仓库,对应的修复代码也躺在网上。模型训练时“见过”原题和答案,考场上自然答得飞快。这也是为什么过去一年多,各家分数像坐了火箭——从 30 分俱乐部,一路涨到 70 分俱乐部。
涨得这么快,一部分是真进步,一部分是“题库被摸透了”。
四、那开发者到底该信谁?
我的建议很朴素:信分数,但只信一半;剩下那一半,自己跑。
具体怎么看:
一看它敢不敢把考法写清楚。 这份成绩单把脚手架、温度参数、上下文长度、跑几次取平均全列出来了,这至少说明它不怕你复现。遮遮掩掩只报一个数字的,才要打个问号。
二看它输在哪。 一个模型九项全赢,反而可疑;有赢有输、短板明确,才像真实产品。
三看它能不能在你自己的活儿上跑通。 榜单考的是 Python 开源项目,你的项目可能是 Java 老系统、可能是满是祖传代码的内部平台。榜单测的是“平均难度”,你的工作是“具体难题”。
五、普通人想试?门槛比想象中低
这部分可能是最多人关心的。
因为这个模型专门做了 GGUF 量化版本,从最小的 IQ2 一路到接近 60GB 的 f16,一共十档,像买鞋一样按脚选码。
- 手上有 24G 显存的卡:直接上 Q4 或 Q5,日常写代码、读项目够用;
- 只有 16G 显卡:Q4 挤一挤能跑,但要留出上下文的空间,别一上来就塞十万字代码;
- 12G 卡或者大内存的 Mac:选 IQ3 系列,十GB出头,能跑但会慢一点;
- 完全不装的:用 Ollama、LM Studio 这类工具,把模型文件拖进去就能聊,全程图形界面,不碰命令行。
顺带一提,仓库里还有两个带 MTP 后缀的特殊版本。你可以把它理解成给模型配了个“抢答器”——先猜后面几个字,猜对了就跳过计算,出字速度能明显快一截,做长代码生成时感受很直观。
不过要提醒一句:量化压得越狠,越容易“手抖”。 尤其是让它调用工具、输出结构化结果的时候,低比特版本偶尔会格式错乱。真要拿它当编程助手干活,建议别低于 Q4。
至于它能干嘛——修一个小 Bug、给老项目补注释、把一段报错日志翻译成人话、按需求生成一个脚本、在本地把公司代码喂给它而不外传,这些才是它真正的用武之地。
写在最后
75 分这个数字,我觉得不必神化,也不必嘲讽。
它证明了一件事:一个 29B 的国产模型,用昇腾芯片、国产框架从头训出来,已经能在国际公认的编程考场上,和一线选手坐在同一排。
但它也提醒我们:榜单测的是上限,生活用的是下限。
真正决定这个工具好不好用的,不是它在考场上拿了多少分,而是某个加班到十一点的晚上,它能不能帮你把那个卡了三小时的报错,一眼看穿。
所以问题留给你:
如果明天你的电脑里住进一个不知疲倦的编程实习生,你第一件想让它干的活,是什么?
评论区聊聊,我猜答案会比榜单有意思得多。