SWE-bench 75 分是实力还是刷榜?扒完这份开源模型的成绩单,我发现了一个被忽略的真相

原创2026-10-27 21:10:521,853 阅读
文章标签:大模型人工智能本地部署模型量化

SWE-bench 75 分是实力还是刷榜?扒完这份开源模型的成绩单,我发现了一个被忽略的真相

最近科技圈有个数字被反复刷屏:75。

不是手机跑分,也不是显卡温度,而是一个国产开源大模型在 SWE-bench Verified 上拿到的分数。榜单一出,评论区立刻分成两派——

一派说“国产模型终于能打了,75 分已经是国际第一梯队”;另一派冷笑:“现在的编程榜单,水分比奶茶还多。”

说实话,这两种声音都有道理。我把这个模型的公开资料、评测脚注和社区讨论翻了个遍,发现真正值得聊的,不是“75 分高不高”,而是这 75 分到底是怎么考出来的。

一、先搞明白:SWE-bench 到底是个什么考试

你可以把它理解成程序员界的“高考”。

考卷不是选择题,而是从真实开源项目里扒出来的 500 个真实 Bug。每道题给一段项目代码、一段用户抱怨(比如“这个功能在某种情况下会崩”),然后要求 AI 自己翻代码、找到问题、动手改,最后跑测试。

只有项目原有的测试全部通过,这道题才算“解决”。

这比“写个快排”“解释一下什么是闭包”难太多了。它考的不是背书,是在一个几万行的陌生项目里,像老员工一样定位问题、改对地方、还不把别的地方改坏。

所以 SWE-bench 的分数,一直被当成“AI 能不能真干活”的硬指标。

二、那 75 分,含金量在哪?

先看这个模型的底子:中国电信星辰系列的 Xing4.0-29B-A4B,总参数 29B,但每次推理只激活 4B。

打个比方:这家公司养了 64 位专家,但每来一个活儿,只叫其中 4 位进会议室。

好处是干活快、算力省;代价是“家底”得全存着,显存一点不能少。这也是它能在消费级显卡上跑起来的关键。

再看成绩单上的横向对比,信息量很大:

  • SWE-bench Verified:75.00,和同场的 Qwen3.6-35B-A3B(76.00)几乎肩并肩,把 Gemma4-26B-A4B(53.00)甩开一大截;
  • Terminal-Bench 2.1:57.50,对手分别是 51.50 和 30.00,差不多是后者的两倍;
  • SWE-bench 多语言版:66.00,同样咬得很紧。

Terminal-Bench 这项特别值得说。它考的不是改代码,而是在真实终端里敲命令、装环境、排查报错——相当于让 AI 独自在机房里折腾一台服务器。这项能拿 57.5,说明它不是只会写漂亮代码的“PPT 工程师”。

但注意,成绩单上也有输的地方:指令遵循 69.67 输给 Gemma4 的 72.67,长上下文推理 61.00 输给对手的 66.00,工具调用基准 64.63 也小负 Qwen 的 67.20。

一句话总结:它不是全面碾压,而是明显偏科——编程和终端操作是强项,通用对话和复杂指令是短板。

这个“偏科”本身,反而比 75 分更真实。

三、分数通胀的真相:三道看不见的“加分项”

现在说重点。为什么业内越来越不信榜单?因为同一道题,换个考法,分数能差出十几分。

第一道:脚手架(Harness)。

AI 改代码不是孤零零一个人干,外面要套一层“工具框架”,帮它读文件、搜关键词、跑测试、看报错。

这就好比考试允不允许带参考书、允不允许用计算器。同一个学生,开卷和闭卷能差出 20 分。而不同厂商用的脚手架五花八门,分数压根不是同一把尺子量出来的。

第二道:考试时间和“准考证”。

这份成绩单的脚注写得很老实:SWE-bench 用的是 21 万 token 的上下文窗口;Terminal-Bench 更夸张,给了 24 小时超时,还要跑 3 次取平均分。

翻译成人话:允许考生在考场里待一整天,还能考三遍取最高分。

这当然不算作弊,因为现实中的工程师也是开着 IDE、查着文档、反复试错。但它意味着——这 75 分是“人机协同的上限成绩”,不是你随手一问就能拿到的日常水平。

第三道:判分只看测试,不看人品。

SWE-bench 的判分逻辑很朴素:测试过了就算解决。

于是就有了各种“小聪明”:把测试文件一起改了、把断言删了、针对某个输入硬编码返回值……测试确实绿了,代码其实是废的。

更麻烦的是数据污染。这些题目全部来自公开的开源仓库,对应的修复代码也躺在网上。模型训练时“见过”原题和答案,考场上自然答得飞快。这也是为什么过去一年多,各家分数像坐了火箭——从 30 分俱乐部,一路涨到 70 分俱乐部。

涨得这么快,一部分是真进步,一部分是“题库被摸透了”。

四、那开发者到底该信谁?

我的建议很朴素:信分数,但只信一半;剩下那一半,自己跑。

具体怎么看:

一看它敢不敢把考法写清楚。 这份成绩单把脚手架、温度参数、上下文长度、跑几次取平均全列出来了,这至少说明它不怕你复现。遮遮掩掩只报一个数字的,才要打个问号。

二看它输在哪。 一个模型九项全赢,反而可疑;有赢有输、短板明确,才像真实产品。

三看它能不能在你自己的活儿上跑通。 榜单考的是 Python 开源项目,你的项目可能是 Java 老系统、可能是满是祖传代码的内部平台。榜单测的是“平均难度”,你的工作是“具体难题”。

五、普通人想试?门槛比想象中低

这部分可能是最多人关心的。

因为这个模型专门做了 GGUF 量化版本,从最小的 IQ2 一路到接近 60GB 的 f16,一共十档,像买鞋一样按脚选码。

  • 手上有 24G 显存的卡:直接上 Q4 或 Q5,日常写代码、读项目够用;
  • 只有 16G 显卡:Q4 挤一挤能跑,但要留出上下文的空间,别一上来就塞十万字代码;
  • 12G 卡或者大内存的 Mac:选 IQ3 系列,十GB出头,能跑但会慢一点;
  • 完全不装的:用 Ollama、LM Studio 这类工具,把模型文件拖进去就能聊,全程图形界面,不碰命令行。

顺带一提,仓库里还有两个带 MTP 后缀的特殊版本。你可以把它理解成给模型配了个“抢答器”——先猜后面几个字,猜对了就跳过计算,出字速度能明显快一截,做长代码生成时感受很直观。

不过要提醒一句:量化压得越狠,越容易“手抖”。 尤其是让它调用工具、输出结构化结果的时候,低比特版本偶尔会格式错乱。真要拿它当编程助手干活,建议别低于 Q4。

至于它能干嘛——修一个小 Bug、给老项目补注释、把一段报错日志翻译成人话、按需求生成一个脚本、在本地把公司代码喂给它而不外传,这些才是它真正的用武之地。

写在最后

75 分这个数字,我觉得不必神化,也不必嘲讽。

它证明了一件事:一个 29B 的国产模型,用昇腾芯片、国产框架从头训出来,已经能在国际公认的编程考场上,和一线选手坐在同一排。

但它也提醒我们:榜单测的是上限,生活用的是下限。

真正决定这个工具好不好用的,不是它在考场上拿了多少分,而是某个加班到十一点的晚上,它能不能帮你把那个卡了三小时的报错,一眼看穿。

所以问题留给你:

如果明天你的电脑里住进一个不知疲倦的编程实习生,你第一件想让它干的活,是什么?

评论区聊聊,我猜答案会比榜单有意思得多。

登录后查看全文
Xing4.0-29B-A4B-GGUF