28万亿字喂出的33B“老师傅”:不靠堆参数,这套AI工程化打法值得抄哪几段
28万亿字喂出的33B“老师傅”:不靠堆参数,这套AI工程化打法值得抄哪几段
最近开源圈有个模型挺有意思。
它叫 Nanbeige4.3-33B,来自BOSS直聘旗下的南北阁团队。参数不算夸张,33B,在动辄几百上千B的今天属于“中等个头”。但在“让AI自己开终端、自己改代码、自己把活干完”这类硬核测试里,它把同体重的一批选手按在了地上:终端任务拿下80.9分,对手分别是73.0、61.8、47.2。
更让人意外的是团队自己的一句话:这只是个“老师傅”,后面要拿它去教3B的小徒弟。
先造大的,再教小的。这个思路,比跑分更值得琢磨。
一、先说人话:它到底是个啥?
大多数人对AI的印象还停留在“你问一句,它答一句”。那更像一个知识渊博的实习生,嘴上什么都懂,你让他去把事办了,他摊手。
Nanbeige4.3-33B 想当的是另一种角色:能自己跑腿办事的老员工。
你把一个任务丢给它,它会自己拆步骤、自己开终端敲命令、自己翻代码仓库、自己改文件、自己跑测试验证,中间报错了还会回头改。办公场景里,它交付的不是一段漂亮话,而是一份能被检查的表格、报告或者演示文稿。
它有几个硬指标:开源可商用(Apache-2.0),上下文长度 512K——差不多一次能读进三十多万汉字,相当于一整本长篇小说的体量。
至于为什么先做33B、再去做3B,道理跟老饭馆带学徒一样:师傅得先有真功夫,徒弟才学得到东西。小模型自己瞎练,很容易练成“嘴强王者”;有大模型当教练把标准动作示范出来,小模型才知道“原来这活是这么干的”。
二、第一段值得抄:28万亿字,重点不是“多”,是“配得准”
这一系列的技术报告里提到,模型是在 28万亿(28T)个 token 上从头训练的。
28万亿是什么概念?一个人不吃不睡,一辈子也读不完零头。
但真正值得抄的不是这个数字,而是喂什么。团队明显加重了数学、代码和合成问答的比例。
打个吃货的比方:光吃白米饭也能吃饱,但长不出肌肉。数学和代码,就是这套饭里的“蛋白质”。
为什么偏爱这两样?因为它们自带标准答案。一道数学题对不对,跑一下就知道;一段代码行不行,测试一跑就出结果。AI可以自己给自己判卷,不需要人一条条盯着。合成问答则负责补覆盖——现实里很多知识太零碎、太冷门,靠人工收集根本收不全,只能让AI批量造题、批量对答案。
这里要说句实话:33B这一步的详细数据配比,官方并没有全盘公开。所以别指望照着菜谱复刻。真正能抄走的是那个思路——用“能自动判对错”的数据撑起主干,再用合成数据去补边边角角。
小模型尤其吃这套。它的“脑容量”有限,塞进去的每一条信息都得是高浓度、可复用的,掺水就是浪费。
三、第二段值得抄:把“背题库”改成“进考场”
这是我认为整套打法里最值钱的一段:Agent 数据工厂。
现在很多团队做智能体训练,做法是收集一堆“用户问、助手答、调用某某工具”的对话样本,喂进去完事。这就像让学员把驾校题库背一万遍,真上路照样腿软。
Nanbeige 的做法是搭一个“考场”。
具体跑起来是个闭环:
先搭一个能真实运行的环境,再出一道有标准答案的题,让AI自己去做,全程录下来,然后用测试判卷,只留过关的,最后把错的地方整理成下一批更难的题。
一圈转完,下一圈接着转。模型越练越强,题也跟着越来越难。
他们开了三条这样的流水线:
第一条,软件工程。 从真实的开源代码仓库里翻历史改动,把“案发现场”原样复原出来——那个bug当时是什么样、后来怎么修的,全部还原。然后还准备两套测试:一套证明“这个bug确实存在且被修好了”,另一套证明“你没把别的功能搞坏”。AI改完代码,两套测试都得过。
第二条,复杂工具。 收集了数千份真实工具说明书,看哪些工具能搭配着用,再组合成工具包。运行环境分三种混着来:真实的在线服务、本地可复现的环境、模型模拟的环境。官方也很坦白地承认,这三种各有短板——真实的不稳定,本地的覆盖不全,模拟的容易失真。
第三条,办公协作。 收集金融、贸易、法律、医疗等领域的报告、表格、PDF、邮件,让AI在沙箱里自己摸索,然后合成任务和评分标准。交付物要过一道独立评审,检查“东西做对了吗、要求满足了吗”。合格的成品还能回收,变成下一轮的素材。
这套流水线里,有两个细节特别值得记下来。
一是同一个任务,让不同的“外壳”各跑一遍。 同样是修一个bug,用不同的智能体框架跑,系统提示、编辑方式、压缩上下文的策略都不一样,走出来的路径也完全不一样。把这些轨迹攒到一起,模型学到的就不是“某个工具的按键顺序”,而是跨工具依然成立的套路:怎么定位问题、怎么动手、怎么验证。
二是错题本只记“错在哪一步”。 一条最终成功的轨迹里,中间也可能夹着瞎试、死循环、重复操作。团队的处理方式很聪明:把每一步打上标记,错的步骤不参与学习,但错误现场仍然保留在上下文里。于是模型看到的是“这里翻车了、翻车之后怎么爬出来”,而不是被要求把翻车动作再演一遍。
这比“整条丢掉”和“整条照学”都高明。
四、第三段值得抄:分层上课,先学会想,再学会干
有了好食材,还得会做。
这套模型的训练是分阶段推进的,从短上下文到长上下文,一共三段,而训练内容的配比在悄悄换血:
- 第一阶段:推理和数理化内容占八成以上,智能体任务只占不到6%;
- 第二阶段:推理降到不到一半,智能体任务涨到近三成;
- 第三阶段:智能体任务直接占到近七成,推理退到两成出头。
翻译成人话:先上完中学数理化,再去工地上实习。
一上来就把小模型扔进几十轮的长任务里,它大概率两头落空——既没学会怎么想,也没学会怎么干。反过来,如果一直停留在做题,那它永远只是个考试机器。
后面还有几轮“打磨”,针对的问题特别接地气:
第一轮解决“说话打结”。 小模型常见毛病是反复自我怀疑、绕圈子、该停不停、格式突然崩掉。对聊天来说这只是体验差,对智能体来说这就是活干到一半直接卡死。
第二轮解决“废话太多”。 简单题少想两句,难题才多给点思考空间。判断依据是这道题当前做对的比例——已经很熟的题还长篇大论,就要扣分。
第三轮解决“每步动作对不对”。 不只看最后活干成没干成,还看中间每一次调用工具是不是有效。这样即使最后失败,也能知道是哪一步走歪了。
一句话总结这段的价值:智能体的账单,从来不是“回答一次多少钱”,而是**“一个活干完,一共烧了多少token、重试了多少轮”**。把这笔账压下来,才是真本事。
五、到底有多能打?看几组数字

挑几个最能说明问题的:
- 终端任务:80.9分,对手是73.0、61.8、47.2。这个测试是让AI真的在命令行里操作,不是选择题。
- 更难的一档终端任务:它拿到23.8分,另外三个分别是6.3、1.6、0.0。难度上来之后,差距被拉得很夸张。
- 真实代码修复:DeepSWE 65.5分,对手42.5分。
- 办公自动化:Automation Bench 54.2分,对手38.3分;另一个职场任务集44.8分,对手34.5分。
- 模拟创业经营:在一个人工设定的商业环境里跑完整流程,它“赚”到约102.5万美元,对手分别是64万和51万。
- 纯推理:AIME 2026 拿到95.2分,科学问答89.5分——说明它不是靠“偏科”换来的动手能力。

还有一张图挺有意思:在35个职业类任务的评测里,它在大多数职业上都超过了基线。这意味着它不是只会写代码的“程序员专用AI”,财务、法务、运营的活儿也能接。
有网友拿上一代3B版本做过一次很生活化的实测:让它查“明天成都到北京、有商务座、耗时最短”的火车。
它先查工具说明,再拉全程车次,自己筛出三趟有商务座的,比出耗时最短的那趟,然后去查票价和经停站。中途因为站名写成“成都”报错,它自己反应过来改成“成都东”重查,最后交出一张带票价、经停时间、总时长的完整表格。
整个过程23秒。这就是“会聊天”和“会干活”的差距。
六、普通人想上手,门槛到底多高?
得说实话:这个33B,家里电脑真跑不动。
它的权重文件是66GB左右(bf16精度),一张24G的消费级显卡连门都进不去。官方给的部署示例,是四张专业卡一起扛。
但有两个好消息。
一是它做了省显存的设计:56个注意力头,只共享8组“记忆缓存”。打个比方,一个会议室里56个人讨论,没必要每人配一份会议纪要,8份共享着看就够了。这也是它能撑住512K超长上下文的底气。
二是团队明说了,下一步就是拿这个“老师傅”去教3B的小徒弟。参考上一代3B的表现——量化之后几GB显存就能跑,普通游戏本都能带——真正适合普通人上手的那一版,大概率不远了。
现阶段适合谁?
企业里有内网、有数据隐私要求,想把AI接进自己系统的团队;做智能体产品、需要强工具调用能力的开发者;以及想研究“怎么造Agent训练数据”的工程团队。
普通用户、自媒体创作者、学生党,建议再等等小模型版本,或者先用云端接口体验。
真要用,几个口语化的建议:遇到复杂任务把“思考模式”打开,多轮工具操作时保留上一轮的思考内容,工具调用优先用官方推荐的XML格式——这几条能明显提升成功率。
七、写在最后
回到标题那个问题:这套工程化打法,值得抄哪几段?
我的答案是三段。
第一段,数据配比: 让“能自动判对错”的数据当主食,合成数据当配菜,别拿掺水的语料凑数量。
第二段,数据工厂: 别再做静态题库了。搭环境、写验证器、收集轨迹、过滤失败、把错误喂回下一轮——这套循环才是真正让模型“越练越会”的发动机。
第三段,分层课程: 先教会它想,再教会它干,最后教它少废话、少犯错。顺序错了,力气全白费。
最后留一句大实话:模型的权重可以下载,但那套“环境+验证器+失败回流”的工厂,是下载不走的。
这才是真正的护城河。
如果现在给你一个能自己开电脑、自己查资料、自己把活干完的AI,你最想让它替你干的第一件事是什么?是整理那堆永远理不完的表格,还是把项目里积压的小bug清一遍?评论区聊聊。