小模型厂商突然做 33B:一场被误读为品牌跃迁的蒸馏前置赌注
小模型厂商突然做 33B:一场被误读为品牌跃迁的蒸馏前置赌注
一个以 3B 打出名声的团队,忽然发布 33B,外界的第一反应几乎都是"要往上走了"。但如果先读一遍模型卡,这个判断会被立刻修正:Nanbeige4.3-33B 在自己的 README 第一段就写明了定位——先造一个高容量教师模型,再用它把 Agent 能力蒸馏进更小的模型。33B 不是终点,而是流水线的上游。
这也意味着,真正值得讨论的问题不是"小模型厂商该不该做大模型",而是:当一个团队把最贵的算力花在"老师"身上,它押的到底是什么,以及这笔押注会在哪些地方先出问题。
一、先把定位看清:它不是新旗舰,是"教师位"
模型卡的 Introduction 里有两个句子决定了整篇文章的走向:
Our strategy centers on building a high-capacity teacher agent first, which will subsequently anchor the distillation of advanced agentic capabilities into smaller models.
...lays the necessary foundation to power our upcoming small model distillation pipeline (e.g., for Nanbeige4.3-3B).
翻译成工程语言:33B 的存在理由是产出可用于蒸馏的教师信号,而不只是"我们也有一台 30B 级模型"。同目录的 config.json 与 base_model 字段还透露了两个事实——它是一个指令模型,底座是同系列的 Nanbeige4.3-33B-Base(本仓库未包含);许可证为 Apache-2.0。
把这条线索和社区情报里的报道标题对照,会发现连传播口径都来自同一段话:"先做老师再蒸馏 3B"。内容平台上的二手解读可以跑偏,但模型卡不会。所以在动机上,"客户需求上移"这个解释只能排第二:第一动机是能力上限被卡住,而且是卡在 Agent 场景里。
为什么说"卡住"?看上一代产品线的公开技术解析就能明白:Nanbeige4.2-3B 用 Looped Transformer(22 层、循环 2 次)、28T tokens 预训练、三类可执行 Agent 环境、三阶段 SFT 加 Agentic RL,已经把"紧凑模型怎么把参数换成可执行能力"这条路走到了相当深的位置。继续在 3B 里抠,边际收益会迅速衰减;而 Agent 任务的失败成本是按轨迹累积的——一次格式错误、一次死循环、一次错误的工具参数,代价远高于单 token 成本。要突破这个上限,最直接的办法不是继续压小模型,而是先造一个错误率足够低的老师。
二、从 config.json 读出的取舍:它是一台"标准件"
33B 最容易被忽略、但对工程团队最有价值的信息,不在榜单里,而在架构字段里。
| 配置项 | Nanbeige4.3-33B | 读法 |
|---|---|---|
| architectures | LlamaForCausalLM |
标准 Llama 结构,非自定义建模代码 |
| num_hidden_layers | 52 | 稠密模型,无 MoE |
| hidden_size | 7168 | 与 56 个 Q 头 × head_dim 128 对齐 |
| intermediate_size | 22016 | 约 3.07×hidden,且可被 128 整除 |
| num_attention_heads / num_key_value_heads | 56 / 8 | GQA,Q 与 KV 比 7:1 |
| vocab_size | 166912 | 中文优先的大词表 |
| rope_theta | 120000000 | 靠基频而非缩放撑长上下文 |
| max_position_embeddings | 524288 | 标称 512K |
| tie_word_embeddings | false | 输入嵌入与 lm_head 各自独立 |
| torch_dtype | bfloat16 | 权重 66.2 GB,分 14 个分片 |
按这些字段手算,单层参数约 590.9M(Q/O 各 7168²,K/V 各 1024×7168,MLP 三矩阵 7168×22016),52 层合计 30.7B,加上未共享的词嵌入与输出头 2.39B,总计 33.1B。词嵌入只占 7.2%,所以这里的"33B"几乎全是实打实的计算参数,不像 4.2-3B 那样"总参数 4B、非词嵌入 3B"。
而 architectures 写 LlamaForCausalLM、仓库里也没有自定义 modeling_*.py,这一点值得单独强调:上一代 3B 采用循环结构,加载要 trust_remote_code=True,社区里甚至出现过"vLLM 支持迟迟不落地、只能依赖 fork"的抱怨。33B 直接回到标准路径,意味着 vLLM、SGLang 的 Llama 分支可以原样跑,推理优化、量化工具链、投机解码这些生态红利都能直接吃到。这是一个明确的工程让步:为了让教师模型能被大规模、低成本地服务,它放弃了架构上的花样。
不过"标准件"也有两个必须提前知道的坑,都在配置文件里:
- generation_config.json 与 config.json 都写着
"use_cache": false。如果用裸transformers.generate()直接跑 512K 上下文,每一步都会重算整个前缀,延迟会难看到无法使用。部署时必须显式打开 KV Cache,或直接交给 vLLM/SGLang。 - tokenizer_config.json 里的
model_max_length是一个天文数字(1e36 量级),任何依赖它做截断保护的代码都会失效,长度必须自己控。
三、它的真实成本结构:三个数字
模型卡给出的部署示例是 --tensor-parallel-size 4。为什么是 4,算一下就知道:
| 精度 | 权重总量 | tp=2 单卡 | tp=4 单卡 |
|---|---|---|---|
| bf16 | 61.7 GiB | 30.8 GiB | 15.4 GiB |
| fp8 / int8 | 30.8 GiB | 15.4 GiB | 7.7 GiB |
| int4(仅权重) | 15.4 GiB | 7.7 GiB | 3.9 GiB |
真正的压力来自 KV Cache。56 个 Q 头只配 8 个 KV 头,已经是相当克制的 GQA,但 52 层叠起来,每 token 的 KV 仍是 2 × 8 × 128 × 52 × 2 字节 = 208 KiB:
| 上下文长度 | KV 总量(bf16) | tp=4 单卡分摊 |
|---|---|---|
| 32K | 6.5 GiB | 1.6 GiB |
| 128K | 26.0 GiB | 6.5 GiB |
| 256K | 52.0 GiB | 13.0 GiB |
| 512K | 104.0 GiB | 26.0 GiB |
结论很直接:512K 是标称能力,不是默认能力。 单卡 int4 权重 15.4 GiB 加 128K KV 26 GiB 已经 41 GiB 出头,48GB 卡只是勉强;要跑满 512K,必须多卡加 KV 量化或分层卸载。对比上一代 3B 在消费级显卡上 int4 只需数 GB 显存的部署画像,这完全是另一个世界。
第三个数字更少人注意:长上下文下注意力会反超权重计算。按 4 × 层数 × 序列长度 × hidden 估算,128K 上下文时每生成一个 token 的注意力开销约 195 GFLOPs,而 33B 权重矩阵乘约 66 GFLOPs——注意力已经是后者的 3 倍;到 512K,这个比值约为 12 倍。同期 4.2-3B 在 128K 下约 71 GFLOPs。这也解释了为什么模型卡把 Agent 场景的 max_new_tokens 定在 65,536、把推理对话定在 262,144:上下文不是免费的,它直接换算成 GPU 秒。
四、榜单要分层看:赢得很广,但赢得不均匀
模型卡给出了 20 项对比,对手是 Qwen3.8-27B、Muse-Glimmer-30B、Gemma4-31B。按加粗项统计,Nanbeige4.3-33B 拿下 17/20,覆盖 Agentic Coding 8 项中的 7 项、Agentic Cowork 9 项中的 8 项、Reasoning 3 项中的 2 项。
| 类别 | 基准 | Nanbeige4.3-33B | Qwen3.8-27B | Muse-Glimmer-30B | Gemma4-31B |
|---|---|---|---|---|---|
| Coding | Terminal-Bench 2.1 | 80.9 | 73.0 | 61.8 | 47.2 |
| Coding | Terminal-Bench 4.0 | 23.8 | 6.3 | 1.6 | 0.0 |
| Coding | DeepSWE | 65.5 | 42.5 | 4.4 | 2.7 |
| Coding | SWE-Bench Pro | 60.3 | 61.7 | 36.9 | 51.2 |
| Cowork | Automation Bench | 54.2 | 38.3 | 15.2 | 9.7 |
| Cowork | JobBench | 44.8 | 34.5 | 16.6 | 9.0 |
| Cowork | GDPval | 84.8 | 86.4 | 75.8 | 71.4 |
| Cowork | Tau3-Bench | 48.8 | 48.5 | 33.7 | 18.6 |
| Cowork | YC-bench | $1,025,437 | $641,290 | $513,978 | $265,152 |
| Reasoning | GPQA Diamond | 89.5 | 89.2 | 83.5 | 91.3 |
| Reasoning | AIME 2026 | 95.2 | 94.5 | 94.7 | 89.2 |
这张表的价值不在"赢",而在赢的分布。三个落后项恰好是成熟度最高、被复现最多次的基准:SWE-Bench Pro 差 1.4 分、GDPval 差 1.6 分、GPQA Diamond 差 1.8 分——都是噪声区间内的贴身距离。而大幅度领先集中在 Terminal-Bench 4.0(23.8 对 6.3,对手近乎地板)、DeepSWE(65.5 对 42.5)、Automation Bench(54.2 对 38.3)、JobBench(44.8 对 34.5)这些新基准、低饱和、强依赖脚手架的项目上。
这不是贬低,而是提示读者该怎么读:在一个所有人都还没爬出低分区的基准上领先 3 倍,说明训练分布和评测协议高度匹配;一旦换 harness、换工具集、换 judge,差距是否保持,需要外部复现。模型卡的脚注其实已经承认了这一点——Terminal-Bench 2.1 用 Terminus 2,Terminal-Bench 4 与 DeepSWE 用 mini-swe-agent v2.4.6,NL2Repo 用 Claude Code,SWE-Atlas-QnA 用 GPT-6 Sol 做裁判。分数是"模型 + 脚手架 + 协议"的联合产物。
还有一个非常容易踩的复现前提,写在表格脚注 1 里:成绩是在 preserve_thinking=true 下取得的。也就是说,多轮 Agent 任务里上一轮的思考内容被完整保留在上下文中。如果你用默认模板部署,或者为了省 token 把历史思考裁掉,得到的曲线和这张表不是一回事。
职业覆盖是另一个维度的证据。README 提到在 JobBench 评估的 35 个职业中大部分优于基线,并给出分布图:
这解释了为什么一台 33B 值得做:办公协作类任务的价值不在通用问答,而在"能不能交付一份可被下一环节消费的文档、表格或结论"。这类需求天然是行业化的,也天然需要私有化部署。
五、"客户需求上移"这半个理由,也不假
把动机完全归结为技术,会漏掉商业模式上的一层。三个信号:
第一,默认系统提示词写的是"你是南北阁,一款由 BOSS 直聘自主研发并训练的专业大语言模型"。品牌身份被直接写进了对话模板,这不是研究项目的做法。
第二,README 的联系邮箱是 kanzhun.com 域名,并且明确表示欢迎"共建领域化、行业化 Agent,包括数据与训练的联合工作"。这句话的含义是:他们卖的不只是权重,还有数据管线和训练能力。
第三,33B 这个尺寸本身是企业私有化部署的甜点区:4 卡即可服务、Apache-2.0 无授权障碍、能塞进一个机箱。对招聘、法务、财务这类数据不出内网的场景,它比 API 更有说服力,又比 70B/100B 便宜得多。
所以更准确的描述是:能力上限的压力提供了技术动机,B 端交付提供了商业理由,两者在"教师模型"这个角色上合并了。 一次投入,同时买到蒸馏源和可交付产品,这才是这笔账算得过来的地方。
六、风险面:真正的稀释不在"尺寸",在"叙事一致性"
回到标题里的问题。33B 会不会稀释 3B 攒下的性价比口碑?分三层看。
第一层:不会直接稀释。 3B 的口碑资产是三件事——小尺寸越级、消费级可跑、便宜。33B 一条都不共享,它服务的也不是同一批用户。买 33B 的人不会因为 3B 便宜而改买 3B,反之亦然。
第二层:会改变外界对这家公司的评分坐标系。 当你只有 3B,所有人用"3B 该有的水平"要求你,任何越级都是惊喜;当你有了 33B,媒体和客户会自动把你放进"30B 级开源模型"的擂台,和大厂主力正面对比。而在这个擂台上,上面那张表显示的是"广覆盖的领先 + 成熟基准的贴身",不是碾压。叙事的脆弱点恰恰在这里:从"小模型越级"切换到"大模型追平",观感上是降级。
第三层,也是最容易被忽略的:3B 的口碑里本来就有水分。 本次抓取的社区快照里,15 篇 CSDN 相关文章合计阅读 5,420 次,头部是 1,051 次的 Chainlit 多轮对话实测和 943 次的 AWQ 量化实践——这两篇是真实工程内容。但同一批结果里也混着描述"Nanbeige 4.3B"这个并不存在的型号的文章,以及声称"4.2 版本将支持 MoE 与更长上下文"却没有来源的路线图。如果一家公司把"讨论量"当成品牌健康度指标,它衡量的很可能只是内容农场的产量,而不是开发者的真实选择。
所以"3B 的讨论量会涨还是跌"这个观察指标,本身是失效的。它需要被替换成更能反映能力转移的信号。
七、该盯的五个信号
如果这场赌注成立,下面五件事会依次发生;如果不成立,也会在同样的地方露馅。
1. 4.3-3B 在同一 harness 上的追平率。 这是唯一真正重要的指标。教师模型在 Terminal-Bench 4.0 拿 23.8 分没有意义,学生模型在同一套 mini-swe-agent 协议下能拿到多少才有意义。更具体的检验是:把 3B 在 Terminal-Bench 4.0 上从个位数抬到两位数,同时把 SWE-Bench Pro 保持在 50 以上。做不到,33B 就只是一次昂贵的公关。
2. 推理框架是不是"原生支持"而不是"能跑"。 4.2-3B 时代需要自定义代码和 fork,这是真实的采用成本。33B 的 LlamaForCausalLM 是明确纠偏,接下来要看 vLLM、SGLang、llama.cpp 是否在模型发布后短时间内给出第一类支持、量化版本是否跟进。生态响应速度,比榜单更能预测一个模型会不会被真正用起来。
3. 是否出现第三方的蒸馏配方。 如果社区开始自发地用它当老师,产出学生模型、数据筛选策略、拒绝采样管线,说明教师信号确实"可提取";如果三个月后只有榜单转发和部署教程,说明它只是资产而不是工具。
4. 3B 内容的重心是否迁移。 从"怎么在 3060 上跑起来"转向"怎么做蒸馏、怎么设计 Agent 环境、怎么用教师轨迹做 RL",这才是口碑的升级而不是稀释。
5. 一手证据是否补齐。 当前仓库只有模型卡、配置和权重,没有技术报告,没有训练数据说明,没有循环/数据/后训练各自的消融,多个基准的 harness 配置也未完整公开。这些不是苛求,而是"可复现"与"可引用"的分界线。教师模型的价值建立在可信度上,一份缺失的方法说明会让下游的蒸馏工作缺少校准依据。
八、结论:这不是跃迁,是前置
把 33B 理解成"小模型厂商终于想做大了",会得出完全错误的预期:你会去比较它和大厂 30B 谁更强,然后因为 GDPval 差 1.6 分而失望。
正确的读法是:这家公司把最贵的一次训练,花在了降低下一代小模型的错误率上。 33B 是成本项,也是产品项;它的成功标准不是"33B 卖得好不好",而是"4.3-3B 能不能在同一套评测协议下追到 33B 的七成以上,并且仍然跑在消费级显卡上"。
这个赌注的风险也很清楚:教师再强,蒸馏也只是有损传输,长程 Agent 里最值钱的能力——失败识别、错误恢复、什么时候该停——恰恰是最难被 token 级监督传递的部分。如果这部分传不下去,33B 就退化成一个够用但不惊艳的 30B 级模型,而 3B 的故事还得靠下一轮架构创新续写。
判断它成没成,不需要看发布会的措辞。等 4.3-3B 出来,把两个模型放进同一个 harness,用同样的 preserve_thinking 设置跑一遍 Terminal-Bench 和 SWE-Bench Pro,答案就在那两行数字里。
