先做老师再蒸馏 3B:33B 开源背后那条反着走的技术路线
先做老师再蒸馏 3B:33B 开源背后那条反着走的技术路线
大多数团队的发布顺序是这样的:先有一个能在本地跑起来的小模型,占住生态位,再向上补一个大模型证明实力。Nanbeige4.3 把这条线倒了过来——先交付 33B,并且在校验文件里把它明确定义为"教师"。
README.md 开篇那句几乎是把技术路线直接写在了封面上:
Our strategy centers on building a high-capacity teacher agent first, which will subsequently anchor the distillation of advanced agentic capabilities into smaller models.
紧接着的第二段给出了这个教师的身份定位:flagship teacher model,在约 30B 参数档位里做到开源模型的 SOTA agent 表现,既能直接部署,也"lays the necessary foundation to power our upcoming small model distillation pipeline (e.g., for Nanbeige4.3-3B)"。
需要说清楚的是,"从大模型蒸馏到小模型"本身并不新鲜,几乎所有小模型都这么来。真正反着走的是顺序与产品化方式:不是把大模型当成一次性的离线数据生成器,而是先把教师做成一个可以独立售卖、独立跑分、独立承接收费流量的旗舰产品,再让它顺带充当 3B 的数据工厂。这个顺序上的差别,决定了一整套工程取舍——包括为什么停在 33B 而不是更大、为什么词表和模板要先定死、以及为什么教师的部分指标"不那么好看"反而是信号。
本文不重复 README 的宣传语,而是从 config.json、tokenizer_config.json、generation_config.json 和 model.safetensors.index.json 里把这条路线反推出来,再算一遍教师的推理账和蒸馏的时间账。
一、33B 是怎么算出来的:不是营销数字,是四个超参
config.json 给出的结构相当"传统":LlamaForCausalLM、52 层、hidden 7168、56 个注意力头、8 个 KV 组、head_dim 128、FFN 22016、词表 166912、tie_word_embeddings: false。
把这些数字乘开,可以核对一下"33B"这个标签:
| 组件 | 单层参数量 | 说明 |
|---|---|---|
| q_proj / o_proj | 7168×7168 ×2 = 51,380,224 ×2 | 每头 128 维,56 头刚好 7168 |
| k_proj / v_proj | 7168×1024 ×2 = 7,340,032 ×2 | 8 个 KV 组,GQA 比例 7:1 |
| gate/up/down | 7168×22016 ×3 = 473,432,064 | SwiGLU,hidden_act: silu |
| 两个 RMSNorm | 14,336 | rms_norm_eps: 1e-05 |
| 合计 | 590,886,912 | 52 层共 30,726,119,424 |
加上未共享的 embed_tokens 与 lm_head(166912×7168 各 1,196,425,216),总计约 33.12B。这与 model.safetensors.index.json 里 total_size: 66237954048 字节(bf16,约 61.7 GiB,14 个分片)完全吻合——66.24 GB ÷ 2 bytes ≈ 33.1B 参数。数字对得上,说明这个仓库没有"标 33B 实际 30B"的注水。
真正值得记下来的是 KV 侧的账。8 个 KV 组、128 维、52 层、bf16:
- 每 token 的 KV 缓存:8 × 2 × 128 × 52 × 2 B = 208 KiB
- 一条 32K 序列:约 6.5 GiB
- 一条 512K 序列:约 104 GiB——比模型权重本身还大
config.json 里 max_position_embeddings: 524288、rope_theta: 120000000、rope_scaling: null,意味着 512K 是靠极高的 RoPE 底数原生拉出来的,没有走 YaRN 之类的插值后处理。这个设计对教师很划算(一次前向吞下整个仓库或整份工单),但对照上面的 KV 账就该明白:512K 是能力上限,不是日常工况。教师做长程 rollout 时,真正的瓶颈不是显存装不装得下权重,而是并发序列数。
按 README 推荐的 --tp-size 4 --mem-fraction-static 0.8 部署,权重被切成每卡约 16.5 GB,KV 也按 TP 分摊,每卡每 token 约 52 KiB。一张 80GB 卡在 0.8 利用率下留出约 47 GB 给 KV,一条 32K 序列占 1.6 GiB 左右,并发上限就在 30 条上下。这个数字直接决定了教师每天能产多少轨迹,也决定了"为什么教师不该无限大"。
二、教师的选购标准不是"最强",是"成功率够采样"
README 的评测表里有两类数据混在一起,读的时候必须分开看。
一类是"格式与流程"型任务:Terminal-Bench 2.1 上 33B 拿到 80.9,对比 Qwen3.8-27B 的 73.0、Muse-Glimmer-30B 的 61.8、Gemma4-31B 的 47.2。这类分数说明它在标准 agent 循环里不容易掉链子。
另一类是"长程自我纠错"型任务,差距被拉得极其夸张:
| Benchmark | Nanbeige4.3-33B | Qwen3.8-27B | Muse-Glimmer-30B | Gemma4-31B |
|---|---|---|---|---|
| Terminal-Bench 4.0 | 23.8 | 6.3 | 1.6 | 0.0 |
| DeepSWE | 65.5 | 42.5 | 4.4 | 2.7 |
| Automation Bench | 54.2 | 38.3 | 15.2 | 9.7 |
| JobBench | 44.8 | 34.5 | 16.6 | 9.0 |
Terminal-Bench 4.0 上"23.8 对 0.0"这种分布,已经不能用"能力更强"来解释,它更像是"能不能在几十步之后还记得自己错在哪"的分水岭。而这条分水岭恰恰是蒸馏最看重的东西。
原因在数据侧:从教师身上取训练信号,最常用的做法是拒绝采样——让教师在一个可验证环境里反复跑,只保留跑通的轨迹。这个流程的产出效率不是线性的,它近似正比于单任务成功率:
- 教师单任务成功率 80%,平均 1.25 次尝试就能拿到一条正样本;
- 教师单任务成功率 20%,平均 5 次尝试才有一条,而且失败尝试的上下文同样占显存和时间;
- 到了 5% 这一档,采样成本会因为"绝大多数算力用来生产废数据"而失控。
这就是 33B 这个档位的第一个合理性:它不是容量最大的模型,但它是在可承受推理成本下成功率足够高的模型。用 400B 级教师当然能采到更难的样本,但每一次尝试的价格要贵一个数量级,而蒸馏需要的恰恰是海量次尝试。
反过来说,Terminal-Bench 4.0 的 23.8 也划出了这条路线明确的天花板:教师自己只解出不到四分之一的硬任务,意味着这个难度区间几乎没有可用轨迹,学生不可能凭空超过老师。蒸馏的上限不是教师的平均分,而是教师在"你想让学生学会的那类任务"上的成功率。
README 里还有两个不那么显眼、但对蒸馏很关键的选择:
- 评测用的是
Claw-Eval的pass^3——三次全部成功才算过,33B 拿 78.3(Qwen 75.2、Muse 57.3、Gemma 44.2)。用这个指标而不是 pass@1,等于官方在说:我们要的不是偶尔灵光一现,而是可重复的稳定性。理由同上,稳定性 = 可采样的信号密度。 - 脚注 1 明确写了评测时打开
preserve_thinking=true。这一条把"教师能力"和"模板配置"绑在了一起,后面会看到它为什么是复现实验的必要条件。
顺便把不占优的三项也列清楚,这比只报喜更值得信任:SWE-Bench Pro 60.3 落后 Qwen 的 61.7,GDPval 84.8 落后 86.4,GPQA Diamond 89.5 落后 Gemma4-31B 的 91.3。这三项分别代表真实仓库补丁、职业交付物质量、专家级科学推理——如果某个垂域团队正好落在这三条轴上,选这个教师做蒸馏源,学生的上限就会被这几条轴卡住。教师选型要按你的目标分布去看分项,而不是看总分。
上图是 README 提到的另一件事:在 JobBench 的 35 个职业里,33B 在大多数职业上超过基线。对垂域团队来说这张图的读法是——先找到自己要做的那个职业对应的那一格,而不是看平均值。
三、模板即接口:能传下去的东西,提前写进了 chat_template
蒸馏最容易踩的坑不是模型,是"教师回答得很好,但学生学到的格式和你线上服务用的格式不是一套"。tokenizer_config.json 里的 chat_template 把这件事解决得很彻底:整条链路的格式契约都在模板里,学生只要用同一个 tokenizer,就天然继承了接口。
模板里有三个可切换的开关,README 也做了说明:
enable_thinking:控制当前回复是否产出推理。默认开;设False时,模板会在 assistant 起始处直接写入一个空的<think>\n\n</think>\n\n占位。preserve_thinking:多轮对话中是否保留历史轮次的推理。README 建议普通问答用False,多轮工具调用、办公任务、代码 agent 用True。tools+tool_call_format:xml(默认,且 README 明说"for the best tool-calling performance")或json(兼容用)。
其中 preserve_thinking=False 那段实现值得单独看一眼,它并不是把历史推理删掉,而是替换成空块:
{%- if (preserve_thinking is defined and preserve_thinking is false)
and (loop.index0 < ns.last_query_index) %}
{{- '<|im_start|>' + message.get('role', '') + '\n<think>\n\n</think>\n\n' + content }}
{%- else %}
{{- '<|im_start|>' + message.get('role', '') + '\n<think>\n' + reasoning_content + '\n</think>\n\n' + content }}
{%- endif %}
这个细节对蒸馏是双刃的。好处是结构不变:无论推理内容保不保留,<think> 与 </think> 这两个定界符永远在,学生不会因为训练数据里推理被剥掉就忘记"要先开 think 块"这件事——格式通过模板而不是通过数据分布来传递,稳定性极高。坏处是模型会学到"空 think 块也是合法输出",一旦推理内容质量下滑,它在表面上依然"看起来在思考"。所以做数据侧过滤时,不能只看结构是否完整,必须额外检查 think 块内的实际长度与信息量,否则很容易训出一个格式永远正确、内容永远为空的模型。
另外两个模板细节,同样会直接影响数据管线的正确性:
一是 tool 消息的折叠方式。 工具返回不是独立的 tool 角色进入上下文,而是被塞进一个 user 轮次里,用 <tool_response> 包起来;相邻的多条 tool 结果会合并到同一个 user 回合。模板还专门做了一次反向扫描,用来判断"当前是不是多步工具链中":
{%- if ns.multi_step_tool and message.get('role', '') == "user"
and visible_text(message.content) is string
and not(visible_text(message.content).startswith('<tool_response>')
and visible_text(message.content).endswith('</tool_response>')) %}
这段逻辑的意思是:只有"不以 <tool_response> 开头结尾的 user 消息"才算一次新的人类提问。如果自己写 rollout 框架时把工具结果按 OpenAI 的 role: tool 平铺进去,模板行为会和教师训练时不一致,采样出来的轨迹虽然能跑,但分布已经偏了。
二是多模态的降级提示。 模板对 image/video/audio 类型的内容会插入一句 <reminder>You are unable to process this image because you don't have multi-modal input ability...</reminder>。这不是模型能力,是模板层的兜底——它保证了纯文本模型收到多模态消息时不会静默丢弃,而是明确告知。做数据清洗时,这类 reminder 必须被识别并剔除,否则会被当成正常语料喂进学生。
四、能传下去的三样,和传不过去的三样
把上面的事实拼起来,可以给"教师到学生"划一条相对清晰的边界。
能传的:
- 格式契约。
<|im_start|>/<|im_end|>/<think>/<tool_call>全部是 added token,added_tokens.json 里固化为 166100–166106 七个 id。学生沿用同一 tokenizer,就拿到了完全一致的边界符号。注意其中<think>、</think>、<tool_call>、</tool_call>在 tokenizer_config.json 里的special是false——它们不参与skip_special_tokens的裁剪。这是有意为之:解码后这些标记仍是普通文本,解析器(比如 vLLM 的--reasoning-parser qwen3)才能按字符串切出推理段。如果你按"特殊 token"的思路去处理,会得到一堆切不开的输出。 - 工具调用的 XML 语法。
<function=...>、<parameter=...>的多行值写法由模板固定下来,教师产出的每一条轨迹都在强化这套语法。社区在 4.2 时代反馈过 XML 工具调用误输出的问题,而 4.3 的处理方式是把它扶正为默认格式、json 只留兼容位——与其在多格式之间摇摆,不如把一种格式钉死,让蒸馏数据同质化。这对学生是好事。 - 失败—重试的行为模式。 教师的轨迹里如果包含"跑测试→看报错→改一行→再跑"的循环,这些循环本身就是可学习的过程知识,比最终答案值钱。前提是采样时保留完整的环境反馈,而不是只存最后一轮。
传不过去的:
- 深搜能力的绝对高度。 Terminal-Bench 4.0 那种 23.8 对 0.0 的差距,靠的是在几十步里持续维护目标状态。上下文长度不是瓶颈——3B 理论上也能吃 512K,KV 压力还更小——瓶颈是每一步都要在参数里完成"当前目标 vs 当前状态"的对齐,这部分容量是压不掉的。学生在这类任务上通常表现为"前几步还行,十步之后开始重复无效动作"。
- logits 里的细粒度分布。 理论上 logit 级 KD 能传更多信息,但工程上很快算不过来:词表 166912,即便只存 top-8,每 token 也要 64 字节(4 字节 float + 4 字节 int32),10B token 就是约 640 GB 的中间产物;而纯文本只需几十 GB。再叠加 agent 任务必须过环境校验这一约束,"轨迹级拒绝采样 + SFT/RL"几乎必然优于纯 logit 蒸馏。这条路线里,教师的角色是轨迹生成器,不是 soft label 提供者。
- 教师自己的短板。 SWE-Bench Pro、GDPval、GPQA 这三项教师本来就落后,学生在这三条轴上没有可学的上限,只能靠你自己的领域数据补。指望"蒸馏一个 3B 就自动拥有 33B 的全部能力",在教师自己都不是第一的维度上一定落空。
五、垂域团队要不要自建"教师层":三个判据和一笔时间账
README 结尾有一句话值得单独拎出来:
We also welcome collaborations to build domain-specific and industry-focused agents, including joint work on data and training.
这句话等于把"教师层"作为可复用的基础设施对外开放了。那么对做垂域微调的团队,什么时候值得自建一个教师层,而不是直接调 API 或用公开数据集?
判据一:你的数据买不到,只能生成。 如果领域知识存在内部工单、私有代码库、行业软件的操作序列里,公开语料覆盖不到,那么教师的作用不是"教知识",而是"把知识转写成可训练的多轮轨迹"。这时教师必须在你的环境里跑得动,且能调用你的工具。
判据二:你需要多轮工具轨迹,而不仅是一问一答。 单轮 QA 用任何强模型造数据都行;一旦涉及"调接口→读返回→改参数→再调"的循环,格式一致性和环境反馈的保真度就成了主要成本。用同一套模板采样,能省掉大量对齐工作。
判据三:部署端只有 3B 级预算。 如果线上就是边缘设备或单卡,学生模型的能力上限由教师决定,这时候教师选型比学生调参重要得多。
三条都满足,再算时间账。以下数字是基于公开结构的工程估算,不是实测,假设条件写在表里,读者可以替换成自己的吞吐:
| 场景 | 教师规模 | 部署 | 聚合吞吐假设 | 产出 10B token 的 GPU 小时 | 4 卡墙钟时间 |
|---|---|---|---|---|---|
| A | 33B bf16 | 4 卡 TP=4 | 2,500 tok/s | 约 4,400 | 约 46 天 |
| B | ~130B bf16 | 8 卡 | 800 tok/s | 约 27,800 | 约 145 天 |
折算下来是 6 倍量级的差距,而且这还没算大模型在难任务上成功率更低、需要更多次重试带来的额外开销。更贴近垂域现实的是 1B token 量级:方案 A 在 4 卡上约 4.6 天 / 445 GPU 小时,这是一个中小团队排得进日程的数字;同样的量换成方案 B,就是近一个月。
这也解释了为什么停在 33B 是理性的:教师的价值 = 单条轨迹的质量 × 单位时间可产出量 × 许可证允许的商用范围。前两项在这个档位达到较好的平衡,第三项则被 README.md 的 license: apache-2.0 直接解决——用教师产物做蒸馏数据、再把学生商用,这条链在 Apache-2.0 下没有额外授权成本,这是很多"更强教师"给不了的。选教师时如果只比榜单不看许可证,后面会在数据权利上返工。
六、上手前的几个坑,都藏在配置文件里
这一段是给准备直接拉起来跑的人的。仓库里几个默认值会实实在在地坑人:
use_cache 是 false。 config.json 和 generation_config.json 里都写着 "use_cache": false。用 vLLM/SGLang 部署不受影响(它们自己管 KV),但如果你照 README 的 Transformers 示例直接 model.generate(),每一步都会重算整个前缀,长输出场景下慢到无法接受。务必显式打开:
model.generation_config.use_cache = True
README 里写了 use_fast=False。 仓库同时提供了 tokenizer.model(SentencePiece,2.78 MB)和 tokenizer.json(18.45 MB)两份词表产物,但官方示例明确用慢速 tokenizer。做大规模数据预处理时,慢速实现是纯 Python 的,会成为吞吐瓶颈;建议先用几百条样本对拍 fast/slow 在 166100–166106 这七个 added token 上的编码结果,确认一致后再切 fast,或者干脆离线预分词。
model_max_length 是个假数字。 tokenizer_config.json 里它被设成 1e30 量级(本质是"不设限,避免警告"),真实上限在 config.json 的 max_position_embeddings: 524288。按 tokenizer 的值去做长度校验,会得到完全错误的结论。
pad_token 复用了 <unk>(id 0)。 批量推理时如果依赖自动推导的 attention mask,语义会含糊。建议显式传 attention_mask 并固定 padding_side,同时注意 add_bos_token: true、add_eos_token: false、bos_token 被设成了 <|im_start|> 这一组配置——拼接样本时不要重复插入起始符。
采样参数要按场景切换,不能一套跑到底。 README 给的是两档:agent 与工具调用用 temperature 1.0 / top_p 0.95 / max_new_tokens 65,536;推理与闲聊用 0.6 / 0.95 / 262,144。造蒸馏数据时用 262K 的输出上限会让单条轨迹的成本失控,agent 场景严格按 65K 走。
最后是服务侧的配置,README 的 vLLM 命令已经能直接用:
vllm serve ${MODEL_PATH} \
--host 0.0.0.0 --port 8000 \
--tensor-parallel-size 4 \
--gpu-memory-utilization 0.8 \
--enable-auto-tool-choice \
--reasoning-parser qwen3 \
--tool-call-parser qwen3_coder
--reasoning-parser qwen3 与 --tool-call-parser qwen3_coder 能直接复用,是因为这个模型的 token 流结构(<think> 段 + <tool_call> XML)与既有 parser 兼容,加上 config.json 里 architectures 就是标准的 LlamaForCausalLM。对照社区在 4.2 时代"跑 vLLM 得靠 fork"的反馈,这一版的工程友好度是实打实提升的——不需要维护私有分支,就意味着教师的部署成本可以按标准运维来估。
结语:这条路线真正押注的东西
把 33B 先做成产品、再回头蒸馏 3B,本质上是把"教师"从一个训练阶段的中间产物,升级成一项可以独立结算的资产:它有榜单、有许可证、有服务接口、有并发上限,也因此有了清晰的单位成本。学生模型继承的不只是能力,还有一整套已经被真实流量验证过的格式契约与采样配置。
这条路线的代价同样清楚:教师的天花板就是学生的天花板,教师在 SWE-Bench Pro、GDPval、GPQA 上的落后会原样往下传;Terminal-Bench 4.0 的 23.8 意味着最难的那一档根本没有足够多的成功轨迹可供采样。所以它更适合被理解成一次工程经济学上的取舍,而不是一次能力上的越级——先让教师跑得起、跑得稳、跑得合法,再谈把能力压进 3B。对垂域团队来说,这套取舍逻辑可以直接搬走:先算清自己那条轨迹产线的 GPU 小时,再决定教师该多大。

