参数涨十倍,Agent 成功率涨多少:33B 能力的真实账本

原创2026-10-26 13:13:321,958 阅读
文章标签:大模型基础模型代码模型AI Agent人工智能

参数涨十倍,Agent 成功率涨多少:33B 能力的真实账本

Nanbeige4.3-33B 的发布说明里有一句话,比任何榜单都更能解释这个模型存在的理由:它被设计成"teacher",先做强,再蒸馏回 Nanbeige4.3-3B。这意味着 33B 不是终点,而是一条能力曲线上被刻意选中的采样点。于是问题变得具体起来:从 3B 到 33B,参数大约涨了十倍,究竟换回了多少 Agent 成功率?换回的部分集中在哪些任务切片上?以及这笔账在显存、KV Cache 和 Token 预算上要付出什么代价?

本文把仓库里的 config.json、tokenizer_config.json、model.safetensors.index.json 和 README.md 里的评测表拆开,逐项核算。结论先放在前面:这十倍参数买到的不是"更聪明",而是"更长的链路"——在单轮、协议层、知识密集的切片上,33B 与 30B 级对手几乎打平;在真实仓库、多工具、长程规划的切片上,差距被拉开到十几到二十几个百分点。而这份增益的账单,主要记在 KV Cache 和输出 Token 上,不在权重上。

先把"十倍"算准:33.1B 与 30.7B 非嵌入

模型卡里没写参数量,但 config.json 给全了结构,可以直接算:52 层、hidden 7168、56 个注意力头、8 个 KV 头、head_dim 128、FFN 22016、词表 166912、tie_word_embeddings: false。

emb  = 166912 * 7168                    # 1,196,425,216
q    = 7168 * 56 * 128                  # 51,380,224
kv   = 7168 * 8 * 128                   # 7,340,032 (k 和 v 各一份)
o    = 56 * 128 * 7168                  # 51,380,224
mlp  = 3 * 7168 * 22016                 # 473,432,064
per_layer = q + 2*kv + o + mlp + 2*7168 # 590,886,912
total = 2*emb + 52*per_layer + 7168     # 33,118,977,024

算出来是 33.12B 总参数,与 model.safetensors.index.json 里 metadata.total_size = 66,237,954,048 字节严格对齐(33.12B × 2 字节 bf16 = 66.24 GB)。这个交叉验证说明分片没有缺权重,也说明权重精度就是 bf16。

去掉两侧词嵌入(1.196B × 2)后,主体网络是 30.72B 非嵌入参数。对照 Nanbeige4.2-3B 公开的配置(4B 总参数、3B 非嵌入、22 层、hidden 3072、num_loops=2),倍数正好落在题目说的那个量级:30.72B / 3B ≈ 10.2×。所以"涨十倍"不是修辞,是逐项对得上的硬数字。

维度 Nanbeige4.2-3B(公开配置) Nanbeige4.3-33B(config.json) 倍数
非嵌入参数 3B 30.72B 10.2×
物理层数 22(循环 2 次,44 次层传递) 52 2.4× / 1.18×
hidden 3072 7168 2.33×
FFN 10752 22016 2.05×
注意力头 / KV 头 48 / 8 56 / 8 1.17× / 1×
词表 166,144 166,912 ≈1×
原生上下文 262,144 524,288 2×
RoPE theta 70,000,000 120,000,000 1.71×

表里最值得盯的是两行。第一行是层数与循环:4.2-3B 用 22 层物理层跑两遍,等效 44 次层传递;33B 是 52 层一次性通过。所以"有效深度"只从 44 涨到 52(1.18×),真正的十倍扩张发生在宽度上——hidden 与 FFN 各翻一倍出头,叠加层数,才凑出 10.2 倍参数。

第二行是 KV 头数:两个模型都停在 8。这是 GQA(56 个查询头共享 8 组 KV)的极限压缩,也是后面 KV 账单的关键变量。

任务切片:三个层级,三份口径

README 的评测表有 20 个基准,直接看排名意义不大,因为不同任务的失败模式完全不同。按"单步工具调用 / 多步规划 / 失败恢复与交付"切三层,信号立刻分化。

单步与协议层:几乎打平。 Tau3-Bench 48.8(对手最高 48.5)、Toolathlon-Verified 70.4(68.5)、Claw-Eval pass^3 78.3(75.2)、AA-LCR 84.0(82.0)、EnterpriseOps-Gym 41.0(40.2)。这几项的领先幅度全在 4 个百分点以内,其中 Tau3 只差 0.3 分。也就是说,当任务被约束成"给定工具、给定参数、一次或少数几次调用"时,30B 级的第一梯队已经挤在一起了。

多步规划与长链路:断层出现。 DeepSWE 65.5 对 42.5(+23.0)、Terminal-Bench 4.0 23.8 对 6.3(+17.5)、DeepPlanning 63.3 对 49.2(+14.1)、Automation Bench 54.2 对 38.3(+15.9)、JobBench 44.8 对 34.5(+10.3)、SWE-Atlas-QnA 50.8 对 41.9(+8.9)。这些任务的共同点是:动作序列长、中间状态需要被记住、上一步的错误会污染后续十步。

失败恢复与交付:分数低但差距稳定。 这一类最能说明问题。Terminal-Bench 4.0 上 33B 只有 23.8,对手是 6.3 / 1.6 / 0.0——绝对水平很低,相对领先很大。这说明长程终端任务对 30B 级模型仍是"未解题",33B 只是从"基本不会"挪到"偶尔能做对"。同理,JobBench 覆盖 35 个职业的交付型任务,33B 在多数职业上超过基线(见 occupation.png),但 44.8 的绝对值提醒我们:一个任务全自动完成率不到一半。

Nanbeige4.3-33B 与同级模型的 Agentic Coding、Agentic Cowork 与推理基准对比

统计上更简洁的表述是:20 项里 33B 拿下 17 项第一,输掉的三项是 SWE-Bench Pro(60.3 vs 61.7)、GDPval(84.8 vs 86.4)、GPQA Diamond(89.5 vs 91.3)——全部是"单点正确性"型指标,且幅度都在 2 分以内。赢的地方是链路,输的地方是知识点。 这个分布比"17/20 第一"这句宣传语有信息量得多。

对照口径:同 harness 只换模型,但 token 预算并不相同

README 声明"所有模型在各自最高 thinking effort 下、使用相同推理超参与相同 harness 评测"。这句话可以支撑"脚手架公平",但不能支撑"成本公平"——各家把 thinking 拉到最高时,输出 Token 规模并不一样;而 Agent 的总成本 = 单 Token 成本 × Token 数 × 轮数 × 重试率。所以分数只能用来比较能力上限,不能直接换算成单位任务成本。

harness 的细节必须抄下来,否则跨表对比会立刻失真:

基准 harness / 版本 关键约束(README 脚注)
Terminal-Bench 2.1 Terminus 2 —
Terminal-Bench 4.0 / DeepSWE mini-swe-agent v2.4.6 —
SWE-Atlas-QnA mini-swe-agent v2.4.6 1,304 条任务级 rubric,GPT-6 Sol 作裁判
NL2Repo Claude Code —
JobBench Claude Code + 搜索工具 —
Claw-Eval 官方实现 仅 General 子集,157 条单轮任务
YC-bench 官方实现 每次调用只保留最近 10 轮对话
Toolathlon-Verified 官方实现 单次请求不设 max_tokens 上限
DeepPlanning / EnterpriseOps-Gym / Tau3-Bench 官方仓库 —

这张表直接改写了三个解读:

其一,Claw-Eval 的 78.3 不是长程能力的证据。它只跑 General 子集的 157 条单轮任务,而 pass^3 的含义是同一任务三次全过才计分。它衡量的是"协议稳定 + 单轮正确 + 不抖动",恰好就是上节所说"几乎打平"的那一档。用 78.3 论证"33B 长程能力强"是错位的。

其二,YC-bench 的 $1,025,437 是在只看 10 轮上下文的条件下取得的,比对手高约 60%。这说明在短记忆窗口的经营类模拟里,33B 的决策质量优势明显;但它同时说明这项基准并没有测试"长程记忆",不能拿来证明 512K 上下文有用。

其三,Terminal-Bench 2.1 的 80.9 与 4.0 的 23.8 是同一个模型,差了 57 个百分点。差别不在权重,而在任务版本与脚手架(Terminus 2 vs mini-swe-agent v2.4.6)。任何引用"33B 终端任务 80 分"的说法,都必须连版本号一起引用,否则就是选择性叙事。

从 3B 到 33B:这条曲线在仓库里并不存在

必须诚实地说一件事:官方没有发布同代 3B 的成绩。README 只写了"upcoming small model distillation pipeline (e.g., for Nanbeige4.3-3B)"。想画一条严格的 3B→33B 边际收益曲线,在这份仓库里做不到。

能做的替代是跨代近似对照,代价是必须打三重折扣:不同代(4.2 vs 4.3)、不同 benchmark 版本、不同 harness。把两边都出现过的任务挑出来,只剩两个勉强可比的点:

基准 4.2-3B(3B 非嵌入) 4.3-33B(30.7B 非嵌入) 差值 可比性
Claw-Eval pass^3 52.2 78.3 +26.1 同基准,跨代,可近似
GDPval 74.3(Rubrics 版) 84.8 +10.5 版本口径不同,弱可比
Terminal-Bench 44.1(2.0) 80.9(2.1)/ 23.8(4.0) 不可算 版本不同
SWE-Bench 63.6(Verified) 60.3(Pro) 不可算 子集不同,Pro 更难
PinchBench-V2 74.7 未列 — —

这张表的价值不在数字,而在它证明了"参数涨十倍换多少成功率"这个问题没有单一答案:在 pass^3 这种"稳定性 + 单轮协议"型指标上,3B 已经能到 52 分,33B 补上 26 分;在 GDPval 这种"交付物质量"型指标上,3B 到 74 分,33B 只多 10.5 分,接近饱和;而在 DeepSWE、Terminal-Bench 4.0 这类长链路任务上,3B 连参赛数据都没有——不是没测,是这一档对 3B 而言还没到"能出分"的门槛。

结合 4.2 技术报告公开的后训练数据,可以看清这 26 分是怎么来的:3B 阶段做了 turn 级 loss mask(成功轨迹里错误的中间回合不进损失,但保留在上下文里),让模型"看到失败但不模仿失败";做了带长度约束的推理 RL;做了以动作为中心的 Agentic RL,归一化单轮动作错误率下降约 20%,任务分从 66.0 升到峰值 71.0。这些手段有一个共同点:它们不增加参数,只提高单位参数的使用效率。所以更准确的因果假设是——深度与训练分布决定"能不能做",宽度决定"能做多长"。33B 的十倍参数主要买了后者。

顺带一个反向证据:4.2-3B 在 RL 后准确率上升的同时输出长度下降(PinchBench-V2 从 55.9 升至 74.7,平均输出从 20.7K 降到 9.7K;SWE-Verified 从 56.7 升至 63.6,21.5K 降到 17.6K)。这条曲线说明成功率和 Token 消耗可以同时改善,也说明拿"参数量"当能力代理指标是粗糙的——真正该记的账是"每个有效任务的 Token 数"。

真实账单:66 GB 权重只是首付,KV 才是月供

把 33B 接进生产前,先算三笔账。

第一笔:权重。 66.24 GB(bf16),单张 80GB 卡放得下但只剩十几 GB 给 KV 和激活。所以官方部署示例直接给了 --tp-size 4 / --tensor-parallel-size 4(README.md),按 4 卡切。这不是保守配置,是按显存算出来的。

第二笔:KV Cache。 这一笔最容易被忽略,也是这份配置里最锋利的数字。config.json 写着 num_hidden_layers: 52、num_key_value_heads: 8、head_dim: 128,于是每 Token 的 KV 元素数为:

52 × 2 × 8 × 128 = 106,496 元素/Token
bf16 下 = 212,992 字节 ≈ 208 KiB/Token

按这个单价摊到不同上下文长度:

上下文 单序列 KV(bf16) 8 并发
32K 6.5 GiB 52 GiB
128K 26.0 GiB 208 GiB
256K 52.0 GiB 416 GiB
512K(标称上限) 104.0 GiB 832 GiB

也就是说,模型卡宣传的 524,288 Token 上下文,光 KV 就要 104 GiB,超过任何单卡容量,权重还没算进去。GQA 已经把 KV 从 56 头压到 8 头(1/7),仍不足以让 512K 变成单机能力。实践中 512K 是"分页 + 多卡 + 高并发降级"才能碰的区间,不是默认工作点。反过来说,agent 场景里真正跑得动的是 32K–128K 档,这也是为什么 README 给 Agent 的 max_new_tokens 是 65,536 而不是 262,144。

第三笔:Token。 README 给了两套推理参数,差异极大:

场景 temperature top_p max_new_tokens
Agentic / 工具调用 1.0 0.95 65,536
推理 / 对话 0.6 0.95 262,144

Agent 场景用 1.0 的温度,是刻意的:探索性动作需要分布外采样,否则会在同一处反复打转。但 65,536 的输出上限 × 10.2 倍非嵌入参数,单任务的算力下界就是 2 × 30.7e9 × 65536 ≈ 4.0 PFLOPs(不含 prefill、不含重试、不含工具调用往返)。这个数字解释了一件事:为什么 33B 的定位是 teacher 而不是默认线上模型——用它的 rollout 做蒸馏数据,比用它的推理做线上服务更划算。

还有一个实操坑藏在 generation_config.json:

{ "_from_model_config": true, "eos_token_id": 166101, "use_cache": false }

use_cache: false 是从 config.json 的 use_cache: false 继承下来的。走 vLLM / SGLang 不受影响(它们有自己的 KV 管理),但如果你直接用 model.generate() 做多轮 Agent 循环又不显式覆盖这个值,每一步都会重算整个前缀——在长上下文 Agent 里这不是性能问题,是能不能跑完的问题。另外 eos_token_id 是 166101,也就是 <|im_end|>;注意 bos_token_id 是 166100(<|im_start|>),pad_token_id 是 0(<unk>)。这些值在 tokenizer_config.json 里能一一对应上。

工程侧:模板里有三个决定成败的开关

33B 的 Agent 能力有一半写在 tokenizer 的 chat template 里。三个参数不开对,分数会显著掉,而且掉得毫无提示。

开关一:tool_call_format,默认 xml。 README 明确说"tool_call_format="xml" 获得最佳工具调用性能,json 仅为兼容保留"。模板里两种格式的差异不只是语法:

# xml(默认,推荐)
<tool_call>
<function=example_function_name>
<parameter=example_parameter_1>
value_1
</parameter>
</function>
</tool_call>

# json(兼容)
<tool_call>
{"name": <function-name>, "arguments": <args-json-object>}
</tool_call>

XML 版用标签而不是大括号来界定参数边界,参数值可以跨多行、不需要转义引号。对代码类 Agent 尤其重要——把一段带引号的补丁塞进 JSON 字符串,是格式错误的高发区。

开关二:preserve_thinking。 模板里这段逻辑是全文最容易被误读的地方:

{%- if (preserve_thinking is defined and preserve_thinking is false) and (loop.index0 < ns.last_query_index) %}
    {{- '<|im_start|>' + message.get('role','') + '\n<think>\n\n</think>\n\n' + content }}
{%- else %}
    {{- '<|im_start|>' + message.get('role','') + '\n<think>\n' + reasoning_content + '\n</think>\n\n' + content }}
{%- endif %}

当 preserve_thinking=false 且该条 assistant 消息早于最后一条真实 user 请求时,历史思考被清空成空标签,只留正文;否则整段 reasoning_content 原样保留。README 的建议很清楚:通用对话设为 False(省 Token),多轮工具、办公、代码 Agent 设为 True(保持推理连续性)。而 footnote 1 写着一句话——33B 的所有评测都是在 preserve_thinking=true 下跑的。

这构成一个复现陷阱:如果你的框架只按 enable_thinking 拼模板、不传 preserve_thinking,模板会走 else 分支(默认保留),行为恰好和评测一致;但如果框架为了省 Token 主动设成 False,你测出来的 Agent 分数会和模型卡对不上,而且差异会随轮数累积放大。

开关三:<tool_response> 包裹与多步轮次合并。 模板会从后往前扫描,找到最后一条不是 <tool_response>...</tool_response> 的 user 消息,将其后的所有 tool 消息压进同一个 user turn:

{%- elif message.get('role','') == "tool" %}
    {%- if loop.previtem and loop.previtem.get('role','') != "tool" %}
        {{- '<|im_start|>user' }}
    {%- endif %}
    {{- '\n<tool_response>\n' }}{{- content }}{{- '\n</tool_response>' }}

含义很硬:工具返回值必须原样落在 <tool_response> 标签内。如果你的 executor 把工具结果直接拼成一条新的 user 消息、或忘了加这对标签,模板会把它识别为"用户提出了新请求",multi_step_tool 状态被重置,历史思考的分界点也跟着移动——模型会以为任务重新开始,从而丢掉已经完成的步骤。这是"失败恢复"类任务在自建 harness 上最常见的静默掉分原因,比模型本身的问题更常见。

部署侧还有两个细节值得记:tokenizer 要用 use_fast=False(tokenizer.json 在这份镜像里只是 LFS 指针,实际分词器是 LlamaTokenizer + sentencepiece,模型卡示例也写了 use_fast=False);SGLang / vLLM 都要求配 --reasoning-parser qwen3 和 --tool-call-parser qwen3_coder。原因不神秘:特殊 Token 是 <think> / </think> / <tool_call> / </tool_call>(166103–166106,见 added_tokens.json),标签语义与 Qwen 系解析器一致。架构是标准 LlamaForCausalLM,协议却是 Qwen 风格——这个组合在接入时容易踩空。

怎么用这份账本做决策

第一,把任务按链路长度分桶,而不是按业务领域分桶。 上面的 delta 分布已经给出判据:单轮、参数明确、工具数少的任务,3B 和 33B 的差距在 4 分以内,升级的边际收益极低;一旦任务需要跨文件定位、失败重试、十轮以上状态维持,差距会跳到 10–23 分。省钱的做法不是"全量上 33B",而是先用 3B 跑一遍,只把失败的那一桶升级。

第二,评测必须记 pass^k 而不是 pass@1。 Claw-Eval 用 pass^3(三次全过才计分)不是标新立异,而是因为 Agent 的方差太大:一次成功掩盖不了十次里三次格式崩坏。同一逻辑下,你的内部评测至少应该记录"首次成功率、重试后成功率、平均轮数、平均输出 Token"四个数,才能回答"这十倍参数值不值"。

第三,把口径当结论的一部分写进文档。 Terminal-Bench 80.9 与 23.8 的差距说明,基准版本与 harness 对结果的影响可以超过模型代际差异。任何对外引用都应带上"哪个版本、哪个脚手架、什么 thinking 设置"。这不是学术洁癖,而是避免用自己的复现结果去否定别人的模型卡,或反之。

第四,接受 teacher 的定位。 README 说得很直白:33B 先做强,再蒸馏到 3B。这意味着对多数团队,33B 的正确用法是离线产出高质量轨迹——用 65,536 的 Token 预算、1.0 的温度、XML 工具格式、preserve_thinking=true,在真实环境里跑出通过验证的轨迹,再把这些轨迹喂给小模型。线上推理留在小模型侧,账才算得平。

结语:这十倍参数买的是"长度",不是"智商"

把账合上,数字是这样的:非嵌入参数 3B → 30.72B(10.2×);权重 66.24 GB bf16;KV 单价 208 KiB/Token,512K 上下文要 104 GiB;单任务算力下界 4.0 PFLOPs。换回来的是:单步协议层 +0.3 到 +4 分,长程工具链 +10 到 +23 分,40 项里的 17 项第一,以及在 SWE-Bench Pro、GDPval、GPQA 上的三次小幅落后。

这条曲线的形状比它的高度更值得记住。它说明在 30B 这个量级上,参数扩张的边际收益高度集中在"链路长度 × 工具密度"这一个维度上;一旦任务被压缩成单轮、单工具、明确参数,第一梯队的差距就退化成噪声。对做 Agent 的人来说,这其实是个好消息:你不需要为了所有任务付十倍的账单,只需要为长程任务付。而 33B 存在的意义,正是在把这条边界标出来——顺便,给下一代 3B 当老师。

登录后查看全文
Nanbeige4.3-33B