权重开放了,配套没跟上:33B 发布两天,量化版和 GGUF 仍缺席

原创2026-10-26 12:42:051,989 阅读
文章标签:大模型基础模型代码模型AI Agent人工智能

权重开放了,配套没跟上:33B 发布两天,量化版和 GGUF 仍缺席

10 月 25 日,Nanbeige4.3-33B 的权重与 README 一起上线。按官方说法,这是 Nanbeige4.3 系列的“教师模型”:先在 30B 量级把 Agent 能力做到开源第一梯队,再蒸馏出 3B 小模型。这个路线本身没问题,问题出在发布形态上——仓库里只有 14 个 BF16 safetensors 分片,合计 66.2 GB,没有 GGUF,没有 AWQ/GPTQ,没有 Ollama 包,也没有一份官方转换说明。

对一个宣称“可立即投入真实部署、性价比高”的 33B 模型来说,这个缺口不是锦上添花的问题,而是决定它能不能被大多数人跑起来的问题。本文基于仓库真实文件与社区已有记录,把缺口逐项拆开:缺了什么、为什么这次比 3B 时代更痛、哪些坑必须提前知道,以及先行者现在可以怎么自己补。

一、先把发布包摊开看:有什么,没有什么

本文核对的是 GitCode 上的镜像仓库(浅克隆,仅一次 Update README.md 提交),文件清单如下:

类别 文件 说明
权重 model-00001-of-00014.safetensors … model-00014-of-00014.safetensors BF16,最大分片 4.05 GB
索引 model.safetensors.index.json total_size = 66,237,954,048 字节,471 个张量
结构 config.json model_type: llama,52 层,hidden 7168
分词 tokenizer.model、tokenizer.json、tokenizer_config.json SentencePiece,LlamaTokenizer,含 8003 字符的 chat template
特殊 token added_tokens.json、special_tokens_map.json 7 个新增 token
生成 generation_config.json 只有 _from_model_config 与三个 token id
图示 figures/ nbg.png 为实体文件;nanbeige43-benchmarks.png、occupation.png 是 131 字节的 LFS 指针

缺的部分同样明确:仓库内不存在任何 *.gguf、quantize_config.json、chat_template.jinja、modeling_*.py;用 gguf|awq|gptq|quantiz|int4|fp8 全仓检索(排除 .git)零命中;README 全文 147 行,没有任何“量化 / GGUF / 本地部署”章节。同命名空间下目前只有 Nanbeige4-3B-Thinking-2511、Nanbeige4.1-3B、Nanbeige4.3-33B、ToolMind 四个仓库,没有 -GGUF 或 -AWQ 的兄弟仓。

顺带一个很多人第一天就会踩的坑:本仓库走 Git LFS,未装 LFS 时 git clone 下来的 safetensors 每个只有 135 字节,内容是 version https://git-lfs.github.com/spec/v1 加 sha256。tokenizer.json(18.4 MB)同样走 LFS。也就是说,非 LFS 克隆得到的是一个“看起来完整、实际全是空壳”的目录,加载会直接在 safetensors 解析阶段报错。

二、为什么 33B 的量化缺口比 3B 时代更致命

把 config.json 的参数代进去算一遍,就能看清门槛在哪:

参数 值 推导
num_hidden_layers 52 —
hidden_size / num_attention_heads / head_dim 7168 / 56 / 128 Q、O 各 51.4 M/层
num_key_value_heads 8 GQA 7:1,K、V 各 7.34 M/层
intermediate_size 22016 FFN 473 M/层
vocab_size / tie_word_embeddings 166912 / false embed + lm_head 各 1.196 B

单层 590.9 M,52 层 30.7 B,加上未共享的词表两端 2.39 B,总计 33.12 B——与索引里的 total_size / 2 完全吻合。BF16 就是 66.2 GB。

更关键的是 KV Cache。每 token 的 KV 字节数为 2 × 8 × 128 × 52 × 2 = 212,992,即 208 KiB/token:

上下文 KV 占用(BF16)
32K 约 7.0 GB
128K 约 27.9 GB
512K(模型上限) 约 111.7 GB

于是显存账非常难看:BF16 权重 66.2 GB,单张 80 GB 卡装完权重只剩 13.8 GB,连 128K 上下文都不够;48 GB 卡必须双卡 TP 才勉强。而按位宽折算权重体积:

形态 估算权重体积 单卡可行性
BF16 66.2 GB 80 GB 单卡勉强,长上下文需 TP
FP8 / INT8 约 33 GB 48 GB 卡可跑
GGUF Q8_0 约 35 GB 48 GB 卡可跑
GGUF Q6_K 约 27 GB 40 GB 卡偏紧
GGUF Q5_K_M 约 24 GB 32 GB 卡可跑
GGUF Q4_K_M 约 20 GB 24 GB 卡可跑
AWQ W4 / g128 约 18 GB 24 GB 卡宽松,20 GB 卡可试

(按 33.12 B 参数 × 对应 bpw 估算,未计量化 scale/zero 开销,实际略大。)

差距就在这里:没有 4-bit,这个模型的实际受众只剩拥有 80 GB 卡或多卡机器的人;有了 4-bit,24 GB 的 4090/3090 就能跑。而 README.md 第 23 行写的是 “a powerful, cost-effective option for immediate real-world deployment”。就部署成本而言,这句话在缺少官方量化版本时是不成立的。

还有一层背景:4.3 系列的既定节奏是“先 33B 教师,再蒸馏 3B”。README 明确写道这套权重“lays the necessary foundation to power our upcoming small model distillation pipeline (e.g., for Nanbeige4.3-3B)”。换句话说,3B 还没来,33B 是当下唯一能落地的选择,量化缺口也就无法用“等小模型”来搪塞。

三、缺口不只是“少几个文件”,还有三处会直接卡住先行者

如果只是没打包,社区自己转一次也就罢了。真正麻烦的是,这个发布包里有几处工程细节,会让“照 README 抄命令”的人在第一小时就怀疑人生。

1. 思维链标记与推荐的 reasoning parser 不是同一套 token

README.md 给出的服务启动命令是:

vllm serve ${MODEL_PATH} \
  --tensor-parallel-size 4 \
  --enable-auto-tool-choice \
  --reasoning-parser qwen3 \
  --tool-call-parser qwen3_coder

但打开 tokenizer_config.json 看 chat template,模型用的是 <think> / </think>:

{%- if enable_thinking is defined and enable_thinking is false %}
    {{- '<think>\n\n</think>\n\n' }}
{%- else %}
    {{- '<think>\n' }}
{%- endif %}

added_tokens.json 也证实了这一点:<think> 是 166103,</think> 是 166104,而 Qwen3 那套 / 是另一组 id。vLLM 的 qwen3 推理解析器是按 Qwen 的标记切分的,标记字符串对不上时,reasoning_content 很可能拿不到内容,整段思维链会混进 content。

这不是“不能用”,而是“必须实测”。判断方法很简单,起服务后打一次非流式请求,看 choices[0].message.reasoning_content 是否为空、content 里是否残留 <think>。如果确认为空,两条路:客户端按 </think> 自行切分,或者用 enable_thinking=false 关闭思维链。无论哪条,都不该由每个使用者各自摸索一遍。

2. skip_special_tokens=True 剥不掉 <think> 和 <tool_call>

这是更容易被忽略的细节。在 tokenizer_config.json 的 added_tokens_decoder 里:

166103 '<think>'      special=False
166104 '</think>'     special=False
166105 '<tool_call>'  special=False
166106 '</tool_call>' special=False
166100 '<|im_start|>' special=True
166101 '<|im_end|>'   special=True

也就是说,四个 Agent 相关标记没有被标记为 special token。后果是:README 的 Transformers 示例里那句 skip_special_tokens=True 只会去掉 <|im_start|> / <|im_end|> / <|endoftext|>,<think>、</think>、<tool_call> 会原样留在输出里。打印出来的“回答”带着一堆控制标记,不是模型没对齐,而是解码参数管不到它们。做格式校验、做流式前端、做 SFT 数据清洗时,这一条必须先处理掉。

3. use_cache: false 与空白的采样参数

config.json 里 "use_cache": false,generation_config.json 里只有三个 token id 和 _from_model_config,没有任何 temperature / top_p / top_k。

两件事叠加的结果是:用 README 的 Transformers 代码直接跑,generate() 会沿用 use_cache=False 与贪婪解码。前者让自回归解码退化为逐 token 全量重算,33B 在多长的上下文下都是灾难;后者让 README 推荐的 temperature=1.0(Agent 任务)/ 0.6(推理对话)根本不生效。官方推荐值只写在 README 的表格里:

场景 Temperature Top_p Max New Tokens
Agent / 工具调用 1.0 0.95 65,536
推理与对话 0.6 0.95 262,144

这些值没有进 generation_config.json,就得每个使用者自己抄一遍;而 use_cache 这条,连抄都抄不到——它藏在 883 字节的配置里,不读源码根本发现不了。最小修法:

model = AutoModelForCausalLM.from_pretrained(model_id, torch_dtype="auto",
                                             device_map="auto", trust_remote_code=True)
model.config.use_cache = True   # 否则长上下文自回归解码会退化成全量重算

out = model.generate(inputs, max_new_tokens=1024, do_sample=True,
                     temperature=0.6, top_p=0.95, use_cache=True)

4. 必须转进 GGUF 的 chat template

模板没有独立的 .jinja 文件,整段 8003 字符埋在 tokenizer_config.json 的 chat_template 字段里。这段模板用了 namespace、raise_exception、tojson、|items、loop.previtem、messages[::-1] 等 Jinja 特性,还依赖 tool_call_format(xml / json)、enable_thinking、preserve_thinking 三个变量。convert_hf_to_gguf.py 会把它写进 GGUF 元数据,但 llama.cpp 的 minja 只覆盖 Jinja 子集——转完之后不验证模板渲染,等于没转。

模板里还有一个值得记住的设计细节:preserve_thinking 为 false 时,历史轮次的思维链会被替换成 <think>\n\n</think>\n\n,只保留最终回答;为 true 时则完整保留。README 的建议是:通用问答用 false,多轮工具调用、办公任务、代码 Agent 用 true。这不是可选项,而是影响多轮任务成功率的行为开关。

至于工具调用格式,模板默认 tool_call_format='xml',产出形如:

<tool_call>
<function=example_function_name>
<parameter=example_parameter_1>
value_1
</parameter>
</function>
</tool_call>

这个结构与 qwen3_coder 的 XML 解析器是匹配的;但如果有人为了“通用性”改成 json,产出的就是 <tool_call>{"name": ..., "arguments": {...}}</tool_call>,此时必须换成 Hermes 一类的 JSON 解析器,否则 --enable-auto-tool-choice 会直接静默失败——不报错,只是 tool_calls 一直为空。

四、社区在等的两件事:转换脚本,和验证过的位宽建议

翻一下这个系列的历史,会发现“适配滞后”是惯性,不是这次的特例。

Nanbeige4.2-3B 时期,社区教程里的转换命令是这样的:

git clone -b nanbeige42 https://github.com/Nanbeige/llama.cpp.git

也就是说,当时需要官方的 llama.cpp 分支才能完成转换,Ollama 同样要 -b nanbeige42 的分支版本;vLLM 侧则长期只能依赖 fork,直到后来才等来主线支持——社区当时的标题是“vLLM 支持即将落地,只能依赖 fork 的时代结束了”。这条时间线说明:官方一直是“先发权重、后补工具链”,而这次 33B 连分支都还没有。

第一件事:转换脚本。 好消息是,这次的结构风险比 4.2 小得多。config.json 写着 "architectures": ["LlamaForCausalLM"]、"model_type": "llama",仓库里没有任何 modeling_*.py,也没有 auto_map——README 里那句 trust_remote_code=True 实际什么远程代码都不会加载。也就是说这是一个结构上标准的 Llama:52 层、GQA 8 组、head_dim=128、rope_theta=1.2e8、无 rope_scaling、512K 原生上下文。这些全是参数而非算子,主线 llama.cpp 的 convert_hf_to_gguf.py 理论上可以直接转。

真正需要官方兜底的,是那些“参数之外”的东西:166912 词表的 SentencePiece 分词器映射、四个非 special 的 Agent 标记、8003 字符模板在 minja 下的渲染一致性,以及 512K 位置编码在量化后的表现。这些恰恰是第三方转一次能转出来、但不敢保证转对了的部分。

第二件事:验证过的位宽建议。 这个模型对量化比普通对话模型敏感,原因有三:

  • 输出结构强依赖四个标记(<think>、</think>、<tool_call>、<parameter=)。低比特量化最容易破坏的正是这种“模式化 token 序列”的稳定性,一旦 <parameter= 被写坏,工具调用直接失败,而 benchmark 的通用分可能只掉一点点,掩盖了真实损失。
  • 词表两端未 tie(config.json 里 tie_word_embeddings: false),embed 与 lm_head 各 1.196 B,占总量 7.2%。这两个矩阵在 4-bit 下的误差会被直接放大到输出分布上,通常的稳妥做法是给它们单独提位宽。
  • 512K 上下文只在 BF16 下标定过,量化后长上下文的行为没有公开数据。

社区目前能参照的只有 3B 量级的经验,而且不能线性外推。4.1-3B 的 AWQ 实践用的是 w_bit=4、q_group_size=128、128 条校准样本,12.4 GB 降到 5.2 GB;4.2-3B 的 Q4_K_M 报的是 2.8 GB 显存、约 3 倍速度。3B 掉一点分无伤大雅,33B 的 Q4 一旦在 Agent 长链上漂移,用户很难判断是模型不行还是量化不行——没有官方基线,就没有归责依据,这才是“验证过的位宽建议”真正的价值。

五、先行者的临时方案:自己转,但要带着验收清单

在官方补齐之前,把 33B 转成 GGUF 是目前最现实的路。以下步骤基于仓库真实参数,按“先验证、再量化”的顺序给出。

第 0 步:确认磁盘与内存预算

BF16 中间产物 66 GB,量化产物 20–35 GB,加上原始分片,全程建议预留 200 GB 磁盘。转换阶段会整模型加载,内存不足时先合并为单文件再转。

第 1 步:完整拉取(别拿到 LFS 指针)

hf download Nanbeige/Nanbeige4.3-33B --local-dir ./Nanbeige4.3-33B
# 或:git lfs install && git clone <repo> && cd <repo> && git lfs pull
ls -lh Nanbeige4.3-33B/model-00001-of-00014.safetensors   # 应为 4.1G,而不是 135 字节

第 2 步:先用 Transformers 校验模板与标记

转换之前先把“应该长什么样”固定下来,后面才有对照物:

from transformers import AutoTokenizer
tok = AutoTokenizer.from_pretrained("./Nanbeige4.3-33B", use_fast=False, trust_remote_code=True)
print(tok.convert_tokens_to_ids(["<think>", "</think>", "<tool_call>", "<|im_end|>"]))
# 期望:[166103, 166104, 166105, 166101]
prompt = tok.apply_chat_template(
    [{"role": "user", "content": "把 /tmp 下超过 10MB 的文件列出来"}],
    add_generation_prompt=True, tokenize=False,
    enable_thinking=True, preserve_thinking=True, tool_call_format="xml")
print(prompt)

把这段渲染结果存成 ref_prompt.txt,第 4 步要逐字比对。

第 3 步:转 BF16 GGUF

git clone https://github.com/ggml-org/llama.cpp && cd llama.cpp
cmake -B build -DGGML_CUDA=ON && cmake --build build --config Release -j

python3 convert_hf_to_gguf.py ../Nanbeige4.3-33B \
  --outtype bf16 --outfile ../nbg43-33b-bf16.gguf

如果转换脚本在分词器或模板字段上报错,优先怀疑 SentencePiece 词表与新增 token 的映射,而不是架构——架构就是标准 Llama。

第 4 步:验证 GGUF 元数据(最容易跳过、也最关键的一步)

./build/bin/llama-cli -m ../nbg43-33b-bf16.gguf --jinja \
  -p "把 /tmp 下超过 10MB 的文件列出来" -n 8 -ngl 99 --verbose-prompt 2>&1 | head -60

三点必须确认:渲染出的 prompt 与 ref_prompt.txt 一致(尤其 <|im_start|>assistant\n<think> 这段开头);<think>、<tool_call> 被识别为独立 token 而不是被拆成 <、think、>;512K 位置编码没有触发 rope 相关告警。

第 5 步:量化,Agent 场景别一上来就 Q4

# 可选:用校准文本生成 imatrix,明显改善低比特下的稳定性
./build/bin/llama-imatrix -m ../nbg43-33b-bf16.gguf -f calib.txt -o ../nbg43.imatrix --chunks 128

./build/bin/llama-quantize --imatrix ../nbg43.imatrix \
  ../nbg43-33b-bf16.gguf ../nbg43-33b-Q5_K_M.gguf Q5_K_M
./build/bin/llama-quantize --imatrix ../nbg43.imatrix \
  ../nbg43-33b-bf16.gguf ../nbg43-33b-Q4_K_M.gguf Q4_K_M

建议先出 Q5_K_M(约 24 GB)作为“可信基线”,再出 Q4_K_M(约 20 GB)作为“能装进 24 GB 卡”的版本,两者对比着看。校准语料别只放通用中文:把带 <tool_call> 的多轮轨迹、代码 diff、办公类指令混进去,imatrix 才会照顾到真正会崩的那部分分布。

第 6 步:起服务并验收

./build/bin/llama-server -m ../nbg43-33b-Q5_K_M.gguf --jinja \
  --host 0.0.0.0 --port 8080 -ngl 99 -c 32768 -fa \
  --cache-type-k q8_0 --cache-type-v q8_0

--cache-type-k/v q8_0 把 208 KiB/token 的 KV 压到约一半:32K 上下文从 7.0 GB 降到 3.5 GB 左右,这是 24 GB 卡上唯一能让上下文超过 32K 的现实手段。

vLLM 路线则要注意三件事:--tensor-parallel-size 按卡数给(48 GB 双卡给 2);--tool-call-parser qwen3_coder 只配 xml 格式;--reasoning-parser qwen3 按前文所述先实测 reasoning_content,必要时用请求级参数关掉思维链:

curl -s localhost:8000/v1/chat/completions -H 'Content-Type: application/json' -d '{
  "model": "Nanbeige4.3-33B",
  "messages": [{"role": "user", "content": "9.11 和 9.8 哪个大?"}],
  "chat_template_kwargs": {"enable_thinking": false, "preserve_thinking": false}
}' | python3 -c "import sys,json; m=json.load(sys.stdin)['choices'][0]['message']; print(repr(m.get('reasoning_content'))); print(m['content'][:200])"

想要 vLLM 原生跑 4-bit,llm-compressor 的 W4A16(AWQ/GPTQ)比自建脚本更省事,也能让 --quantization 参数直接生效;纯 AWQ 用 AutoAWQ 时记得 w_bit=4、q_group_size=128,并且准备 80 GB 以上显存或分片加载——33B 的量化过程本身就要把 66 GB 的 BF16 装进去。

验收清单(四项,缺一不可)

检查项 方法 失败表现
思维链剥离 看 reasoning_content 与 content 边界 content 里残留 <think> 或整段思考
工具调用可解析 给两个函数,问一个必须调工具的问题 tool_calls 为空,或参数被截断
结构化稳定性 同一 prompt 跑 20 次,统计 XML 闭合率 <parameter=、</function> 偶发缺失
长上下文 32K / 128K 各跑一次检索式提问 后半段答非所问,或直接 OOM

任何一项不过,就不要再往下压位宽。

风险清单

风险 触发点 缓解
模板渲染不一致 minja 不支持 raise_exception、namespace --jinja 下逐字比对 prompt;必要时手写精简模板
4-bit 下格式漂移 Q4_K_M + 长链 Agent 先 Q5_K_M 建基线;给 <parameter= 相关张量提位宽
KV 撑爆显存 32K 以上上下文 --cache-type-k/v q8_0,或限制 -c
词表两端掉点 未 tie 的 embed / lm_head 低位宽 这两层保持 Q6_K 及以上
HF 直跑极慢 use_cache: false 显式 use_cache=True
自转版本无法归责 无官方基线 保留 BF16 与量化版同 prompt 输出对比

六、这不是“催更”,是发布契约的问题

把这次发布放到 30B 量级的竞争坐标里看,Nanbeige4.3-33B 的成绩单确实拿得出手:README.md 里的对比表显示,它在 Terminal-Bench 2.1(80.9)、DeepSWE(65.5)、Automation Bench(54.2)、JobBench(44.8)等 Agent 类项目上领先同量级对手,GDPval 84.8 仅小幅落后,35 个职业维度的表现也做了单独统计。能力侧没问题,问题全在分发侧。

一个 33B 模型的“发布”,在今天至少包含四件东西:BF16 权重、一个能跑通的推理命令、一个经过验证的量化产物、一份说清边界条件的说明。前三件里,这次只交付了第一件和第二件的一半——--reasoning-parser qwen3 与 <think> 的错位、skip_special_tokens 管不到的四个标记、use_cache: false、空白的采样参数,都是“命令能贴上去,但跑出来不是那个东西”的具体表现。

对官方来说,补齐的成本其实不高:一个 GGUF 转换记录、一份 Q4/Q5/Q6 的同 prompt 对比、一句“reasoning-parser 请按 <think> 标注自行适配”,就能把几百个先行者各自踩坑的时间省下来。对使用者来说,在补齐之前,请把上面那张验收清单当成硬门槛——权重量化掉的分,最终会以 Agent 任务失败的形式,算在你的账上。

登录后查看全文
Nanbeige4.3-33B