权重开放了,配套没跟上:33B 发布两天,量化版和 GGUF 仍缺席
权重开放了,配套没跟上:33B 发布两天,量化版和 GGUF 仍缺席
10 月 25 日,Nanbeige4.3-33B 的权重与 README 一起上线。按官方说法,这是 Nanbeige4.3 系列的“教师模型”:先在 30B 量级把 Agent 能力做到开源第一梯队,再蒸馏出 3B 小模型。这个路线本身没问题,问题出在发布形态上——仓库里只有 14 个 BF16 safetensors 分片,合计 66.2 GB,没有 GGUF,没有 AWQ/GPTQ,没有 Ollama 包,也没有一份官方转换说明。
对一个宣称“可立即投入真实部署、性价比高”的 33B 模型来说,这个缺口不是锦上添花的问题,而是决定它能不能被大多数人跑起来的问题。本文基于仓库真实文件与社区已有记录,把缺口逐项拆开:缺了什么、为什么这次比 3B 时代更痛、哪些坑必须提前知道,以及先行者现在可以怎么自己补。
一、先把发布包摊开看:有什么,没有什么
本文核对的是 GitCode 上的镜像仓库(浅克隆,仅一次 Update README.md 提交),文件清单如下:
| 类别 | 文件 | 说明 |
|---|---|---|
| 权重 | model-00001-of-00014.safetensors … model-00014-of-00014.safetensors |
BF16,最大分片 4.05 GB |
| 索引 | model.safetensors.index.json | total_size = 66,237,954,048 字节,471 个张量 |
| 结构 | config.json | model_type: llama,52 层,hidden 7168 |
| 分词 | tokenizer.model、tokenizer.json、tokenizer_config.json | SentencePiece,LlamaTokenizer,含 8003 字符的 chat template |
| 特殊 token | added_tokens.json、special_tokens_map.json | 7 个新增 token |
| 生成 | generation_config.json | 只有 _from_model_config 与三个 token id |
| 图示 | figures/ |
nbg.png 为实体文件;nanbeige43-benchmarks.png、occupation.png 是 131 字节的 LFS 指针 |
缺的部分同样明确:仓库内不存在任何 *.gguf、quantize_config.json、chat_template.jinja、modeling_*.py;用 gguf|awq|gptq|quantiz|int4|fp8 全仓检索(排除 .git)零命中;README 全文 147 行,没有任何“量化 / GGUF / 本地部署”章节。同命名空间下目前只有 Nanbeige4-3B-Thinking-2511、Nanbeige4.1-3B、Nanbeige4.3-33B、ToolMind 四个仓库,没有 -GGUF 或 -AWQ 的兄弟仓。
顺带一个很多人第一天就会踩的坑:本仓库走 Git LFS,未装 LFS 时 git clone 下来的 safetensors 每个只有 135 字节,内容是 version https://git-lfs.github.com/spec/v1 加 sha256。tokenizer.json(18.4 MB)同样走 LFS。也就是说,非 LFS 克隆得到的是一个“看起来完整、实际全是空壳”的目录,加载会直接在 safetensors 解析阶段报错。
二、为什么 33B 的量化缺口比 3B 时代更致命
把 config.json 的参数代进去算一遍,就能看清门槛在哪:
| 参数 | 值 | 推导 |
|---|---|---|
num_hidden_layers |
52 | — |
hidden_size / num_attention_heads / head_dim |
7168 / 56 / 128 | Q、O 各 51.4 M/层 |
num_key_value_heads |
8 | GQA 7:1,K、V 各 7.34 M/层 |
intermediate_size |
22016 | FFN 473 M/层 |
vocab_size / tie_word_embeddings |
166912 / false | embed + lm_head 各 1.196 B |
单层 590.9 M,52 层 30.7 B,加上未共享的词表两端 2.39 B,总计 33.12 B——与索引里的 total_size / 2 完全吻合。BF16 就是 66.2 GB。
更关键的是 KV Cache。每 token 的 KV 字节数为 2 × 8 × 128 × 52 × 2 = 212,992,即 208 KiB/token:
| 上下文 | KV 占用(BF16) |
|---|---|
| 32K | 约 7.0 GB |
| 128K | 约 27.9 GB |
| 512K(模型上限) | 约 111.7 GB |
于是显存账非常难看:BF16 权重 66.2 GB,单张 80 GB 卡装完权重只剩 13.8 GB,连 128K 上下文都不够;48 GB 卡必须双卡 TP 才勉强。而按位宽折算权重体积:
| 形态 | 估算权重体积 | 单卡可行性 |
|---|---|---|
| BF16 | 66.2 GB | 80 GB 单卡勉强,长上下文需 TP |
| FP8 / INT8 | 约 33 GB | 48 GB 卡可跑 |
| GGUF Q8_0 | 约 35 GB | 48 GB 卡可跑 |
| GGUF Q6_K | 约 27 GB | 40 GB 卡偏紧 |
| GGUF Q5_K_M | 约 24 GB | 32 GB 卡可跑 |
| GGUF Q4_K_M | 约 20 GB | 24 GB 卡可跑 |
| AWQ W4 / g128 | 约 18 GB | 24 GB 卡宽松,20 GB 卡可试 |
(按 33.12 B 参数 × 对应 bpw 估算,未计量化 scale/zero 开销,实际略大。)
差距就在这里:没有 4-bit,这个模型的实际受众只剩拥有 80 GB 卡或多卡机器的人;有了 4-bit,24 GB 的 4090/3090 就能跑。而 README.md 第 23 行写的是 “a powerful, cost-effective option for immediate real-world deployment”。就部署成本而言,这句话在缺少官方量化版本时是不成立的。
还有一层背景:4.3 系列的既定节奏是“先 33B 教师,再蒸馏 3B”。README 明确写道这套权重“lays the necessary foundation to power our upcoming small model distillation pipeline (e.g., for Nanbeige4.3-3B)”。换句话说,3B 还没来,33B 是当下唯一能落地的选择,量化缺口也就无法用“等小模型”来搪塞。
三、缺口不只是“少几个文件”,还有三处会直接卡住先行者
如果只是没打包,社区自己转一次也就罢了。真正麻烦的是,这个发布包里有几处工程细节,会让“照 README 抄命令”的人在第一小时就怀疑人生。
1. 思维链标记与推荐的 reasoning parser 不是同一套 token
README.md 给出的服务启动命令是:
vllm serve ${MODEL_PATH} \
--tensor-parallel-size 4 \
--enable-auto-tool-choice \
--reasoning-parser qwen3 \
--tool-call-parser qwen3_coder
但打开 tokenizer_config.json 看 chat template,模型用的是 <think> / </think>:
{%- if enable_thinking is defined and enable_thinking is false %}
{{- '<think>\n\n</think>\n\n' }}
{%- else %}
{{- '<think>\n' }}
{%- endif %}
added_tokens.json 也证实了这一点:<think> 是 166103,</think> 是 166104,而 Qwen3 那套 / 是另一组 id。vLLM 的 qwen3 推理解析器是按 Qwen 的标记切分的,标记字符串对不上时,reasoning_content 很可能拿不到内容,整段思维链会混进 content。
这不是“不能用”,而是“必须实测”。判断方法很简单,起服务后打一次非流式请求,看 choices[0].message.reasoning_content 是否为空、content 里是否残留 <think>。如果确认为空,两条路:客户端按 </think> 自行切分,或者用 enable_thinking=false 关闭思维链。无论哪条,都不该由每个使用者各自摸索一遍。
2. skip_special_tokens=True 剥不掉 <think> 和 <tool_call>
这是更容易被忽略的细节。在 tokenizer_config.json 的 added_tokens_decoder 里:
166103 '<think>' special=False
166104 '</think>' special=False
166105 '<tool_call>' special=False
166106 '</tool_call>' special=False
166100 '<|im_start|>' special=True
166101 '<|im_end|>' special=True
也就是说,四个 Agent 相关标记没有被标记为 special token。后果是:README 的 Transformers 示例里那句 skip_special_tokens=True 只会去掉 <|im_start|> / <|im_end|> / <|endoftext|>,<think>、</think>、<tool_call> 会原样留在输出里。打印出来的“回答”带着一堆控制标记,不是模型没对齐,而是解码参数管不到它们。做格式校验、做流式前端、做 SFT 数据清洗时,这一条必须先处理掉。
3. use_cache: false 与空白的采样参数
config.json 里 "use_cache": false,generation_config.json 里只有三个 token id 和 _from_model_config,没有任何 temperature / top_p / top_k。
两件事叠加的结果是:用 README 的 Transformers 代码直接跑,generate() 会沿用 use_cache=False 与贪婪解码。前者让自回归解码退化为逐 token 全量重算,33B 在多长的上下文下都是灾难;后者让 README 推荐的 temperature=1.0(Agent 任务)/ 0.6(推理对话)根本不生效。官方推荐值只写在 README 的表格里:
| 场景 | Temperature | Top_p | Max New Tokens |
|---|---|---|---|
| Agent / 工具调用 | 1.0 | 0.95 | 65,536 |
| 推理与对话 | 0.6 | 0.95 | 262,144 |
这些值没有进 generation_config.json,就得每个使用者自己抄一遍;而 use_cache 这条,连抄都抄不到——它藏在 883 字节的配置里,不读源码根本发现不了。最小修法:
model = AutoModelForCausalLM.from_pretrained(model_id, torch_dtype="auto",
device_map="auto", trust_remote_code=True)
model.config.use_cache = True # 否则长上下文自回归解码会退化成全量重算
out = model.generate(inputs, max_new_tokens=1024, do_sample=True,
temperature=0.6, top_p=0.95, use_cache=True)
4. 必须转进 GGUF 的 chat template
模板没有独立的 .jinja 文件,整段 8003 字符埋在 tokenizer_config.json 的 chat_template 字段里。这段模板用了 namespace、raise_exception、tojson、|items、loop.previtem、messages[::-1] 等 Jinja 特性,还依赖 tool_call_format(xml / json)、enable_thinking、preserve_thinking 三个变量。convert_hf_to_gguf.py 会把它写进 GGUF 元数据,但 llama.cpp 的 minja 只覆盖 Jinja 子集——转完之后不验证模板渲染,等于没转。
模板里还有一个值得记住的设计细节:preserve_thinking 为 false 时,历史轮次的思维链会被替换成 <think>\n\n</think>\n\n,只保留最终回答;为 true 时则完整保留。README 的建议是:通用问答用 false,多轮工具调用、办公任务、代码 Agent 用 true。这不是可选项,而是影响多轮任务成功率的行为开关。
至于工具调用格式,模板默认 tool_call_format='xml',产出形如:
<tool_call>
<function=example_function_name>
<parameter=example_parameter_1>
value_1
</parameter>
</function>
</tool_call>
这个结构与 qwen3_coder 的 XML 解析器是匹配的;但如果有人为了“通用性”改成 json,产出的就是 <tool_call>{"name": ..., "arguments": {...}}</tool_call>,此时必须换成 Hermes 一类的 JSON 解析器,否则 --enable-auto-tool-choice 会直接静默失败——不报错,只是 tool_calls 一直为空。
四、社区在等的两件事:转换脚本,和验证过的位宽建议
翻一下这个系列的历史,会发现“适配滞后”是惯性,不是这次的特例。
Nanbeige4.2-3B 时期,社区教程里的转换命令是这样的:
git clone -b nanbeige42 https://github.com/Nanbeige/llama.cpp.git
也就是说,当时需要官方的 llama.cpp 分支才能完成转换,Ollama 同样要 -b nanbeige42 的分支版本;vLLM 侧则长期只能依赖 fork,直到后来才等来主线支持——社区当时的标题是“vLLM 支持即将落地,只能依赖 fork 的时代结束了”。这条时间线说明:官方一直是“先发权重、后补工具链”,而这次 33B 连分支都还没有。
第一件事:转换脚本。 好消息是,这次的结构风险比 4.2 小得多。config.json 写着 "architectures": ["LlamaForCausalLM"]、"model_type": "llama",仓库里没有任何 modeling_*.py,也没有 auto_map——README 里那句 trust_remote_code=True 实际什么远程代码都不会加载。也就是说这是一个结构上标准的 Llama:52 层、GQA 8 组、head_dim=128、rope_theta=1.2e8、无 rope_scaling、512K 原生上下文。这些全是参数而非算子,主线 llama.cpp 的 convert_hf_to_gguf.py 理论上可以直接转。
真正需要官方兜底的,是那些“参数之外”的东西:166912 词表的 SentencePiece 分词器映射、四个非 special 的 Agent 标记、8003 字符模板在 minja 下的渲染一致性,以及 512K 位置编码在量化后的表现。这些恰恰是第三方转一次能转出来、但不敢保证转对了的部分。
第二件事:验证过的位宽建议。 这个模型对量化比普通对话模型敏感,原因有三:
- 输出结构强依赖四个标记(
<think>、</think>、<tool_call>、<parameter=)。低比特量化最容易破坏的正是这种“模式化 token 序列”的稳定性,一旦<parameter=被写坏,工具调用直接失败,而 benchmark 的通用分可能只掉一点点,掩盖了真实损失。 - 词表两端未 tie(config.json 里
tie_word_embeddings: false),embed 与 lm_head 各 1.196 B,占总量 7.2%。这两个矩阵在 4-bit 下的误差会被直接放大到输出分布上,通常的稳妥做法是给它们单独提位宽。 - 512K 上下文只在 BF16 下标定过,量化后长上下文的行为没有公开数据。
社区目前能参照的只有 3B 量级的经验,而且不能线性外推。4.1-3B 的 AWQ 实践用的是 w_bit=4、q_group_size=128、128 条校准样本,12.4 GB 降到 5.2 GB;4.2-3B 的 Q4_K_M 报的是 2.8 GB 显存、约 3 倍速度。3B 掉一点分无伤大雅,33B 的 Q4 一旦在 Agent 长链上漂移,用户很难判断是模型不行还是量化不行——没有官方基线,就没有归责依据,这才是“验证过的位宽建议”真正的价值。
五、先行者的临时方案:自己转,但要带着验收清单
在官方补齐之前,把 33B 转成 GGUF 是目前最现实的路。以下步骤基于仓库真实参数,按“先验证、再量化”的顺序给出。
第 0 步:确认磁盘与内存预算
BF16 中间产物 66 GB,量化产物 20–35 GB,加上原始分片,全程建议预留 200 GB 磁盘。转换阶段会整模型加载,内存不足时先合并为单文件再转。
第 1 步:完整拉取(别拿到 LFS 指针)
hf download Nanbeige/Nanbeige4.3-33B --local-dir ./Nanbeige4.3-33B
# 或:git lfs install && git clone <repo> && cd <repo> && git lfs pull
ls -lh Nanbeige4.3-33B/model-00001-of-00014.safetensors # 应为 4.1G,而不是 135 字节
第 2 步:先用 Transformers 校验模板与标记
转换之前先把“应该长什么样”固定下来,后面才有对照物:
from transformers import AutoTokenizer
tok = AutoTokenizer.from_pretrained("./Nanbeige4.3-33B", use_fast=False, trust_remote_code=True)
print(tok.convert_tokens_to_ids(["<think>", "</think>", "<tool_call>", "<|im_end|>"]))
# 期望:[166103, 166104, 166105, 166101]
prompt = tok.apply_chat_template(
[{"role": "user", "content": "把 /tmp 下超过 10MB 的文件列出来"}],
add_generation_prompt=True, tokenize=False,
enable_thinking=True, preserve_thinking=True, tool_call_format="xml")
print(prompt)
把这段渲染结果存成 ref_prompt.txt,第 4 步要逐字比对。
第 3 步:转 BF16 GGUF
git clone https://github.com/ggml-org/llama.cpp && cd llama.cpp
cmake -B build -DGGML_CUDA=ON && cmake --build build --config Release -j
python3 convert_hf_to_gguf.py ../Nanbeige4.3-33B \
--outtype bf16 --outfile ../nbg43-33b-bf16.gguf
如果转换脚本在分词器或模板字段上报错,优先怀疑 SentencePiece 词表与新增 token 的映射,而不是架构——架构就是标准 Llama。
第 4 步:验证 GGUF 元数据(最容易跳过、也最关键的一步)
./build/bin/llama-cli -m ../nbg43-33b-bf16.gguf --jinja \
-p "把 /tmp 下超过 10MB 的文件列出来" -n 8 -ngl 99 --verbose-prompt 2>&1 | head -60
三点必须确认:渲染出的 prompt 与 ref_prompt.txt 一致(尤其 <|im_start|>assistant\n<think> 这段开头);<think>、<tool_call> 被识别为独立 token 而不是被拆成 <、think、>;512K 位置编码没有触发 rope 相关告警。
第 5 步:量化,Agent 场景别一上来就 Q4
# 可选:用校准文本生成 imatrix,明显改善低比特下的稳定性
./build/bin/llama-imatrix -m ../nbg43-33b-bf16.gguf -f calib.txt -o ../nbg43.imatrix --chunks 128
./build/bin/llama-quantize --imatrix ../nbg43.imatrix \
../nbg43-33b-bf16.gguf ../nbg43-33b-Q5_K_M.gguf Q5_K_M
./build/bin/llama-quantize --imatrix ../nbg43.imatrix \
../nbg43-33b-bf16.gguf ../nbg43-33b-Q4_K_M.gguf Q4_K_M
建议先出 Q5_K_M(约 24 GB)作为“可信基线”,再出 Q4_K_M(约 20 GB)作为“能装进 24 GB 卡”的版本,两者对比着看。校准语料别只放通用中文:把带 <tool_call> 的多轮轨迹、代码 diff、办公类指令混进去,imatrix 才会照顾到真正会崩的那部分分布。
第 6 步:起服务并验收
./build/bin/llama-server -m ../nbg43-33b-Q5_K_M.gguf --jinja \
--host 0.0.0.0 --port 8080 -ngl 99 -c 32768 -fa \
--cache-type-k q8_0 --cache-type-v q8_0
--cache-type-k/v q8_0 把 208 KiB/token 的 KV 压到约一半:32K 上下文从 7.0 GB 降到 3.5 GB 左右,这是 24 GB 卡上唯一能让上下文超过 32K 的现实手段。
vLLM 路线则要注意三件事:--tensor-parallel-size 按卡数给(48 GB 双卡给 2);--tool-call-parser qwen3_coder 只配 xml 格式;--reasoning-parser qwen3 按前文所述先实测 reasoning_content,必要时用请求级参数关掉思维链:
curl -s localhost:8000/v1/chat/completions -H 'Content-Type: application/json' -d '{
"model": "Nanbeige4.3-33B",
"messages": [{"role": "user", "content": "9.11 和 9.8 哪个大?"}],
"chat_template_kwargs": {"enable_thinking": false, "preserve_thinking": false}
}' | python3 -c "import sys,json; m=json.load(sys.stdin)['choices'][0]['message']; print(repr(m.get('reasoning_content'))); print(m['content'][:200])"
想要 vLLM 原生跑 4-bit,llm-compressor 的 W4A16(AWQ/GPTQ)比自建脚本更省事,也能让 --quantization 参数直接生效;纯 AWQ 用 AutoAWQ 时记得 w_bit=4、q_group_size=128,并且准备 80 GB 以上显存或分片加载——33B 的量化过程本身就要把 66 GB 的 BF16 装进去。
验收清单(四项,缺一不可)
| 检查项 | 方法 | 失败表现 |
|---|---|---|
| 思维链剥离 | 看 reasoning_content 与 content 边界 |
content 里残留 <think> 或整段思考 |
| 工具调用可解析 | 给两个函数,问一个必须调工具的问题 | tool_calls 为空,或参数被截断 |
| 结构化稳定性 | 同一 prompt 跑 20 次,统计 XML 闭合率 | <parameter=、</function> 偶发缺失 |
| 长上下文 | 32K / 128K 各跑一次检索式提问 | 后半段答非所问,或直接 OOM |
任何一项不过,就不要再往下压位宽。
风险清单
| 风险 | 触发点 | 缓解 |
|---|---|---|
| 模板渲染不一致 | minja 不支持 raise_exception、namespace |
--jinja 下逐字比对 prompt;必要时手写精简模板 |
| 4-bit 下格式漂移 | Q4_K_M + 长链 Agent | 先 Q5_K_M 建基线;给 <parameter= 相关张量提位宽 |
| KV 撑爆显存 | 32K 以上上下文 | --cache-type-k/v q8_0,或限制 -c |
| 词表两端掉点 | 未 tie 的 embed / lm_head 低位宽 | 这两层保持 Q6_K 及以上 |
| HF 直跑极慢 | use_cache: false |
显式 use_cache=True |
| 自转版本无法归责 | 无官方基线 | 保留 BF16 与量化版同 prompt 输出对比 |
六、这不是“催更”,是发布契约的问题
把这次发布放到 30B 量级的竞争坐标里看,Nanbeige4.3-33B 的成绩单确实拿得出手:README.md 里的对比表显示,它在 Terminal-Bench 2.1(80.9)、DeepSWE(65.5)、Automation Bench(54.2)、JobBench(44.8)等 Agent 类项目上领先同量级对手,GDPval 84.8 仅小幅落后,35 个职业维度的表现也做了单独统计。能力侧没问题,问题全在分发侧。
一个 33B 模型的“发布”,在今天至少包含四件东西:BF16 权重、一个能跑通的推理命令、一个经过验证的量化产物、一份说清边界条件的说明。前三件里,这次只交付了第一件和第二件的一半——--reasoning-parser qwen3 与 <think> 的错位、skip_special_tokens 管不到的四个标记、use_cache: false、空白的采样参数,都是“命令能贴上去,但跑出来不是那个东西”的具体表现。
对官方来说,补齐的成本其实不高:一个 GGUF 转换记录、一份 Q4/Q5/Q6 的同 prompt 对比、一句“reasoning-parser 请按 <think> 标注自行适配”,就能把几百个先行者各自踩坑的时间省下来。对使用者来说,在补齐之前,请把上面那张验收清单当成硬门槛——权重量化掉的分,最终会以 Agent 任务失败的形式,算在你的账上。