8-bit 量化为何有效 13.8 位?Nemotron-Parse-v1.2-8bit 量化原理与保真度实测(与 bf16 逐字节一致)

原创2026-10-16 17:07:131,696 阅读

8-bit 量化为何有效 13.8 位?Nemotron-Parse-v1.2-8bit 量化原理与保真度实测(与 bf16 逐字节一致)

Nemotron-Parse-v1.2-8bit 是 NVIDIA Nemotron-Parse-v1.2 文档解析 OCR 模型的 8-bit MLX 量化版本:名义 8-bit,有效位宽却达 13.798 位;实测 6 份文档的转写结果与 bf16 原版逐字节一致,解码速度还约为其 3 倍。本文用大白话拆解它的量化原理、保真度数据,以及仓库里可以查验的证据链。

📌 先认识这个模型:936M 参数的 OCR 文档解析器

Nemotron-Parse-v1.2-8bit 基于 NVIDIA 原版的 encoder-decoder 架构:

  • 视觉端:C-RADIO vision encoder,负责"看懂"文档图片(约 2048×1664 像素输入);
  • 语言端:mBART 风格的 decoder,负责按阅读顺序输出文本、坐标框 <x_..><y_..> 和语义类别 <class_..>。

它不是聊天模型,而是图片转结构化文本:传一张文档图片 + 一句任务提示词,输出带定位信息的 markdown 文本。这个"encoder-decoder 且视觉参数占大头"的结构,正是后文"8-bit 为何变 13.8 位"的关键。

🔍 量化原理:为什么"8-bit"实际是 13.8 位?

打开 config.json 可以看到核心量化配置只有三行:

"quantization": { "bits": 8, "group_size": 64, "mode": "affine" }

逐个拆开理解:

① affine 分组量化(group-wise affine):把每个权重矩阵切成连续 64 个数一组,每组共享一个 scale(和零点)参数;推理时用 权重 ≈ 量化值 × scale 还原。每个权重的实际开销是 8 bit + 16 bit ÷ 64,约 8.25 位,而不是严格的 8 位。这些 scale 参数在 model.safetensors.index.json 里以 .scales 后缀出现。

② 只量化语言端,视觉塔保留 bf16:这是有效位宽"超标"的真正原因。mlx-vlm 在设计上只对 decoder 做量化,而 C-RADIO 视觉编码器约占全部参数的 72%,全部保留 16-bit。一算加权平均:0.72×16 + 0.28×8.25 ≈ 13.8,与实测的 13.798 完全吻合。

量化规格 数值
名义位宽 8 bit(group 64,affine)
有效位宽/权重 13.798 bit
磁盘占用 1.50 GiB
被量化的张量 102 个(decoder,全部带 .scales)
未量化的张量 766 个(vision tower + neck,bf16,零 .scales)

也就是说,"8-bit" 是语言侧的规格;视觉侧原精度保留,让模型在几乎不损失图像理解能力的前提下换来了量化收益。📐

📊 量化保真度实测:SNR 42.71 dB 是什么概念?

作者没有"想当然",而是把反量化后的权重与源模型逐张量对比(流式读盘,与硬件无关)。数据来自 README.md:

版本 位宽 (bpw) SNR 相对 L2 误差 余弦相似度 解码速度 峰值内存
4-bit 12.623 20.86 dB 9.06% 0.995902 262.2 tok/s 3.10 GB
8-bit 13.798 42.71 dB 0.73% 0.999973 231.8 tok/s 3.23 GB
bf16(原版) 16.001 — — — 73.5 tok/s 3.49 GB

给新手翻译一下两个指标:

  • SNR 42.71 dB:量化噪声比信号本身小约 12 万倍,换算到误差就是那 0.73% 的相对 L2——权重几乎纹丝不动;
  • 余弦 0.999973:量化后的权重"方向"和原版几乎完全重合,而注意力计算最敏感的恰恰是方向。

代价方面:8-bit 比 bf16 快约 3.2 倍(231.8 vs 73.5 tok/s,M2 Pro / 32 GB,贪心解码,repetition penalty 1.1),内存还更省。注意首 token 约需 18 秒——2048×1664 的视觉编码每张图只跑一次,属于一次性开销。⚡

✅ 端到端验证:6 份文档,8-bit 与 bf16 逐字节一致

OCR 有"标准答案",所以可以按字段直接打分,而不是从 token 分布去猜。作者用 6 份内容完全已知的本地文档(发票、临床检验报告、快递单、收据、电机驱动器数据手册、旋转收据)做了转写评测,结果(README.md):

版本 字段准确率 内容准确率 数值准确率 CER
bf16 1.0 1.0 1.0 1.897
8-bit 1.0 1.0 1.0 1.897
4-bit 0.9868 0.9868 0.9902 1.897

结论非常干脆:

  • 8-bit 在全部 6 份文档上与 bf16 输出逐字节相同——贪心解码下每个 token 的选择都没变;
  • 4-bit 只错 1 个字段(收据里的 11.45),其余全对;
  • CER 偏高是"假警报":任务提示词的输出自带坐标/类别 token,不在标准答案里,真正的正确性看前三列。

🗂️ 仓库里的"证据链"文件

这套结论不是孤立的数字,仓库内每一步都可复查:

文件 作用
golden_outputs.json 黄金参考输出:预处理统计、编码器隐状态、top-k logits、50 个贪心 token 的精确序列
test_golden.py 5 层回归测试:预处理 → 编码器 → 解码 logits → 生成 token → 处理器,任何依赖变更跑一遍即知是否漂移
test_vllm_golden.py 同一套黄金标准在 vLLM 推理栈上的等价验证
hf_nemotron_parse_modeling.py HF Transformers 侧模型实现(encoder-decoder 完整结构)
hf_nemotron_parse_processor.py 图像/文本处理器与后处理
logitsprocs/nemotron_parse_vllm_logitprocs.py vLLM 自定义 logits 处理器(表格前缀、n-gram 重复抑制)
vllm_example.py vLLM OpenAI 兼容接口的批量推理示例

简单说:golden_outputs.json 是"基准照片",两个 test 文件是"比对脚本",量化改动前后各跑一次,任何 0.001 级别的漂移都会暴露。

🚀 快速上手:Apple Silicon 上跑起来

pip install mlx-vlm
python -m mlx_vlm generate \
    --model mlx-community/Nemotron-Parse-v1.2-8bit \
    --image document.png \
    --prompt "</s><s><predict_bbox><predict_classes><output_markdown><predict_no_text_in_pic>" \
    --max-tokens 1024

两个关键提示:

  1. 务必带任务提示词。不带 prompt 时字段准确率只有 0.855,带上就是 1.0——提示词决定了输出模式(<predict_bbox>、<predict_classes>、<output_markdown> 等);
  2. 加载需要 mlx-vlm 中新增的 nemotron_parse 架构支持;若你安装的主线版本尚未合入该移植分支,请先安装作者提供的移植分支再加载模型。

💡 8-bit 还是 4-bit,怎么选?

  • 要"和原版一模一样"的输出(如文档归档、对账场景):选 8-bit,它是当前唯一做到逐字节复现 bf16 的版本,代价只是比 4-bit 多约 130 MB 内存;
  • 追求极限速度、能容忍偶发错字:4-bit 快约 20%,但在边缘字段上已有 1.3% 的误差率;
  • 作者也明确说明:未在 MMLU 等通用基准上评测(它不是聊天模型),长多页文档与更多表格场景未覆盖——建议在自己的文档上先实测再上线。

一句话总结:这个 8-bit 版本用"视觉塔保 bf16 + 语言侧 group-64 affine 量化"的组合,把 OCR 文档解析模型压到 1.50 GiB、提速 3 倍以上,而实测输出与原版一字不差——量化保真度这块,它把"可验证"做到了仓库级。

登录后查看全文
Nemotron-Parse-v1.2-8bit