8-bit 量化为何有效 13.8 位?Nemotron-Parse-v1.2-8bit 量化原理与保真度实测(与 bf16 逐字节一致)
8-bit 量化为何有效 13.8 位?Nemotron-Parse-v1.2-8bit 量化原理与保真度实测(与 bf16 逐字节一致)
Nemotron-Parse-v1.2-8bit 是 NVIDIA Nemotron-Parse-v1.2 文档解析 OCR 模型的 8-bit MLX 量化版本:名义 8-bit,有效位宽却达 13.798 位;实测 6 份文档的转写结果与 bf16 原版逐字节一致,解码速度还约为其 3 倍。本文用大白话拆解它的量化原理、保真度数据,以及仓库里可以查验的证据链。
📌 先认识这个模型:936M 参数的 OCR 文档解析器
Nemotron-Parse-v1.2-8bit 基于 NVIDIA 原版的 encoder-decoder 架构:
- 视觉端:C-RADIO vision encoder,负责"看懂"文档图片(约 2048×1664 像素输入);
- 语言端:mBART 风格的 decoder,负责按阅读顺序输出文本、坐标框
<x_..><y_..>和语义类别<class_..>。
它不是聊天模型,而是图片转结构化文本:传一张文档图片 + 一句任务提示词,输出带定位信息的 markdown 文本。这个"encoder-decoder 且视觉参数占大头"的结构,正是后文"8-bit 为何变 13.8 位"的关键。
🔍 量化原理:为什么"8-bit"实际是 13.8 位?
打开 config.json 可以看到核心量化配置只有三行:
"quantization": { "bits": 8, "group_size": 64, "mode": "affine" }
逐个拆开理解:
① affine 分组量化(group-wise affine):把每个权重矩阵切成连续 64 个数一组,每组共享一个 scale(和零点)参数;推理时用 权重 ≈ 量化值 × scale 还原。每个权重的实际开销是 8 bit + 16 bit ÷ 64,约 8.25 位,而不是严格的 8 位。这些 scale 参数在 model.safetensors.index.json 里以 .scales 后缀出现。
② 只量化语言端,视觉塔保留 bf16:这是有效位宽"超标"的真正原因。mlx-vlm 在设计上只对 decoder 做量化,而 C-RADIO 视觉编码器约占全部参数的 72%,全部保留 16-bit。一算加权平均:0.72×16 + 0.28×8.25 ≈ 13.8,与实测的 13.798 完全吻合。
| 量化规格 | 数值 |
|---|---|
| 名义位宽 | 8 bit(group 64,affine) |
| 有效位宽/权重 | 13.798 bit |
| 磁盘占用 | 1.50 GiB |
| 被量化的张量 | 102 个(decoder,全部带 .scales) |
| 未量化的张量 | 766 个(vision tower + neck,bf16,零 .scales) |
也就是说,"8-bit" 是语言侧的规格;视觉侧原精度保留,让模型在几乎不损失图像理解能力的前提下换来了量化收益。📐
📊 量化保真度实测:SNR 42.71 dB 是什么概念?
作者没有"想当然",而是把反量化后的权重与源模型逐张量对比(流式读盘,与硬件无关)。数据来自 README.md:
| 版本 | 位宽 (bpw) | SNR | 相对 L2 误差 | 余弦相似度 | 解码速度 | 峰值内存 |
|---|---|---|---|---|---|---|
| 4-bit | 12.623 | 20.86 dB | 9.06% | 0.995902 | 262.2 tok/s | 3.10 GB |
| 8-bit | 13.798 | 42.71 dB | 0.73% | 0.999973 | 231.8 tok/s | 3.23 GB |
| bf16(原版) | 16.001 | — | — | — | 73.5 tok/s | 3.49 GB |
给新手翻译一下两个指标:
- SNR 42.71 dB:量化噪声比信号本身小约 12 万倍,换算到误差就是那 0.73% 的相对 L2——权重几乎纹丝不动;
- 余弦 0.999973:量化后的权重"方向"和原版几乎完全重合,而注意力计算最敏感的恰恰是方向。
代价方面:8-bit 比 bf16 快约 3.2 倍(231.8 vs 73.5 tok/s,M2 Pro / 32 GB,贪心解码,repetition penalty 1.1),内存还更省。注意首 token 约需 18 秒——2048×1664 的视觉编码每张图只跑一次,属于一次性开销。⚡
✅ 端到端验证:6 份文档,8-bit 与 bf16 逐字节一致
OCR 有"标准答案",所以可以按字段直接打分,而不是从 token 分布去猜。作者用 6 份内容完全已知的本地文档(发票、临床检验报告、快递单、收据、电机驱动器数据手册、旋转收据)做了转写评测,结果(README.md):
| 版本 | 字段准确率 | 内容准确率 | 数值准确率 | CER |
|---|---|---|---|---|
| bf16 | 1.0 | 1.0 | 1.0 | 1.897 |
| 8-bit | 1.0 | 1.0 | 1.0 | 1.897 |
| 4-bit | 0.9868 | 0.9868 | 0.9902 | 1.897 |
结论非常干脆:
- 8-bit 在全部 6 份文档上与 bf16 输出逐字节相同——贪心解码下每个 token 的选择都没变;
- 4-bit 只错 1 个字段(收据里的
11.45),其余全对; - CER 偏高是"假警报":任务提示词的输出自带坐标/类别 token,不在标准答案里,真正的正确性看前三列。
🗂️ 仓库里的"证据链"文件
这套结论不是孤立的数字,仓库内每一步都可复查:
| 文件 | 作用 |
|---|---|
| golden_outputs.json | 黄金参考输出:预处理统计、编码器隐状态、top-k logits、50 个贪心 token 的精确序列 |
| test_golden.py | 5 层回归测试:预处理 → 编码器 → 解码 logits → 生成 token → 处理器,任何依赖变更跑一遍即知是否漂移 |
| test_vllm_golden.py | 同一套黄金标准在 vLLM 推理栈上的等价验证 |
| hf_nemotron_parse_modeling.py | HF Transformers 侧模型实现(encoder-decoder 完整结构) |
| hf_nemotron_parse_processor.py | 图像/文本处理器与后处理 |
| logitsprocs/nemotron_parse_vllm_logitprocs.py | vLLM 自定义 logits 处理器(表格前缀、n-gram 重复抑制) |
| vllm_example.py | vLLM OpenAI 兼容接口的批量推理示例 |
简单说:golden_outputs.json 是"基准照片",两个 test 文件是"比对脚本",量化改动前后各跑一次,任何 0.001 级别的漂移都会暴露。
🚀 快速上手:Apple Silicon 上跑起来
pip install mlx-vlm
python -m mlx_vlm generate \
--model mlx-community/Nemotron-Parse-v1.2-8bit \
--image document.png \
--prompt "</s><s><predict_bbox><predict_classes><output_markdown><predict_no_text_in_pic>" \
--max-tokens 1024
两个关键提示:
- 务必带任务提示词。不带 prompt 时字段准确率只有 0.855,带上就是 1.0——提示词决定了输出模式(
<predict_bbox>、<predict_classes>、<output_markdown>等); - 加载需要
mlx-vlm中新增的nemotron_parse架构支持;若你安装的主线版本尚未合入该移植分支,请先安装作者提供的移植分支再加载模型。
💡 8-bit 还是 4-bit,怎么选?
- 要"和原版一模一样"的输出(如文档归档、对账场景):选 8-bit,它是当前唯一做到逐字节复现 bf16 的版本,代价只是比 4-bit 多约 130 MB 内存;
- 追求极限速度、能容忍偶发错字:4-bit 快约 20%,但在边缘字段上已有 1.3% 的误差率;
- 作者也明确说明:未在 MMLU 等通用基准上评测(它不是聊天模型),长多页文档与更多表格场景未覆盖——建议在自己的文档上先实测再上线。
一句话总结:这个 8-bit 版本用"视觉塔保 bf16 + 语言侧 group-64 affine 量化"的组合,把 OCR 文档解析模型压到 1.50 GiB、提速 3 倍以上,而实测输出与原版一字不差——量化保真度这块,它把"可验证"做到了仓库级。