拆解 Nemotron 3.5 Parse 架构:C-RADIOv4 编码器 + mBART 因果视觉前缀如何协同工作
拆解 Nemotron 3.5 Parse 架构:C-RADIOv4 编码器 + mBART 因果视觉前缀如何协同工作
Nemotron 3.5 Parse 是 NVIDIA 开源的文档图像解析(Parse)模型,它能把扫描 PDF、报告、表单等页面图片解析为带语义布局类别、边界框和阅读顺序的结构化文本。本文带你拆解它的核心架构:C-RADIOv4-SO400M 视觉编码器 + 10 层 mBART 因果视觉前缀解码器如何协同工作,以及 NaViT 动态分辨率、MTP 投机解码等关键设计。
一、Nemotron 3.5 Parse 能做什么?
简单说:给它一张文档页图片,它输出一段"带坐标的 Markdown 文本"——
- 文本内容:按阅读顺序输出页面里的文字;
- 语义类别:每个元素带
<class_XXX>标签(标题、正文、表格、图表等); - 边界框:内容归一化坐标,乘以图片宽高即可还原为像素框;
- 图表感知:通过
<class_Chart>等特殊 token 输出图表区域。
模型总参数约 0.631B,在 ParseBench 上取得 75.20 的综合分,单张 H100 上 triple-pass 吞吐约 10.62 页/秒,在同级文档解析模型中速度最快。
二、整体架构:三段式流水线
整个模型由三部分组成,数据流单向流动:
图片 → C-RADIOv4 视觉编码器 → Neck 压缩层 → mBART 因果解码器 → 文本 token
在 config.json 中可以看到 architectures 为 RadioMBartPrefixForCausalLM,model_type 为 nemotron_parse——名字里的 "Prefix" 正是它的灵魂:视觉特征不是通过交叉注意力喂给解码器,而是作为因果前缀(causal prefix)拼在文本前面。
1. 视觉编码器:C-RADIOv4-SO400M
编码器基于 vit_so400m_patch16_224(ViT SO400M),关键参数(见 config.json 的 encoder 段):
- 27 层 Transformer Block,隐藏维度 1152,16 个注意力头;
- 16×16 像素 patch,每个 patch 展平为 768 维向量,经线性层升到 1152 维;
- 10 个 class/register token 前置在序列头部,其中前 2 个(
summary_idxs)作为全图摘要; - 可学习位置嵌入:128×128 共 16384 个位置,支持任意分辨率下插值。
C-RADIOv4 由 SigLIP2-G、DINOv3-7B、SAM3 三个教师模型协同蒸馏(teachers 配置),因此视觉特征同时具备语义、密集细节和分割感知能力,这对"找表格、找图表"这类任务非常关键。
2. Neck:把 1152 维视觉特征压进 1024 维
视觉编码器输出的是 1152 维、空间分辨率很高的特征图,直接进解码器序列会太长。hf_nemotron_parse_modeling.py 中的 RadioWithNeck 做了两步压缩:
- Conv1d(1152→1024) + LayerNorm:把通道维对齐到解码器的 1024 维;
- Conv2d(1×4, stride=4) + LayerNorm:空间维 4 倍下采样(即每 4 个相邻 patch 合成 1 个 token)。
此外,2 个摘要 token(2304 维)经 sum_proj 投影成 1 个 1024 维 token,拼在特征序列末尾。最终每页图片变成:空间特征 token 序列 + 1 个全局摘要 token,全部是 1024 维,可以直接与文本 embedding 拼接。
3. 解码器:10 层 mBART 因果视觉前缀
解码器基于 mBART 结构改造,参数(见 hf_nemotron_parse_config.py):
| 参数 | 值 | 说明 |
|---|---|---|
decoder_layers |
10 | 解码层数 |
d_model |
1024 | 隐藏维度 |
decoder_attention_heads |
16 | Query 头数 |
self_attention_kv_heads |
8 | KV 头数(GQA) |
decoder_ffn_dim |
4096 | FFN 中间维 |
vocab_size |
72512 | 多语言分词表(含任务 token) |
两个值得注意的设计:
- GQA 分组查询注意力:16 个 Query 头共享 8 个 KV 头,KV cache 减半,自回归生成更快;
- 词嵌入与 LM head 权重绑定(
tie_word_embeddings: true),72,505 个 token 的 72,512 行 embedding 矩阵只存一份。
三、核心机制:视觉前缀为什么是"因果"的?
传统 encoder-decoder 模型(经典 mBART)用交叉注意力让解码器反复"回头看"编码器输出;而 Nemotron 3.5 Parse 选择了另一条路——把视觉 token 当作前缀文本,走纯因果自注意力:
- 首步生成时,把视觉 token 序列 + 任务提示词 embedding 拼接,一次性过解码器(见 hf_nemotron_parse_modeling.py 中
NemotronParseForConditionalGeneration.forward的embeddings = torch.cat((vision, text_embeddings))); - 之后每一步自回归解码,只需把新生成的 1 个 token 追加到 KV cache 后面,视觉前缀的 K/V 已被缓存,无需重新计算;
- KV cache 全程有效,天然兼容 vLLM 等连续批处理推理引擎。
这个设计的收益很直接:
- 解码路径极简:只有一条因果注意力通路(
causal_vision_prefix: true),没有交叉注意力分支; - 上下文上限 16384(
max_position_embeddings),视觉前缀 + 文本共享同一预算,visual_mask保证 padding 区域不参与注意力; - 工程统一:训练与 vLLM 服务用同一套权重表示,vllm_tied_patch/ 目录下的适配器实现了与 Transformers 路径数值一致的推理。
四、NaViT 动态分辨率:不裁方图,保留真实版式
文档页通常是非方形的,直接缩放到固定正方形会严重压扁文字。Nemotron 3.5 Parse 采用 NaViT 风格动态矩形处理(preprocessor_config.json):
- 每张图保持原始宽高比缩放,尺寸是 16(patch size)的整数倍;
- 多张图可 packing 拼接成一条 token 流批量处理(
navit_packing: true); - 位置编码按内容归一化坐标(
navit_coordinate_frame: "content_normalized")双线性插值,插值逻辑与训练完全一致,实现在 hf_prefix_geometry.py; - 推荐最大输入分辨率 1664×2048(
virtual_canvas_width/height)。
这也解释了输出坐标的语义:bbox 是内容归一化的,x × 图片宽度、y × 图片高度即可还原像素位置。
五、MTP 投机解码:藏在权重里的小加速
model.safetensors 里除了主干网络,还集成了 1 个头的一步多 token 预测(MTP)头(decoder.extra_heads.0 与 decoder.extra_proj.0 共 4 个张量,清单见 reference/model/auxiliary_prediction_heads.json):
- Transformers 推理:正常走主解码器,不使用该头;
- vLLM 推理:官方插件自动启用 one-token 投机解码(
method=mtp),配合 FA3 调度器可显著提升吞吐; - 加载逻辑在 vllm_tied_patch/mtp_weights.py,它会严格校验 4 个张量的完整性,缺失即报错而不是静默降级。
六、任务提示词:一组"控制 token"决定输出
模型用 72,505 词的多语言分词器,其中包含一批任务控制 token。默认提示词:
</s><s><predict_bbox><predict_classes><output_markdown><predict_text_in_pic>
含义分别是:预测边界框、预测语义类别、输出 Markdown、预测图中文字。去掉某个 token 就关闭对应能力,这种"提示词即开关"的设计对使用者非常友好。输出后的表格/图表还能通过 postprocessing.py 转换为 LaTeX、HTML、Markdown、JSON、CSV 等格式,详见 docs/postprocessing.md。
七、快速上手与关键文件索引
- 模型与配置:config.json(编码器/解码器参数、NaViT 设置)、hf_nemotron_parse_config.py
- 模型实现:hf_nemotron_parse_modeling.py(编码器 + Neck + 因果前缀解码)
- 位置插值:hf_prefix_geometry.py
- 图像预处理:hf_nemotron_parse_processor.py(CLIP 归一化、动态矩形、packing)
- vLLM 适配:vllm_tied_patch/(GQA 前缀解码器、MTP 权重加载)
- 部署指南:docs/serving.md、docs/postprocessing.md
八、总结:这套架构聪明在哪?
- 强视觉底座 + 蒸馏:C-RADIOv4 融合多个教师模型能力,一次编码同时服务 OCR、布局检测与图表识别;
- 因果前缀替代交叉注意力:解码路径单一、KV cache 友好,为 vLLM 高并发服务铺平道路;
- 动态分辨率 + 归一化坐标:矩形 NaViT 处理保住真实版式,输出坐标与页面内容严格对齐;
- 自带 MTP 头:同一份权重文件同时支持普通生成与投机解码,部署零额外成本。
对想搭建 RAG、数据抽取或文档智能流水线的开发者来说,Nemotron 3.5 Parse 用约 0.63B 的轻量参数提供了"又快又准"的文档解析能力,值得一试。