拆解 Nemotron 3.5 Parse 架构:C-RADIOv4 编码器 + mBART 因果视觉前缀如何协同工作

原创2026-10-20 14:56:091,366 阅读
文章标签:人工智能大模型多模态计算机视觉OCR

拆解 Nemotron 3.5 Parse 架构:C-RADIOv4 编码器 + mBART 因果视觉前缀如何协同工作

Nemotron 3.5 Parse 是 NVIDIA 开源的文档图像解析(Parse)模型,它能把扫描 PDF、报告、表单等页面图片解析为带语义布局类别、边界框和阅读顺序的结构化文本。本文带你拆解它的核心架构:C-RADIOv4-SO400M 视觉编码器 + 10 层 mBART 因果视觉前缀解码器如何协同工作,以及 NaViT 动态分辨率、MTP 投机解码等关键设计。

一、Nemotron 3.5 Parse 能做什么?

简单说:给它一张文档页图片,它输出一段"带坐标的 Markdown 文本"——

  • 文本内容:按阅读顺序输出页面里的文字;
  • 语义类别:每个元素带 <class_XXX> 标签(标题、正文、表格、图表等);
  • 边界框:内容归一化坐标,乘以图片宽高即可还原为像素框;
  • 图表感知:通过 <class_Chart> 等特殊 token 输出图表区域。

模型总参数约 0.631B,在 ParseBench 上取得 75.20 的综合分,单张 H100 上 triple-pass 吞吐约 10.62 页/秒,在同级文档解析模型中速度最快。

二、整体架构:三段式流水线

整个模型由三部分组成,数据流单向流动:

图片 → C-RADIOv4 视觉编码器 → Neck 压缩层 → mBART 因果解码器 → 文本 token

在 config.json 中可以看到 architectures 为 RadioMBartPrefixForCausalLM,model_type 为 nemotron_parse——名字里的 "Prefix" 正是它的灵魂:视觉特征不是通过交叉注意力喂给解码器,而是作为因果前缀(causal prefix)拼在文本前面。

1. 视觉编码器:C-RADIOv4-SO400M

编码器基于 vit_so400m_patch16_224(ViT SO400M),关键参数(见 config.json 的 encoder 段):

  • 27 层 Transformer Block,隐藏维度 1152,16 个注意力头;
  • 16×16 像素 patch,每个 patch 展平为 768 维向量,经线性层升到 1152 维;
  • 10 个 class/register token 前置在序列头部,其中前 2 个(summary_idxs)作为全图摘要;
  • 可学习位置嵌入:128×128 共 16384 个位置,支持任意分辨率下插值。

C-RADIOv4 由 SigLIP2-G、DINOv3-7B、SAM3 三个教师模型协同蒸馏(teachers 配置),因此视觉特征同时具备语义、密集细节和分割感知能力,这对"找表格、找图表"这类任务非常关键。

2. Neck:把 1152 维视觉特征压进 1024 维

视觉编码器输出的是 1152 维、空间分辨率很高的特征图,直接进解码器序列会太长。hf_nemotron_parse_modeling.py 中的 RadioWithNeck 做了两步压缩:

  1. Conv1d(1152→1024) + LayerNorm:把通道维对齐到解码器的 1024 维;
  2. Conv2d(1×4, stride=4) + LayerNorm:空间维 4 倍下采样(即每 4 个相邻 patch 合成 1 个 token)。

此外,2 个摘要 token(2304 维)经 sum_proj 投影成 1 个 1024 维 token,拼在特征序列末尾。最终每页图片变成:空间特征 token 序列 + 1 个全局摘要 token,全部是 1024 维,可以直接与文本 embedding 拼接。

3. 解码器:10 层 mBART 因果视觉前缀

解码器基于 mBART 结构改造,参数(见 hf_nemotron_parse_config.py):

参数 值 说明
decoder_layers 10 解码层数
d_model 1024 隐藏维度
decoder_attention_heads 16 Query 头数
self_attention_kv_heads 8 KV 头数(GQA)
decoder_ffn_dim 4096 FFN 中间维
vocab_size 72512 多语言分词表(含任务 token)

两个值得注意的设计:

  • GQA 分组查询注意力:16 个 Query 头共享 8 个 KV 头,KV cache 减半,自回归生成更快;
  • 词嵌入与 LM head 权重绑定(tie_word_embeddings: true),72,505 个 token 的 72,512 行 embedding 矩阵只存一份。

三、核心机制:视觉前缀为什么是"因果"的?

传统 encoder-decoder 模型(经典 mBART)用交叉注意力让解码器反复"回头看"编码器输出;而 Nemotron 3.5 Parse 选择了另一条路——把视觉 token 当作前缀文本,走纯因果自注意力:

  1. 首步生成时,把视觉 token 序列 + 任务提示词 embedding 拼接,一次性过解码器(见 hf_nemotron_parse_modeling.py 中 NemotronParseForConditionalGeneration.forward 的 embeddings = torch.cat((vision, text_embeddings)));
  2. 之后每一步自回归解码,只需把新生成的 1 个 token 追加到 KV cache 后面,视觉前缀的 K/V 已被缓存,无需重新计算;
  3. KV cache 全程有效,天然兼容 vLLM 等连续批处理推理引擎。

这个设计的收益很直接:

  • 解码路径极简:只有一条因果注意力通路(causal_vision_prefix: true),没有交叉注意力分支;
  • 上下文上限 16384(max_position_embeddings),视觉前缀 + 文本共享同一预算,visual_mask 保证 padding 区域不参与注意力;
  • 工程统一:训练与 vLLM 服务用同一套权重表示,vllm_tied_patch/ 目录下的适配器实现了与 Transformers 路径数值一致的推理。

四、NaViT 动态分辨率:不裁方图,保留真实版式

文档页通常是非方形的,直接缩放到固定正方形会严重压扁文字。Nemotron 3.5 Parse 采用 NaViT 风格动态矩形处理(preprocessor_config.json):

  • 每张图保持原始宽高比缩放,尺寸是 16(patch size)的整数倍;
  • 多张图可 packing 拼接成一条 token 流批量处理(navit_packing: true);
  • 位置编码按内容归一化坐标(navit_coordinate_frame: "content_normalized")双线性插值,插值逻辑与训练完全一致,实现在 hf_prefix_geometry.py;
  • 推荐最大输入分辨率 1664×2048(virtual_canvas_width/height)。

这也解释了输出坐标的语义:bbox 是内容归一化的,x × 图片宽度、y × 图片高度即可还原像素位置。

五、MTP 投机解码:藏在权重里的小加速

model.safetensors 里除了主干网络,还集成了 1 个头的一步多 token 预测(MTP)头(decoder.extra_heads.0 与 decoder.extra_proj.0 共 4 个张量,清单见 reference/model/auxiliary_prediction_heads.json):

  • Transformers 推理:正常走主解码器,不使用该头;
  • vLLM 推理:官方插件自动启用 one-token 投机解码(method=mtp),配合 FA3 调度器可显著提升吞吐;
  • 加载逻辑在 vllm_tied_patch/mtp_weights.py,它会严格校验 4 个张量的完整性,缺失即报错而不是静默降级。

六、任务提示词:一组"控制 token"决定输出

模型用 72,505 词的多语言分词器,其中包含一批任务控制 token。默认提示词:

</s><s><predict_bbox><predict_classes><output_markdown><predict_text_in_pic>

含义分别是:预测边界框、预测语义类别、输出 Markdown、预测图中文字。去掉某个 token 就关闭对应能力,这种"提示词即开关"的设计对使用者非常友好。输出后的表格/图表还能通过 postprocessing.py 转换为 LaTeX、HTML、Markdown、JSON、CSV 等格式,详见 docs/postprocessing.md。

七、快速上手与关键文件索引

八、总结:这套架构聪明在哪?

  1. 强视觉底座 + 蒸馏:C-RADIOv4 融合多个教师模型能力,一次编码同时服务 OCR、布局检测与图表识别;
  2. 因果前缀替代交叉注意力:解码路径单一、KV cache 友好,为 vLLM 高并发服务铺平道路;
  3. 动态分辨率 + 归一化坐标:矩形 NaViT 处理保住真实版式,输出坐标与页面内容严格对齐;
  4. 自带 MTP 头:同一份权重文件同时支持普通生成与投机解码,部署零额外成本。

对想搭建 RAG、数据抽取或文档智能流水线的开发者来说,Nemotron 3.5 Parse 用约 0.63B 的轻量参数提供了"又快又准"的文档解析能力,值得一试。

登录后查看全文
Nemotron-3.5-Parse