NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-Base-BF16如何实现1M Token上下文?长上下文训练原理与实战指南
NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-Base-BF16如何实现1M Token上下文?长上下文训练原理与实战指南
NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-Base-BF16 是 NVIDIA 发布的 Nemotron 3.5 Super 系列基础视觉-语言模型,总参数 120B、激活参数仅 12B,原生支持 1M Token 上下文。这篇文章面向新手,用通俗语言讲清楚它的长上下文到底是怎么实现的:Mamba-2 + MoE 混合架构如何压低长序列成本、4 个长上下文训练阶段各练了什么,以及普通用户如何部署使用。
一、先搞懂:1M Token 上下文意味着什么 📏
1M(100 万)Token 大约相当于 70 万~80 万英文单词,差不多是一部《魔戒》小说的长度。在这个窗口里,提示词、图片/视频输入、对话历史、工具调用结果和模型回答共享同一份上下文。
它带来的实际能力:
- 📚 一次喂进整本技术手册或几十个代码仓库文件
- 💬 超长多轮 Agent 对话不需要频繁"截断记忆"
- 🖼️ 多页文档(以页面图片形式输入)可以整本送入
README 中明确写道:
The model supports up to 1M tokens of context. The prompt, visual inputs, conversation history, tool results, and generated response share this context window.
详细内容见仓库根目录的 README.md。
二、架构原理:为什么它"扛得住"长序列
纯 Transformer 处理 100 万 Token 时,注意力开销随序列长度平方级增长,显存直接爆炸。Nemotron 3.5 Super 的解法是 Mamba-2 + MoE + 少量注意力层的混合骨干,这也是它支持 1M 长上下文的核心原理。
1. 88 层混合骨干:Mamba-2 负责"记忆",注意力负责"检索"
从 config.json 的 llm_config.layers_block_type 可以看到层类型排布:绝大部分是 mamba(Mamba-2 状态空间层)+ moe(混合专家层),每隔 8~9 层插入一层 attention。
权重文件索引 model.safetensors.index.json 显示骨干共 88 层,注意力层精确位于第 7、16、25、36、47、58、69、78 层,正好验证了这一规律。
| 组件 | 作用 | 对长上下文的贡献 |
|---|---|---|
| Mamba-2 层(占大多数) | 线性复杂度的序列记忆 | 扫描式状态更新,长序列计算量不随长度平方增长 |
| MoE 层 | 512 个路由专家 + 1 个共享专家,每 Token 只激活 22 个 | 激活参数仅 12B,推理成本低 |
| 8 层全局注意力 | 全量信息检索与校验 | 保证"大海捞针"式的精确回忆能力 |
对应配置项(均可在 config.json 中查到):
n_routed_experts: 512,num_experts_per_tok: 22hidden_size: 4096,num_attention_heads: 32,num_key_value_heads: 2(GQA 进一步压缩 KV 缓存)mamba_ssm_cache_dtype: float32(Mamba 状态缓存用高精度存储,长序列下更稳)
模型主体实现在 modeling_nemotron_h_omni.py 中。
2. C-RADIO 视觉编码器:把图片也装进上下文
视觉侧由 C-RADIO(ViT-Huge,patch 16,32 层,hidden 1280)编码器 + 视觉-语言连接器(connector/projector)组成,将图片、文档页、视频帧转成语言骨干能理解的表示,再按 <image> 占位符位置"填回"序列(逻辑见 modeling_nemotron_h_omni.py)。
几个与长上下文相关的细节:
max_num_patches: 13312:单图 patch 上限,防止单张图片吃掉过多上下文video_pruning_rate: 0.7:视频嵌入按重要度剪枝约 70%,大幅节省 Token 预算- 视觉实现位于 modeling_radio.py 与 image_processing_nemotron_h_omni.py
也就是说,图片/视频占用的是同一个 1M 窗口,模型用剪枝和 patch 上限来"省钱"。
3. MTP 多头:为长序列推理提速
配置里还有 num_nextn_predict_layers: 1 与 mtp_layers_block_type,权重索引中可见 language_model.mtp.layers.0/1 共 1040 个张量。Multi-Token Prediction(多 Token 预测) 头让模型每步同时预测多个未来 Token,可天然配合投机解码(speculative decoding),在超长生成场景下显著提速。
三、长上下文训练原理:4 阶段配方
模型的语言骨干初始化自 Nemotron 3 Super Base,完整训练分三大阶段(来自 README.md 的 Training Methodology 章节):
阶段1 基础 + MTP 100B tokens 冻结骨干只练 MTP 头 → 1T tokens 蒸馏自 Ultra Base
阶段2 继续预训练/中期训练(1M 上下文就在这里成型)
① 100B tokens 印度语系继续预训练
② 35B tokens 上下文扩展:→ 1M
③ 67B tokens 软件工程中期训练(256K 上下文)
④ 9B tokens 长上下文"恢复"阶段
阶段3 视觉-语言训练 C-RADIO 编码器 + 连接器接入
重点拆解阶段 2 的四个动作:
- 35B tokens 上下文扩展:把上下文窗口从基础长度逐步拉到 1M。业界通用做法是分步外推位置编码、混入多文档拼接数据,避免一步到位导致训练崩溃。
- 67B tokens 软件工程中期训练(256K):数据包含完整代码仓库(20%)、issue-PR 对(41%)、commit diff、构建/CI 日志、Agent 轨迹等——这些正是 256K 长窗口下的典型负载。
- 9B tokens 长上下文恢复(recovery):扩展窗口后通用能力会回退,这个"回炉"阶段用小剂量高质量数据把能力找补回来。
- 100B tokens 印度语系继续预训练:多语言能力是长上下文之外另一条并行线。
训练数据总量方面,基础语料 超过 20 万亿 tokens(详见 README 的 Training Datasets 表格),其中还包含专门的 "Long context RL"、"Long-Context General Data" 等长上下文相关数据集。
四、动手实战:下载与部署要点 🚀
1. 下载权重
权重共 63 个分片,总计约 249 GB(BF16)。仓库文件 model.safetensors.index.json 记录了每个张量所在的分片。推荐用 Hugging Face CLI 下载:
hf download nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-Base-BF16 \
--local-dir ./models/super-vl-base-bf16
2. 硬件与运行时
- GPU:NVIDIA Hopper(H100/H200)或 Blackwell(B200/B300/GB200/GB300)
- 软件栈:PyTorch + Megatron-LM + NeMo(Linux 环境)
- 推理:加速引擎为 PyTorch;1M 全量窗口对显存要求极高,官方部署配方可能使用更小的上下文窗口以兼顾显存和并发,按需选择即可
3. 三个新手常踩的坑 ⚠️
| 坑 | 说明 |
|---|---|
| 这是 Base 模型 | 未经对话指令微调,直接聊天效果差。对话/推理/工具调用场景请使用后训练版 BF16 或 NVFP4 发布 |
max_position_embeddings 是 262144 |
config.json 中该值为 256K,是开放配置的默认上限;1M 能力来自官方训练配方,完整窗口以部署方案为准 |
| 对话模板要用仓库自带的 | 聊天模板见 chat_template.jinja,分词器配置见 tokenizer_config.json,不要混用其他模型的模板 |
多模态输入预处理由 processing_nemotron_h_omni.py 中的 Processor 完成,生成参数(采样温度、top_p 等)见 generation_config.json。
五、常见问题 FAQ
Q1:1M 上下文会显著变慢吗?
Mamba-2 层是线性复杂度,序列越长相对优势越大;8 层全局注意力的 KV 缓存是主要显存开销,GQA(2 个 KV 头)已将其压到最低。长序列 prefill 依然需要一定时间,官方部署时会按显存裁窗口。
Q2:如何验证 1M 能力?
可用经典"大海捞针"(needle-in-a-haystack)测试:在约 90 万 Token 的文档中间埋一句话,问模型这句话。架构上 8 层全局注意力正是为此设计的。
Q3:想继续训练/做领域适配?这个 Base 就是为此准备的。
README 明确其定位:continued pre-training、SFT、强化学习和蒸馏的起点,基于 PyTorch/Megatron-LM/NeMo 技术栈。
六、总结
NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-Base-BF16 的 1M Token 上下文不是"硬堆参数"堆出来的,而是一套组合拳:
- 架构:Mamba-2 + MoE 混合骨干(88 层、8 层全局注意力、512 专家激活 22 个),把长序列的计算和显存开销压下来;
- 训练:35B tokens 上下文扩展 → 67B tokens 256K 工程中期训练 → 9B tokens 能力恢复,四步走成型;
- 推理:MTP 头 + 投机解码提速度,视频剪枝与 patch 上限控制多模态 Token 预算。
对新手而言,记住三句话即可:用后训练版对话、按部署配方选窗口、Base 模型只用来继续训练。
延伸阅读:训练内容合规摘要见 Nemotron_3.5_Super_VL_EU_Training_Content_Summary.pdf,安全与伦理说明见 safety.md、bias.md、privacy.md。