NVIDIA-Nemotron-Labs-Teacher-STEM 数据全景:53.8 TiB、226 个数据集如何锻造 STEM 推理能力?

原创2026-10-18 13:36:251,706 阅读

NVIDIA-Nemotron-Labs-Teacher-STEM 数据全景:53.8 TiB、226 个数据集如何锻造 STEM 推理能力?

NVIDIA-Nemotron-Labs-Teacher-STEM 是 NVIDIA 推出的 STEM 专用推理教师模型,属于 Nemotron 3 Ultra 家族。它的训练语料总规模达 53.8 TiB(约 14.8 万亿 token),涵盖 226 个数据集,数据跨度从 2013 年一直延续到 2026 年。这些海量数据是如何一步步锻造出强大的 STEM 推理能力的?本文带你完整拆解它的训练数据全景 📚。

📊 数据规模速览:一张表看懂 53.8 TiB

模型卡在 README.md 的 "Training, Testing, and Evaluation Datasets" 章节中披露了核心数据指标:

指标 数值
数据总规模 53.8 TiB(14.8 万亿 token)
数据集总数 226 个
数据用途划分 训练集 100%,测试集 / 验证集 0%
数据采集时间跨度 2013 年 ~ 2026 年
采集与标注方式 混合:自动化 + 人工 + 合成
数据模态 纯文本(Text)
预训练 token 总量 约 20 万亿 token

换句话说,这个模型"读完"的语料量,相当于一座持续了 13 年的数字图书馆。

🗂️ 226 个数据集的三大来源

这些数据集并不是单一来源,而是由三大类数据"拼"出来的:公开数据集、NVIDIA 自行抓取的数据,以及大规模合成数据。

1️⃣ 公开数据集:从数学竞赛到学术论文

公开数据覆盖了多种文档类型——网页、对话、文章等,并横跨法律、数学、科学、金融等多个领域。代表性来源包括:

  • 数学类:GSM8K、MATH(Advanced Mathematical Problem Solving)、MegaMath、NuminaMath CoT、OpenWebMath
  • 科学类:arXiv、BioRxiv、PMC、PubMed Abstracts、NIH ExPorter、SciBench
  • 通用知识与问答:Common Crawl、Wikimedia、SQuAD2.0、HotpotQA、FineWeb-2、MMLU Auxiliary Train
  • 代码类:GitHub 代码库、Stack Exchange、tigerbot-kaggle-leetcodesolutions
  • 法律与长文档:Court Listener、SEC EDGAR、FinePDFs、Essential-Web

完整的公开数据集清单及采集时间见 README.md。

2️⃣ NVIDIA 自行抓取的语料

NVIDIA 团队直接从 Common Crawl 和 GitHub 抓取了大量原始数据(详见 README.md):

数据集 规模
English Common Crawl 3.36 万亿 token
Multilingual Common Crawl(15 种语言) 812.7B token
GitHub Crawl 747.4B token
GitHub Crawl 1.1 172.7B token

抓取后并非直接入锅使用,而是经过去重、启发式质量过滤、许可证合规筛查等多道工序。

3️⃣ 合成数据:用强模型"生产"训练样本

这是整个语料中数量最庞大的部分——README.md 中列出了近百种合成数据集。其生产逻辑是:

  • 种子数据:从 FineWiki、OpenStax、GSM8K、Art of Problem Solving 等优质来源出发
  • 生成模型:调用 DeepSeek-R1、DeepSeek-V3、Qwen3-235B、gpt-oss-120b、phi-4 等开源模型生成推理轨迹与解答
  • 验证环节:通过编译器、数值检查、语言识别等自动化手段层层过滤

典型的合成数据集包括:

合成数据集 规模
Synthetic Art of Problem Solving(DeepSeek-R1 生成) 40B token
Synthetic Common Crawl from Qwen3-30B 415.8B token
Translated Synthetic Crawl(翻译合成语料) 389.9B token
Synthetic Common Crawl Code(phi-4 生成) 427.9B token
Nemotron-Pretraining-Code 系列 1.7T token
Nemotron-CC-Math-v1(保留 LaTeX 结构) 133.3B token

🏭 四阶段训练:数据如何变成推理能力

拿到数据只是第一步。模型卡在 README.md 中披露了完整的四阶段训练流程,每个阶段"喂"给模型的数据侧重点各不相同:

  1. 预训练(Pre-Training):使用约 20 万亿 token 的爬取与合成数据(代码、数学、科学、通识),构建知识底座
  2. 监督微调(SFT):在合成代码、数学、科学、工具调用、指令遵循等数据上精调,并加入长程检索与多文档聚合数据
  3. 强化学习(RL):使用异步 GRPO 算法,在数学、代码、科学、多步工具使用等多环境 RL 中训练
  4. 多领域在策略蒸馏(MOPD):这是"教师"身份的由来——用大量经验证的推理轨迹做 STEM 专项强化微调,随后在人文、社会学科等薄弱领域继续 RL,最终模型在所有领域都得到提升

这套流程让最终模型在 GPQA、MMLU-Pro、LiveCodeBench v6 等基准上比肩甚至超越 DeepSeek V4 Pro(High)。

🛡️ 数据质量如何把关?三道过滤关卡

在 53.8 TiB 的语料里,"垃圾进垃圾出"是最大的风险。NVIDIA 为后训练数据设置了统一过滤管线(见 README.md):

  • 结构检查:丢弃格式错误的样本(如有工具调用却缺少工具定义)
  • 病态重复过滤:在滑动窗口或整条轨迹内检测重复 n-gram,这类重复是低质量推理轨迹的强烈信号
  • 价值观偏差过滤:针对部分教师模型生成内容中出现的政治倾向与民族主义叙事,使用关键词 + 正则表达式定向清洗

此外,数据本身的代表性问题也被如实披露:bias.md 记录了各数据集中人口统计特征(年龄、性别、族裔)的分布偏斜,并推荐了偏差审计、人口均衡微调等缓解策略;隐私相关说明见 privacy.md。

🌍 语言分布与数据新鲜度

支持的语言

模型覆盖英语及 11 种其他语言,后训练语料的样本分布如下(见 README.md):

语言 样本量
English 8.6M
其他 9 种语言(法语、西班牙语、意大利语、德语、日语、中文、印地语、韩语、巴西葡萄牙语) 各 138k

数据新鲜度

  • 预训练数据截止日期:2025 年 9 月
  • 后训练数据截止日期:2026 年 5 月

对于关注时效性知识(新发布的论文、新 API 版本)的应用场景,这个时间线值得留意。

📥 普通开发者能拿到哪些数据?

NVIDIA 随模型一并发布了预训练与后训练数据,采用分级开放策略:

  • 样本集(sample set):无需申请门槛(ungated),可直接下载分析
  • 代码、数学、多语言数据:需要门槛申请(gated)与审批,但批准后以宽松许可证授权用于模型训练

也就是说,你可以合法地基于这些数据构建自己的数据管线——这正契合该模型"蒸馏教师"的定位:它既可以生成高质量、可验证的推理轨迹,也可以充当你自研管线中的教师或打分器。

🔗 相关文件速查

文件 说明
README.md 模型卡全文,含训练数据完整披露
config.json 架构配置:LatentMoE、512 专家、Mamba-2 + Attention 混合层
generation_config.json 默认生成参数(top_p=0.95 等)
bias.md / privacy.md 偏差与隐私评估报告
safety.md / explainability.md 安全与可解释性子卡
chat_template.jinja 对话模板(含 enable_thinking 推理开关)
modeling_nemotron_h.py / configuration_nemotron_h.py 自定义模型架构代码
model.safetensors.index.json 225 个分片权重的索引文件

📝 小结

NVIDIA-Nemotron-Labs-Teacher-STEM 的 STEM 推理能力,来自一条高度工程化的数据流水线:公开语料打底 → 大规模爬取扩充 → 强模型合成放大 → 四阶段训练提炼 → 多重质量过滤兜底。53.8 TiB 的体量只是表象,真正决定能力上限的,是合成数据的验证机制与蒸馏式训练配方。如果你正计划构建自己的推理数据管线,这套"种子 → 生成 → 验证 → 过滤"的范式非常值得参考。

登录后查看全文
NVIDIA-Nemotron-Labs-Teacher-STEM