为什么Nori 1.5完全用合成数据训练?合成数据训练策略的深度剖析

原创2026-10-27 09:16:541,930 阅读
文章标签:基础模型机器学习表格回归人工智能

为什么Nori 1.5完全用合成数据训练?合成数据训练策略的深度剖析

Nori 1.5 是一个约 2100 万参数的表格数据回归基础模型,通过上下文学习(In-Context Learning)在单次前向传播中完成预测,并且完全使用合成数据训练,没有任何真实基准数据参与。本文将剖析这一"纯合成数据训练策略"背后的四大动机——数据可控性、评测公平性、隐私合规与成本可复现性,并用项目实测的 95 个公开回归任务结果来验证它是否真的有效。

📌 Nori 1.5 是什么:零微调的表格回归基础模型

先快速对齐一下概念,Nori 1.5 的四个关键定位:

  • 任务:表格数据回归(Tabular Regression),即从表格特征中预测连续目标值
  • 范式:上下文学习(ICL)——推理时给几行带标签样本作为上下文,模型直接对新行输出预测,无需为任何任务单独训练或微调
  • 规模:20,757,832 个参数(约 21M),属于 Nori 系列的 Model v3 变体
  • 权重:nori.pt 单文件,推理配置也内嵌其中,开箱即用

而它最有争议、也最值得深挖的一点写在 README.md:

The model is trained entirely on synthetic data. (该模型完全使用合成数据训练。)

这句话就是本文剖析的起点:一个基础模型,为什么敢 100% 依赖合成数据?

🤔 为什么选择全合成数据训练?四大核心动机

动机一:数据规模无上限,分布完全可控

真实表格数据是有限且异构的,而合成数据生成是一条"数据流水线":

  • 可以精确控制非线性程度、特征交互、噪声水平、缺失率与目标分布
  • 训练分布能覆盖远超真实数据集的"任务样式"空间
  • 对于上下文学习范式,模型要学的不是"某张表的领域知识",而是**"如何从上下文里提取任务映射"这一元能力**——合成数据恰恰最擅长注入这种通用能力,真实知识则由推理时的上下文行在每次调用中"注入"

动机二:杜绝基准污染,让评测分数可信

README.md 明确说明:训练不使用任何基准数据(no benchmark data is used in training)。

这意味着基准评测使用的 TabArena、TALENT、OpenML 三套共 95 个公开回归任务与训练数据零交集。若使用真实数据预训练,高分里很难区分"泛化能力"与"背题";而纯合成数据下,公开任务上的高分只能来自真实的泛化——这是评测公平性的最强保障。

动机三:天然绕开隐私与合规红线

表格数据是最可能包含敏感信息的模态——医疗记录、财务报表、用户画像。使用真实数据预训练,要面对数据授权、个人信息保护、跨机构共享三重合规问题;合成数据由程序生成,天然不含个人隐私,是基础模型预训练路线中最干净的选项。

动机四:可复现,边际成本趋近于零

  • 合成数据生成管线是代码,完全可复现、可审计
  • 无需采购、爬取、清洗数据,无授权成本
  • 需要更大训练规模时,无限扩产即可

💡 一句话总结:合成数据不是"省钱妥协",而是刻意设计——对上下文学习而言,训练数据的价值在于"覆盖任务分布",而非"携带真实知识"。

🏗️ 合成数据训练策略在架构上如何体现?

Nori 1.5 的 Model v3 架构可以从 config.json 直接读到关键参数:

组件 配置 作用
单元格编码器(cell encoder) 9 层 / 128 维 / 4 头 第一阶段:处理特征级 token 序列
行编码器(row encoder) 12 层 / 8 头 / 768 维 第二阶段:聚合整行语义(见 config.json)
目标 token 每行 2 个 为每行配备 2 个 target token
特征 tokenization RBF64 + PLE64 将连续特征编码为 token 序列
Block 结构 SwiGLU + RMSNorm + pre-norm 现代 Transformer 块(config.json)
回归头 999 分位数 pinball 分位数损失头,比 MSE 更鲁棒(config.json)

两处设计与合成数据策略相互呼应:

  1. 两阶段编码器:先"看特征"再"看整行",分层抽象结构高度适配合成数据中规则化的分布模式
  2. 4 成员预处理集成:其他 Nori 规格使用 8 成员集成,而 Nori 1.5 固定只用 4 成员(config.json)就拿下全场最高平均分——推断出的模型置信度,直接体现为更激进的推理配置

📊 效果验证:纯合成数据训练能打吗?

在 95 个公开回归任务(TabArena / TALENT / OpenML 三套)的同机同代码基准中,Nori 1.5 在每一套基准上都取得最高平均 R²(README.md):

基准套件 数据集数 Nori-6M Nori 1.5 (21M) Nori-30M Nori-100M
TabArena 13 0.8068 0.8175 0.8097 0.8120
TALENT 71 0.7561 0.7614 0.7523 0.7539
OpenML 11 0.6366 0.6559 0.6430 0.6488
总体 95 0.7492 0.7569 0.7475 0.7497

两个值得注意的数字:

  • 质量:逐任务对比,它在 57 个任务上胜过 Nori-100M、31 个打平、仅 7 个落败——21M 参数的合成数据模型,整体跑赢 100M 参数模型
  • 速度:仅凭 4 成员集成,TabArena + TALENT 推理耗时 309 s,比 Nori-30M(782 s)快约 2.5 倍,比 Nori-100M(3,370 s)快约 11 倍

🚀 快速上手:三步跑通 Nori 1.5

pip install "synthefy-nori>=0.22.0"

首次调用会自动下载并缓存公开模型权重,无需 token。如果想直接获取权重文件(nori.pt 通过 Git LFS 分发,实际约 83MB),可克隆本仓库:

git clone https://gitcode.com/hf_mirrors/Synthefy/Nori-1-5

Python 侧的用法极简,核心只有三步(完整示例见 README.md):

from synthefy_nori import NoriRegressor

model = NoriRegressor(model="nori-1-5")
model.fit(X_train, y_train)   # “fit”只是把带标签行存为上下文,不做真实训练
pred = model.predict(X_test)  # 单次前向传播直接输出预测

⚠️ 注意:早期版本的 synthefy-nori 无法加载该 checkpoint,必须使用 0.22.0 及以上版本。

⚠️ 局限性与适用场景(官方口径)

  • 大表 / 长上下文场景:稠密 O(N²) 的样本注意力限制了实际上下文大小,当前与最佳基线的差距集中在大 N、长上下文的表格
  • 合成分布覆盖度:再丰富的合成数据也无法完全覆盖真实数据长尾——例如 CookbookReviews 数据集上所有规格 R² 均在 −0.37 ~ −0.63(README.md)
  • 定位:小到中等规模表格回归,且"不想为每个任务单独训练"的场景最受益

✅ 总结:合成数据训练的价值公式

维度 传统真实数据预训练 Nori 1.5 的纯合成数据训练
数据规模 受采集能力限制 无限生成
基准公平 疑似泄漏风险 零交集,天然公平
隐私合规 需授权、脱敏 原生合规
可复现性 困难 代码级完全复现
实测效果 — 95 任务平均 R² 0.7569 全场最高,推理快 11 倍

Nori 1.5 传递的核心信号是:对上下文学习范式而言,合成数据训练放弃的只是"真实世界知识"(它会在推理时通过上下文注入),换来的是完全可控的任务分布、干净的评测和极致的效率(README.md)。如果你正在做表格数据回归,又不想为每个任务单独训练模型,这套"全合成数据预训练 + 零微调推理"的组合,值得纳入你的技术选型清单。

登录后查看全文
Nori-1-5