为什么Nori 1.5完全用合成数据训练?合成数据训练策略的深度剖析
为什么Nori 1.5完全用合成数据训练?合成数据训练策略的深度剖析
Nori 1.5 是一个约 2100 万参数的表格数据回归基础模型,通过上下文学习(In-Context Learning)在单次前向传播中完成预测,并且完全使用合成数据训练,没有任何真实基准数据参与。本文将剖析这一"纯合成数据训练策略"背后的四大动机——数据可控性、评测公平性、隐私合规与成本可复现性,并用项目实测的 95 个公开回归任务结果来验证它是否真的有效。
📌 Nori 1.5 是什么:零微调的表格回归基础模型
先快速对齐一下概念,Nori 1.5 的四个关键定位:
- 任务:表格数据回归(Tabular Regression),即从表格特征中预测连续目标值
- 范式:上下文学习(ICL)——推理时给几行带标签样本作为上下文,模型直接对新行输出预测,无需为任何任务单独训练或微调
- 规模:20,757,832 个参数(约 21M),属于 Nori 系列的 Model v3 变体
- 权重:nori.pt 单文件,推理配置也内嵌其中,开箱即用
而它最有争议、也最值得深挖的一点写在 README.md:
The model is trained entirely on synthetic data. (该模型完全使用合成数据训练。)
这句话就是本文剖析的起点:一个基础模型,为什么敢 100% 依赖合成数据?
🤔 为什么选择全合成数据训练?四大核心动机
动机一:数据规模无上限,分布完全可控
真实表格数据是有限且异构的,而合成数据生成是一条"数据流水线":
- 可以精确控制非线性程度、特征交互、噪声水平、缺失率与目标分布
- 训练分布能覆盖远超真实数据集的"任务样式"空间
- 对于上下文学习范式,模型要学的不是"某张表的领域知识",而是**"如何从上下文里提取任务映射"这一元能力**——合成数据恰恰最擅长注入这种通用能力,真实知识则由推理时的上下文行在每次调用中"注入"
动机二:杜绝基准污染,让评测分数可信
README.md 明确说明:训练不使用任何基准数据(no benchmark data is used in training)。
这意味着基准评测使用的 TabArena、TALENT、OpenML 三套共 95 个公开回归任务与训练数据零交集。若使用真实数据预训练,高分里很难区分"泛化能力"与"背题";而纯合成数据下,公开任务上的高分只能来自真实的泛化——这是评测公平性的最强保障。
动机三:天然绕开隐私与合规红线
表格数据是最可能包含敏感信息的模态——医疗记录、财务报表、用户画像。使用真实数据预训练,要面对数据授权、个人信息保护、跨机构共享三重合规问题;合成数据由程序生成,天然不含个人隐私,是基础模型预训练路线中最干净的选项。
动机四:可复现,边际成本趋近于零
- 合成数据生成管线是代码,完全可复现、可审计
- 无需采购、爬取、清洗数据,无授权成本
- 需要更大训练规模时,无限扩产即可
💡 一句话总结:合成数据不是"省钱妥协",而是刻意设计——对上下文学习而言,训练数据的价值在于"覆盖任务分布",而非"携带真实知识"。
🏗️ 合成数据训练策略在架构上如何体现?
Nori 1.5 的 Model v3 架构可以从 config.json 直接读到关键参数:
| 组件 | 配置 | 作用 |
|---|---|---|
| 单元格编码器(cell encoder) | 9 层 / 128 维 / 4 头 | 第一阶段:处理特征级 token 序列 |
| 行编码器(row encoder) | 12 层 / 8 头 / 768 维 | 第二阶段:聚合整行语义(见 config.json) |
| 目标 token | 每行 2 个 | 为每行配备 2 个 target token |
| 特征 tokenization | RBF64 + PLE64 | 将连续特征编码为 token 序列 |
| Block 结构 | SwiGLU + RMSNorm + pre-norm | 现代 Transformer 块(config.json) |
| 回归头 | 999 分位数 pinball | 分位数损失头,比 MSE 更鲁棒(config.json) |
两处设计与合成数据策略相互呼应:
- 两阶段编码器:先"看特征"再"看整行",分层抽象结构高度适配合成数据中规则化的分布模式
- 4 成员预处理集成:其他 Nori 规格使用 8 成员集成,而 Nori 1.5 固定只用 4 成员(config.json)就拿下全场最高平均分——推断出的模型置信度,直接体现为更激进的推理配置
📊 效果验证:纯合成数据训练能打吗?
在 95 个公开回归任务(TabArena / TALENT / OpenML 三套)的同机同代码基准中,Nori 1.5 在每一套基准上都取得最高平均 R²(README.md):
| 基准套件 | 数据集数 | Nori-6M | Nori 1.5 (21M) | Nori-30M | Nori-100M |
|---|---|---|---|---|---|
| TabArena | 13 | 0.8068 | 0.8175 | 0.8097 | 0.8120 |
| TALENT | 71 | 0.7561 | 0.7614 | 0.7523 | 0.7539 |
| OpenML | 11 | 0.6366 | 0.6559 | 0.6430 | 0.6488 |
| 总体 | 95 | 0.7492 | 0.7569 | 0.7475 | 0.7497 |
两个值得注意的数字:
- 质量:逐任务对比,它在 57 个任务上胜过 Nori-100M、31 个打平、仅 7 个落败——21M 参数的合成数据模型,整体跑赢 100M 参数模型
- 速度:仅凭 4 成员集成,TabArena + TALENT 推理耗时 309 s,比 Nori-30M(782 s)快约 2.5 倍,比 Nori-100M(3,370 s)快约 11 倍
🚀 快速上手:三步跑通 Nori 1.5
pip install "synthefy-nori>=0.22.0"
首次调用会自动下载并缓存公开模型权重,无需 token。如果想直接获取权重文件(nori.pt 通过 Git LFS 分发,实际约 83MB),可克隆本仓库:
git clone https://gitcode.com/hf_mirrors/Synthefy/Nori-1-5
Python 侧的用法极简,核心只有三步(完整示例见 README.md):
from synthefy_nori import NoriRegressor
model = NoriRegressor(model="nori-1-5")
model.fit(X_train, y_train) # “fit”只是把带标签行存为上下文,不做真实训练
pred = model.predict(X_test) # 单次前向传播直接输出预测
⚠️ 注意:早期版本的 synthefy-nori 无法加载该 checkpoint,必须使用 0.22.0 及以上版本。
⚠️ 局限性与适用场景(官方口径)
- 大表 / 长上下文场景:稠密 O(N²) 的样本注意力限制了实际上下文大小,当前与最佳基线的差距集中在大 N、长上下文的表格
- 合成分布覆盖度:再丰富的合成数据也无法完全覆盖真实数据长尾——例如
CookbookReviews数据集上所有规格 R² 均在 −0.37 ~ −0.63(README.md) - 定位:小到中等规模表格回归,且"不想为每个任务单独训练"的场景最受益
✅ 总结:合成数据训练的价值公式
| 维度 | 传统真实数据预训练 | Nori 1.5 的纯合成数据训练 |
|---|---|---|
| 数据规模 | 受采集能力限制 | 无限生成 |
| 基准公平 | 疑似泄漏风险 | 零交集,天然公平 |
| 隐私合规 | 需授权、脱敏 | 原生合规 |
| 可复现性 | 困难 | 代码级完全复现 |
| 实测效果 | — | 95 任务平均 R² 0.7569 全场最高,推理快 11 倍 |
Nori 1.5 传递的核心信号是:对上下文学习范式而言,合成数据训练放弃的只是"真实世界知识"(它会在推理时通过上下文注入),换来的是完全可控的任务分布、干净的评测和极致的效率(README.md)。如果你正在做表格数据回归,又不想为每个任务单独训练模型,这套"全合成数据预训练 + 零微调推理"的组合,值得纳入你的技术选型清单。