Nori 1.5如何做到零训练预测?表格数据上下文学习(ICL)工作原理深度解析
Nori 1.5如何做到零训练预测?表格数据上下文学习(ICL)工作原理深度解析
Nori 1.5 是一个约 2100 万参数的表格基础模型(tabular foundation model),核心能力是零训练(zero-training)预测:只需把几十行带标签的表格数据作为"上下文"喂给它,就能在一次前向推理中直接输出对未见数据的回归预测——全程没有任何针对你任务的训练或微调。本文深度解析它的表格数据上下文学习(In-Context Learning, ICL)工作原理、Model v3 两阶段编码器架构,以及它为何能在 95 个公开回归任务上以 1/5 的参数量打赢更大的模型。
为什么"零训练预测"在表格数据上成立?
传统流程里,做回归要经历:清洗数据 → 训练模型 → 调参 → 验证,一个任务一套流水线。Nori 1.5 换了一条思路,借用了大语言模型的上下文学习思想:
- 上下文学习(ICL)的本质:模型不是在"训练",而是在一次前向推理中"阅读"你给的已标注样本,从中归纳出输入特征与目标值之间的映射规律,再把这套规律套用到查询行上。
- 预训练负责"学习能力":Nori 1.5 完全在合成数据上训练,从未见过任何基准测试数据。它学到的不是某个具体任务的解,而是"学会如何从少量样本中现学规律"这一元能力。
fit只是存数据:在使用层面,model.fit(X_train, y_train)并不触发任何梯度更新,它只是把标注行保存为上下文;predict时所有计算在一次前向推理中完成。
一句话概括:把"训练阶段"压缩进了"推理阶段",任务切换成本从"重新训练"降为"换一批上下文"。
Model v3 两阶段编码器:Nori 1.5 的架构核心
Nori 家族的其它尺寸共享同一套架构,而 Nori 1.5 独有 Model v3 两阶段编码器,这也是它"小参数、强性能"的关键。架构信息可在 config.json 中直接查证:
第一阶段:Cell 编码器(读单元格)
- 9 层 Transformer,嵌入维度 128,4 个注意力头
- 负责把表格中每个单元格值(feature token)编码成向量
- 特征先经过 RBF64 + PLE64 分词器(tokenization):RBF(径向基函数)把连续值映射到局部感受野上,PLE(位置编码)保留列的位置信息
第二阶段:Row 编码器(读整行)
- 独立的 12 层 Transformer,隐藏维度 768,8 个注意力头
- 负责把同一行的各个单元格向量聚合成行级表示
- 每行配置 2 个 target token,让目标变量在注意力中有专门的"落点"
- 全程使用 query-key 归一化,稳定深层注意力分布
回归头与推理配置
- 回归头采用 999 分位 pinball loss 输出,即不只预测单点值,而是输出整条分位数分布,可评估预测的不确定性
- 内置 4 成员预处理集成(4-member ensemble)——其它 Nori 尺寸用 8 个成员。这个配置直接存储在权重文件 nori.pt 内,加载文件即自动生效
- 每个 Transformer block 使用 SwiGLU + RMSNorm + pre-norm 组合,是现代高效 Transformer 的标准配方
💡 架构总结:先"逐格细读",再"逐行理解",最后从 2 个 target token 中读出预测分布。两级分工让 21M 参数获得了远超同量级的表达能力。
快速上手:三步完成零训练回归预测
安装依赖(需要 0.22.0 及以上版本,旧版无法加载此权重):
pip install "synthefy-nori>=0.22.0"
最小可运行示例(以经典的糖尿病数据集为例):
from sklearn.datasets import load_diabetes
from sklearn.model_selection import train_test_split
from synthefy_nori import NoriRegressor
X, y = load_diabetes(return_X_y=True)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=0)
model = NoriRegressor(model="nori-1-5") # 首次调用自动下载权重
model.fit(X_train, y_train) # "fit" 只是把标注行存为上下文
pred = model.predict(X_test) # 一次前向推理出结果,无训练
也有两个实用入口:
- 一次性预测:
from synthefy_nori import predict,一行调用跳过整个模型对象 - 本地权重:
NoriRegressor(model_path="path/to/nori.pt"),直接使用本仓库的 nori.pt,内置配置随文件一起加载
模型检测到 GPU 会自动用 GPU,否则回退 CPU,无需手动配置。
性能表现:21M 参数打赢 100M 参数量级
在 TabArena、TALENT、OpenML 三个套件共 95 个公开回归任务上的统一评测结果(摘自 README.md):
| 套件 | 数据集数 | Nori-6M | Nori 1.5 (21M) | Nori-30M | Nori-100M |
|---|---|---|---|---|---|
| TabArena | 13 | 0.8068 / 0.8772 | 0.8175 / 0.8939 | 0.8097 / 0.8831 | 0.8120 / 0.8901 |
| TALENT | 71 | 0.7561 / 0.8918 | 0.7614 / 0.8939 | 0.7523 / 0.8942 | 0.7539 / 0.8944 |
| OpenML | 11 | 0.6366 / 0.5719 | 0.6559 / 0.6265 | 0.6430 / 0.6190 | 0.6488 / 0.6313 |
| Overall | 95 | 0.7492 / 0.8708 | 0.7569 / 0.8869 | 0.7475 / 0.8752 | 0.7497 / 0.8799 |
(表中为"均值 / 中位数"R²)
几个值得关注的结论:
- ✅ 三个套件均值全部第一:Nori 1.5 在每一行都拿到最高均值
- ✅ 逐任务对比:对 Nori-100M 赢 57 个任务、平 31 个(差值 < 0.001)、仅输 7 个
- ⚡ 速度优势:只用 4 个集成成员,在 TabArena + TALENT 上耗时 309 秒,比 Nori-30M 快 2.5 倍、比 Nori-100M 快 11 倍
适用场景与当前局限
适合的场景 🎯
- 小到中等规模的表格回归,且希望免去逐任务训练的流程
- 任务频繁切换、每个任务样本量有限的业务
- 希望获得分位数预测(不确定性估计)的回归场景
当前局限 ⚠️
- 样本间注意力是密集 O(N²) 的,上下文长度受限——大 N / 长上下文表格是与最强基线的主要差距所在
- 完全依赖合成数据训练,极端真实分布下效果需要实测验证
- 评测中也存在个别"翻车"数据集(如
CookbookReviews全尺寸 R² 为负),选型时建议用自己的数据先跑一轮验证
总结与参考资料
Nori 1.5 的"零训练预测"并非魔法,而是三件事的叠加:合成数据上的元能力预训练 + Model v3 两阶段编码器(cell 级细读 + row 级理解 + 双 target token)+ 一次前向推理的 ICL 范式。它证明了表格回归领域可以用"上下文学习"替代"逐任务训练",而且小参数 + 精简集成能跑出更好的综合效果。
本仓库相关文件速查:
- README.md — 完整说明:架构差异、评测方法、用法与引用信息
- config.json — Model v3 架构摘要(参数量 20,757,832、两阶段配置、推理配置说明)
- nori.pt — 模型权重检查点(内置 4 成员推理配置)
如果你的业务里反复出现"小表格 + 换任务就重训"的痛点,Nori 1.5 值得作为回归方案的第一候选。