5分钟跑通Nori 1.5:零基础表格数据回归预测快速教程(附完整可复制代码)

原创2026-10-27 09:48:101,768 阅读
文章标签:基础模型机器学习表格回归人工智能

5分钟跑通Nori 1.5:零基础表格数据回归预测快速教程(附完整可复制代码)

Nori 1.5 是一个约 21M 参数的表格数据回归预测基础模型(Tabular Foundation Model):不需要训练、不需要微调,只要给它几行带标签的数据作为上下文,它就能在单次前向传播中对新数据做出回归预测。本教程面向零基础读者,5 分钟带你跑通 Nori 1.5 的完整预测流程,文末附完整可复制代码。

📌 Nori 1.5 是什么:免训练的表格回归模型

传统做法中,每换一个新回归任务(房价、销量、医疗指标……),你都要重新训练一个模型。Nori 1.5 走的是 in-context learning(ICL,上下文学习) 路线:

  • fit 不训练:model.fit(X_train, y_train) 只是把带标签的行"存起来"当作上下文,模型参数保持不变
  • 一次前向传播出结果:model.predict(X_test) 直接给出预测值
  • 完全用合成数据训练:不依赖任何基准测试数据

Nori 1.5 属于 Model v3 变体,相比早期版本引入了两阶段编码器:9 层 cell 编码器(embedding 128、4 头)+ 12 层 row 编码器(8 头),特征使用 RBF64 + PLE64 分词,推理采用 4 成员预处理集成。这些细节都记录在仓库的 config.json 中。

📊 性能:21M 参数打赢更大的模型

在 95 个公开回归任务上的 R² 均值对比(数据来自 README.md):

测试集 数据集数 Nori-6M Nori 1.5(21M) Nori-30M Nori-100M
TabArena 13 0.8068 0.8175 0.8097 0.8120
TALENT 71 0.7561 0.7614 0.7523 0.7539
OpenML 11 0.6366 0.6559 0.6430 0.6488
总体 95 0.7492 0.7569 0.7475 0.7497

Nori 1.5 在每个测试集上都取得最高均值 R²,同时推理速度是 Nori-30M 的约 2.5 倍、Nori-100M 的约 11 倍——小模型跑出了大模型都追不上的精度和速度。

⚡ 最快安装步骤:一条命令搞定

pip install "synthefy-nori>=0.22.0"

⚠️ 注意版本要求:0.22.0 之前的 synthefy-nori 无法加载这个检查点,请务必安装 0.22.0 或更高版本。

模型是公开模型,首次调用时会自动下载并缓存权重,无需 token、无需申请访问权限。有 GPU 时自动使用 GPU,没有 GPU 会回退到 CPU,开箱即用。

🚀 5分钟跑通:完整可复制代码

下面这段代码可直接复制运行,使用经典的糖尿病数据集完成一次完整的表格回归预测:

from sklearn.datasets import load_diabetes
from sklearn.model_selection import train_test_split
from synthefy_nori import NoriRegressor

# 1. 加载数据并划分训练集 / 测试集
X, y = load_diabetes(return_X_y=True)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=0)

# 2. 创建模型(首次使用自动从 Hub 下载权重)
model = NoriRegressor(model="nori-1-5")

# 3. "fit" 只是把带标签行存为上下文,不做任何训练
model.fit(X_train, y_train)

# 4. 单次前向传播,直接得到预测结果
pred = model.predict(X_test)
print(pred)

如果只想一行完成预测,还可以用官方提供的 one-shot 辅助函数:

from synthefy_nori import predict

pred = predict(X_train, y_train, X_test, task="regression", model="nori-1-5")

🗂️ 仓库文件解析:nori.pt 与 config.json 里有什么

本仓库只包含 3 个核心文件,各司其职:

文件 作用
nori.pt 模型权重检查点(约 21M 参数),推理配置也内嵌其中
config.json 架构摘要:两阶段编码器、SwiGLU + RMSNorm pre-norm 结构、999 分位数 pinball 回归头等
README.md 完整文档:性能基准、使用方法、引用信息(Apache-2.0 许可)

如果你手上有本地权重文件(比如本仓库的 nori.pt),可以直接指定路径加载,内嵌的推理配置会随文件一起生效:

model = NoriRegressor(model_path="nori.pt")

⚖️ 适用场景与使用限制

适合的场景 ✅

  • 中小规模的表格回归任务
  • 希望免去每个任务单独训练/微调的重复工作
  • 想快速原型验证:几行带标签数据 + 一行 predict 就能出结果

需要注意的限制 ⚠️

  • 模型采用稠密 O(N²) 样本注意力机制,上下文规模上限决定了它在超大表(long-context / 大 N 场景)上与最强基线的差距
  • 训练完全基于合成数据,遇到分布偏差较大的真实业务数据时,建议先用小样本验证精度

🎯 总结

Nori 1.5 用约 21M 的小参数量,在 95 个公开回归任务上跑出了最高均值 R²,且推理速度比 100M 级模型快 11 倍。对于表格数据回归预测场景,它提供了"零训练、单步出结果"的全新选择。

只需记住三步:装依赖 → fit 存上下文 → predict 出预测。现在就可以复制上面的代码,跑通你的第一个表格回归预测模型。

登录后查看全文
Nori-1-5