表格基础模型 vs 传统机器学习:kumo-tabular-small-regressor-ONNX与sklearn方案全维度对比,何时该用它?
表格基础模型 vs 传统机器学习:kumo-tabular-small-regressor-ONNX与sklearn方案全维度对比,何时该用它?
kumo-tabular-small-regressor-ONNX 是 NVIDIA Kumo-Tabular 表格基础模型(Tabular Foundation Model)的 ONNX 回归版本:无需训练,只要提供带标签的"上下文行",模型就能在一次前向传播中预测新行的目标值。本文从原理、输入输出、精度、部署到选型场景,将它与 sklearn 传统机器学习方案做全维度对比,帮你快速判断何时该用它、何时坚持 sklearn。
一、一句话看懂:什么是表格基础模型?
传统机器学习(如 sklearn 的 LinearRegression、RandomForestRegressor)的工作方式是:先训练,后预测。每个数据集都要经历 fit() → predict() 的流程,模型和某张表"绑死"。
而 Kumo Tabular 走的是"基础模型"路线:
- 🧠 一次前向传播,零训练:把带标签的已有行(context rows)和待预测行(query rows)拼在一起喂进去,直接得到预测结果
- 📊 一个模型通吃所有表:不针对具体数据集训练,靠"上下文学习"(in-context learning)适应你给的列和标签
- 🌐 ONNX 格式:本仓库提供了 small 尺寸回归头的 ONNX 转换版(fp32,约 120 MB),可在浏览器 WebGPU / WASM / CPU 上运行
核心模型文件见 onnx/model.onnx 与 onnx/model.onnx_data,模型元信息记录在 config.json 中。
二、全维度对比:kumo-tabular vs sklearn
| 对比维度 | sklearn 传统方案 | kumo-tabular-small-regressor-ONNX |
|---|---|---|
| 训练成本 | 每个数据集都要 fit,大表耗时 |
零训练,一次前向传播出结果 |
| 模型数量 | 每张表一个模型文件 | 一个模型适配任意表格 |
| 数据量要求 | 通常需要几百到上万行 | 几百行上下文即可(如 diabetes 300 行 context) |
| 预测能力 | 点估计 | 999 个分位数 → 点估计 + 预测区间 |
| 特征工程 | 自己写(缩放、编码、缺失值) | 有固定预处理配方(标准化、裁剪、类别计数) |
| 峰值精度 | 在单一固定表上通常更高 | 略逊,但无需调参迭代 |
| 部署形态 | Python 服务为主 | 浏览器内直接跑(WebGPU/WASM/CPU) |
| 数据隐私 | 数据要上传到训练/预测服务 | 数据可全程留在浏览器页面 |
| 可解释性 | 树模型特征重要性等工具成熟 | 黑盒分位数输出 |
💡 一句话总结:sklearn 追求"一张表的极致精度",Kumo 追求"任何表的开箱即用"。
三、输入输出全解析:模型如何"读表"?
模型的图结构定义在 README.md 中,输入输出如下:
| 张量 | 形状 | 含义 |
|---|---|---|
x |
[R, C] float32 | 特征矩阵,上下文行在前、查询行在后,已预处理 |
y_context |
[R_context] float32 | 上下文行的目标值(用上下文均值和标准差标准化) |
categorical_mask |
[C] bool | 哪些列来自类别型特征 |
logits |
[R_query, 999] | 标准化目标的 999 个分位数 q001…q999 |
拿到 logits 后,取分位数的均值即为点估计;排序后乘以上下文标准差再加回均值,就还原到真实量纲。这也是它比 sklearn 多出来的一项能力——天然给出预测区间。
⚠️ 关键提醒:模型期望输入已经过预处理(standardize、clip、sigma-clip、类别编码与计数),导出脚本 conversion/export_onnx.py 和固定配方脚本 conversion/fixtures.py 展示了完整流程。预处理不匹配,预测质量会大打折扣。
四、精度校验:ONNX 转换有损失吗?
这个仓库做得很严谨:用 torch.onnx.export(dynamo,opset 20)导出,其中 aten.remainder.Scalar 这一个算子做了自定义 lower 成 ONNX Mod(见 conversion/export_onnx.py)。官方给出的校验数据:
- 📈 CPU 端:ONNX Runtime vs PyTorch,在 diabetes(442×10)、California housing(1500×8)上最大偏差 4.4e-5
- 📈 WebGPU 端(Chrome + M3 Pro):最大偏差 ≤ 2e-4
- 📈 浏览器端到端:与原始 sdm 实现的点估计相对误差在 6e-6 以内
结论:转换本身几乎无损,你不用担心 ONNX 格式引入的精度问题。
五、部署亮点:在浏览器里跑 120MB 的表格模型
这是传统方案很难做到的场景:
- 通过 Transformers.js 的
AutoModel加载(device: "webgpu") - 由 ONNX Runtime 在 WebGPU / WASM / CPU 上执行
- 支持动态形状:行数 4~65536、列数 1~512,无需重新导出
- 数据全程留在页面内,不出浏览器——对敏感表格数据是天然优势
输入 CSV/Parquet → 预处理 → x / y_context / categorical_mask
↓
onnx/model.onnx(WebGPU/WASM/CPU)
↓
logits [R_query, 999] → 点估计 + 预测区间
六、选型指南:何时该用 Kumo?何时坚持 sklearn?
✅ 优先选 kumo-tabular-small-regressor-ONNX 的场景
- 新表不断出现,不想为每张表重新训练和部署模型
- 标注数据只有几百行,传统模型容易过拟合或表现不稳定
- 需要预测区间,而不只是一个点估计
- 数据隐私敏感,希望推理发生在浏览器/端侧
- 想要一个快速基线,对比自训练模型的价值
✅ 坚持 sklearn 的场景
- 只服务一张固定表,且有充足数据反复训练调参
- 对峰值精度有硬性要求(如计费、风控阈值场景)
- 运行环境无法加载 120MB 模型(如资源受限的边缘设备)
- 需要成熟的特征重要性/可解释性工具链
七、快速上手:3 步跑起来
- 获取模型:克隆仓库,得到 onnx/model.onnx 与 onnx/model.onnx_data(仓库地址:https://gitcode.com/hf_mirrors/onnx-community/kumo-tabular-small-regressor-ONNX)
- 对齐预处理:按 conversion/fixtures.py 中的确定性配方处理数据——数值列标准化、裁剪到 ±100、4σ 截断,类别列对齐并附类别计数
- 喂入推理:按"上下文行在前、查询行在后"拼好
x,准备好y_context和categorical_mask,一次run()拿到 999 分位数
八、局限与注意事项 ⚠️
- 本仓库是回归头(regressor);分类任务需要对应的 classifier 模型
- 模型体积 120 MB,弱网或低端设备加载较慢
- 预测质量强依赖上下文行的数量与代表性,几百行起步比较稳妥
- 权重受 OpenMDW-1.1 许可(NVIDIA 原始权重,本仓库仅做格式转换,见 LICENSE)
九、总结
| 你的需求 | 推荐方案 |
|---|---|
| 一张表、极致精度、充分调参 | sklearn |
| 多张表、零训练、开箱即用 | kumo-tabular-small-regressor-ONNX |
| 需要预测区间 | kumo-tabular-small-regressor-ONNX |
| 数据不能离开浏览器 | kumo-tabular-small-regressor-ONNX |
| 资源极度受限的边缘端 | sklearn(轻量模型) |
表格基础模型不是要"取代"sklearn,而是补上了它的一块短板:当数据少、表多、隐私敏感时,你不再需要为每张表付出一笔训练成本。kumo-tabular-small-regressor-ONNX 让这套能力以 120MB 的 ONNX 文件走进任何支持 WebGPU 的浏览器——这值得每个做结构化数据预测的同学实测一把。