Learnware项目中的表格数据集工作流实践指南

引言

在机器学习领域，表格数据是最常见的数据形式之一。Learnware项目针对表格数据开发了一套完整的工作流程，帮助用户在不同场景下高效地识别和复用市场上已有的学习模型（learnware）。本文将深入解析该工作流的技术实现与应用效果。

技术背景

Learnware的核心思想是通过构建一个包含大量预训练模型的市场，让新用户能够快速找到适合自己任务的模型进行复用。针对表格数据，Learnware特别考虑了以下两种典型场景：

1. 同构特征空间：用户任务与市场中的learnware具有完全相同的特征空间
2. 异构特征空间：用户任务与learnware来自不同的特征空间

实验设置

数据集准备

实验使用了三个公开的销售预测数据集：

1. 未来销售预测(PFS)
2. M5预测竞赛数据
3. Corporacion超市数据

通过对这些数据集应用不同的特征工程方法，并按照商店进行划分，最终构建了包含265个learnware的实验市场。这些learnware涵盖了五种特征空间和两种标签空间。

基准算法

Learnware提供了多种learnware复用方法：

无标签数据场景

• Top-1复用：直接使用RKME规范选择的最佳单个learnware
• JobSelector复用：通过训练任务选择分类器为不同样本选择不同learnware
• AverageEnsemble复用：使用集成方法进行预测

有标签数据场景

• EnsemblePruning复用：选择性集成部分learnware
• FeatureAugment复用：将每个learnware视为特征增强器

同构特征空间实验结果

在PFS数据集的53个商店上进行的实验表明：

1. 无标签数据时，复用learnware显著优于随机选择
2. 有少量标签数据时，learnware复用效果优于用户自己训练的模型

方法	MSE
市场平均(单个)	0.897
市场最佳(单个)	0.756
Top-1复用(单个)	0.830
JobSelector复用(多个)	0.848
AverageEnsemble复用(多个)	0.816

异构特征空间实验结果

不同特征工程场景

在PFS数据集上使用不同特征工程方法的41个商店作为用户，结果显示即使特征空间不完全匹配，AverageEnsemble方法仍能取得良好效果。

方法	MSE
市场平均(单个)	1.149
市场最佳(单个)	1.038
Top-1复用(单个)	1.105
AverageEnsemble复用(多个)	1.081

不同任务场景

在M5数据集上的实验表明，即使没有专门针对该任务的learnware，异构learnware在少量标签数据下仍能提供有效帮助。

实验复现指南

环境准备

首先需要安装必要的依赖：

python -m pip install -r requirements.txt

运行实验

1. 同构特征空间表格结果：

python workflow.py unlabeled_homo_table_example

2. 同构特征空间图表结果：

python workflow.py labeled_homo_table_example

3. 异构特征空间表格结果：

python workflow.py cross_feat_eng_hetero_table_example

4. 异构特征空间图表结果：

python workflow.py cross_task_hetero_table_example

技术洞见

通过本实验可以得出几个重要结论：

1. 即使在没有标签数据的情况下，合理复用learnware也能获得不错的效果
2. 当用户有少量标签数据时，learnware复用效果显著优于从头训练
3. 在异构场景下，集成方法通常表现更稳定

Learnware的这套工作流为表格数据的模型复用提供了系统化的解决方案，特别适合实际业务中常见的小样本和跨领域场景。