H2O Stacked Ensemble 的 metalearner_algorithm 参数详解:从 AUTO 默认 GLM 到自定义元学习算法

原创2026-10-14 14:59:061,329 阅读
文章标签:人工智能机器学习AutoML大数据

H2O Stacked Ensemble 的 metalearner_algorithm 参数详解:从 AUTO 默认 GLM 到自定义元学习算法

导读

本文聚焦 H2O(h2o-3)分布式机器学习平台中 Stacked Ensemble(堆叠集成)的核心参数 metalearner_algorithm,讲解它如何控制「元学习器」(metalearner)——即用来学习如何最优组合多个基学习器(base learner)预测结果的算法。你将掌握 AUTO/GLM/GBM/DRF/DeepLearning/NaiveBayes/XGBoost 七种选项的含义与取舍,了解 AUTO 模式下 GLM 的非负权重与标准化关闭等底层实现逻辑,并通过 R 与 Python 双语言的完整可运行示例,学会更换元学习器并配合 metalearner_params 进行调优。

一、参数概览:作用范围与基本语义

属性 取值
适用算法 Stacked Ensembles
是否为超参数(Hyperparameter) 否

H2O 的 Stacked Ensemble 是一种有监督的集成学习算法,它通过一个称为 stacking(或称 Super Learning)的过程,寻找一组预测算法(即基学习器)的最优组合方式。负责学习这种「最优组合」的算法就是元学习算法(metalearning algorithm),即元学习器。

在训练 Stacked Ensemble 时,底层会先让各个基学习器在交叉验证的留出折上产生预测,拼成所谓的 Level One 训练帧(level one frame),再交给元学习器在该帧上拟合,最终得到带权重的组合模型。metalearner_algorithm 参数正是用来指定这个第二层学习算法。默认情况下,Stacked Ensemble 的元学习器是一个带非负权重约束的默认 H2O GLM。

从源码看,支持算法的枚举定义在 Metalearner.java:

public enum Algorithm {
  AUTO, deeplearning, drf, gbm, glm, naivebayes, xgboost,
}

对应的算法实例注册在 Metalearners.java,其中 XGBoost 通过 ServiceLoader 机制从扩展(extension)模块动态加载——即 h2o-extensions/xgboost 提供 XGBoostMetalearner,因此在未安装 XGBoost 扩展的构建中该选项不可用。这也解释了文档中「if available」的表述。

二、可选值详解

metalearner_algorithm 支持以下取值:

  • "AUTO":使用 GLM(非负权重、关闭标准化),若提供了 validation_frame,则启用 lambda_search(该行为未来可能变化)。这是默认值。
  • "glm":使用默认参数的 GLM。
  • "gbm":使用默认参数的 GBM。
  • "drf":使用默认参数的随机森林(Random Forest)。
  • "deeplearning":使用默认参数的 Deep Learning。
  • "naivebayes":使用默认参数的 NaiveBayes。
  • "xgboost":使用默认参数的 XGBoost(若当前环境中可用)。

元学习器将使用指定算法的默认超参数,除非你同时通过 metalearner_params 自定义超参数值。

AUTO 模式底层做了什么?

AUTO 并不只是「glm」的别名,它在 GLM 之上叠加了若干针对 stacking 场景的定制逻辑,实现在 Metalearners.java 的 AUTOMetalearner.setCustomParams() 中:

  • _non_negative = true:为 GLM 施加非负权重约束(multinomial 与 ordinal 族除外,因为这两个族不支持该约束),确保每个基学习器在组合中不会被赋予负的、语义上难以解释的权重;
  • _standardize = false:关闭标准化。原因在于 Level One 帧的特征列本身就是同质的概率预测值;若某些列概率普遍偏低(对应较差的基模型),标准化反而会放大这些列的相对权重,造成信息损失;
  • 生成评分历史并设置评分间隔(_score_iteration_interval:无验证帧时为 5,有验证帧时为 -1);
  • 若提供了验证帧,则开启 _lambda_search = true 以获得更好的 GLM 拟合,同时将 _early_stopping = false。

另外,Metalearners.getActualMetalearnerAlgo() 会把 AUTO 解析为 glm:

static Algorithm getActualMetalearnerAlgo(Algorithm algo) {
  assertAvailable(algo.name());
  return algo == Algorithm.AUTO ? Algorithm.glm : algo;
}

测试用例 pyunit_stackedensemble_metalearner.py 也验证了这一点:遍历全部七种算法训练集成后,断言 AUTO 实际落地的元学习器算法为 glm。

三、与 metalearner_params 的关系

metalearner_algorithm 只负责选定元学习器算法,算法本身默认的超参数未必是最优的,因此 H2O 提供了配套参数 metalearner_params 来覆盖元学习器的具体超参数(详见官方参数文档)。

从实现上看,StackedEnsemble.java 会先检查 _metalearner_parameters 是否非空(即用户是否传入了 metalearner_params),随后在 Metalearner.compute() 中:若有自定义参数则直接替换 builder 的默认参数,再依次注入公共参数(种子、训练帧、响应列、权重列、偏移列、max_runtime_secs 等)与交叉验证参数。

seed 的传递规则(容易踩坑)

Stacked Ensemble 顶层的 seed 参数会自动透传给元学习器。但如果你在 metalearner_params 中显式定义了 seed,则以 metalearner_params 中的值为准。底层逻辑位于 Metalearner.java:

protected void setCommonParams(P parms) {
  if (parms._seed == -1) { //use _metalearnerSeed only as legacy fallback if not set on metalearner_parameters
    parms._seed = _metalearnerSeed;
  }
  ...
}

即:只有自定义参数中的 seed 仍为默认值 -1 时,才会回退使用 Stacked Ensemble 顶层的 seed。因此,若你只想定制 seed,直接使用顶层 seed 参数更简单。

其他自动继承的行为

  • 元学习器的分布族(distribution)/GLM 族(family)会从第一个基学习器自动继承。若用户显式指定了 family/distribution,则跳过推断;GLM 还会继承如 tweedie_power 等带参分布参数,参见 StackedEnsemble.java。
  • 元学习器自身的交叉验证由 metalearner_nfolds、metalearner_fold_assignment、metalearner_fold_column 控制,这些值会被写入元学习器的参数(Metalearner.java)。
  • 若元学习器算法不支持当前分布族,会回退选择 gaussian(回归)/bernoulli(二分类)/multinomial(多分类),并给出警告日志(Metalearners.java)。

四、完整实战示例(R 与 Python)

以下示例使用 H2O 公开测试数据集 higgs(higgs_train_5k.csv / higgs_test_5k.csv),演示如何用 GBM 与 RF 作为基学习器,并分别用默认 AUTO、GBM、DRF、Deep Learning 作为元学习器训练 Stacked Ensemble,在测试集上对比 AUC。

Python 版本

import h2o
from h2o.estimators.random_forest import H2ORandomForestEstimator
from h2o.estimators.gbm import H2OGradientBoostingEstimator
from h2o.estimators.stackedensemble import H2OStackedEnsembleEstimator
h2o.init()

# import the higgs_train_5k train and test datasets
train = h2o.import_file("https://s3.amazonaws.com/h2o-public-test-data/smalldata/testng/higgs_train_5k.csv")
test = h2o.import_file("https://s3.amazonaws.com/h2o-public-test-data/smalldata/testng/higgs_test_5k.csv")

# Identify predictors and response
x = train.columns
y = "response"
x.remove(y)

# Convert the response column in train and test datasets to a factor
train[y] = train[y].asfactor()
test[y] = test[y].asfactor()

# Set number of folds for base learners
nfolds = 3

# Train and cross-validate a GBM model
my_gbm = H2OGradientBoostingEstimator(distribution="bernoulli",
                                      ntrees=10,
                                      nfolds=nfolds,
                                      fold_assignment="Modulo",
                                      keep_cross_validation_predictions=True,
                                      seed=1)
my_gbm.train(x=x, y=y, training_frame=train)

# Train and cross-validate an RF model
my_rf = H2ORandomForestEstimator(ntrees=50,
                                 nfolds=nfolds,
                                 fold_assignment="Modulo",
                                 keep_cross_validation_predictions=True,
                                 seed=1)
my_rf.train(x=x, y=y, training_frame=train)

# Next we can train a few different ensembles using different metalearners

# Train a stacked ensemble using the default metalearner algorithm
stack = H2OStackedEnsembleEstimator(base_models=[my_gbm, my_rf])
stack.train(x=x, y=y, training_frame=train)
stack.model_performance(test).auc()
# 0.7522591310013634

# Train a stacked ensemble with a GBM metalearner algorithm
# The metalearner will use GBM default values
stack_gbm = H2OStackedEnsembleEstimator(base_models=[my_gbm, my_rf],
                                        metalearner_algorithm="gbm")
stack_gbm.train(x=x, y=y, training_frame=train)
stack_gbm.model_performance(test).auc()
# 0.7522591310013634

# Train a stacked ensemble with a RF metalearner algorithm
# The metalearner will use RF default values
stack_rf = H2OStackedEnsembleEstimator(base_models=[my_gbm, my_rf],
                                       metalearner_algorithm="drf")
stack_rf.train(x=x, y=y, training_frame=train)
stack_rf.model_performance(test).auc()
# 0.7016302070136065

# Train a stacked ensemble with a Deep Learning metalearner algorithm
# The metalearner will use Deep Learning default values
stack_dl = H2OStackedEnsembleEstimator(base_models=[my_gbm, my_rf],
                                       metalearner_algorithm="deeplearning")
stack_dl.train(x=x, y=y, training_frame=train)
stack_dl.model_performance(test).auc()
# 0.7634122856763638

R 版本

library(h2o)
h2o.init()

# import the higgs_train_5k train and test datasets
train <- h2o.importFile("https://s3.amazonaws.com/h2o-public-test-data/smalldata/testng/higgs_train_5k.csv")
test <- h2o.importFile("https://s3.amazonaws.com/h2o-public-test-data/smalldata/testng/higgs_test_5k.csv")

# Identify predictors and response
y <- "response"
x <- setdiff(names(train), y)

# Convert the response column in train and test datasets to a factor
train[, y] <- as.factor(train[, y])
test[, y] <- as.factor(test[, y])

# Set number of folds for base learners
nfolds <- 3

# Train & Cross-validate a GBM model
my_gbm <- h2o.gbm(x = x,
                  y = y,
                  training_frame = train,
                  distribution = "bernoulli",
                  ntrees = 10,
                  nfolds = nfolds,
                  keep_cross_validation_predictions = TRUE,
                  seed = 1)

# Train & Cross-validate an RF model
my_rf <- h2o.randomForest(x = x,
                          y = y,
                          training_frame = train,
                          ntrees = 10,
                          nfolds = nfolds,
                          keep_cross_validation_predictions = TRUE,
                          seed = 1)

# Next we can train a few different ensembles using different metalearners

# Train a stacked ensemble using the default metalearner algorithm
stack <- h2o.stackedEnsemble(x = x,
                             y = y,
                             training_frame = train,
                             base_models = list(my_gbm, my_rf))
h2o.auc(h2o.performance(stack, test))
# 0.7570171

# Train a stacked ensemble using GBM as the metalearner algorithm
# The metalearner will use GBM default values
stack_gbm <- h2o.stackedEnsemble(x = x,
                                 y = y,
                                 training_frame = train,
                                 base_models = list(my_gbm, my_rf),
                                 metalearner_algorithm = "gbm")
h2o.auc(h2o.performance(stack_gbm, test))
# 0.7511055

# Train a stacked ensemble using RF as the metalearner algorithm
# The metalearner will use RF default values
stack_rf <- h2o.stackedEnsemble(x = x,
                                y = y,
                                training_frame = train,
                                base_models = list(my_gbm, my_rf),
                                metalearner_algorithm = "drf")
h2o.auc(h2o.performance(stack_rf, test))
# 0.7232461

# Train a stacked ensemble using Deep Learning as the metalearner algorithm
stack_dl <- h2o.stackedEnsemble(x = x,
                                y = y,
                                training_frame = train,
                                base_models = list(my_gbm, my_rf),
                                metalearner_algorithm = "deeplearning")
h2o.auc(h2o.performance(stack_dl, test))
# 0.7571556

注意:

  • 基学习器必须开启 keep_cross_validation_predictions = TRUE(Python 中为 keep_cross_validation_predictions=True),且各基学习器的折叠划分必须一致,否则 Stacked Ensemble 无法构建 Level One 训练帧——源码中在 StackedEnsemble.java 会校验交叉验证留出预测帧是否存在。
  • Python 示例中基学习器的 fold_assignment="Modulo"、R 示例未显式指定折叠方式,结果差异源于随机种子与折叠分配细节;不同元学习器在同一批基学习器上得到的 AUC 不同,正说明该参数是集成调优的杠杆点。

用 metalearner_params 定制元学习器

若默认参数不合适,可通过 metalearner_params 传入字典(Python)/列表(R)覆盖元学习器的超参数。官方示例(见 metalearner_params.rst)以 GBM 与 DRF 为例:

gbm_params = {"ntrees": 100, "max_depth": 3}
rf_params = {"ntrees": 500, "max_depth": 8}

stack_gbm = H2OStackedEnsembleEstimator(base_models=[my_gbm, my_rf],
                                        metalearner_algorithm="gbm",
                                        metalearner_params=gbm_params)
stack_gbm.train(x=x, y=y, training_frame=train)
stack_gbm.model_performance(test).auc()
# 0.7576578946309993

stack_rf = H2OStackedEnsembleEstimator(base_models=[my_gbm, my_rf],
                                       metalearner_algorithm="drf",
                                       metalearner_params=rf_params)
stack_rf.train(x=x, y=y, training_frame=train)
stack_rf.model_performance(test).auc()
# 0.7525306981028109

R 侧等价写法为 gbm_params <- list(ntrees = 100, max_depth = 2) 并通过 metalearner_params = gbm_params 传入。测试用例 pyunit_stackedensemble_metalearner.py 还验证了 naivebayes + {'min_prob': 0.5}、xgboost + {'booster': 'dart'} 等组合会被正确序列化并生效;runit_stackedensemble_custom_metalearner_params.R 提供了 R 侧的对应测试。

五、如何选择合适的元学习器

  • 默认 AUTO(GLM 非负权重):最稳妥的起点。它保证组合权重非负、解释性强,且计算开销小;提供验证帧时自动启用 lambda 搜索进一步拟合。
  • GBM / DRF / DeepLearning:当基学习器预测之间的非线性组合可能带来增益时可以考虑。但树模型与神经网络对 Level One 帧这种「概率特征」的拟合容易过拟合,需要配合 metalearner_params 控制复杂度(如调低 max_depth、ntrees)。
  • NaiveBayes / XGBoost:作为补充选项;XGBoost 仅在安装对应扩展时可用。

元学习器的默认参数未必最优,官方文档明确建议使用 metalearner_params 多做实验。目前版本尚未提供针对元学习器的标准 H2O Grid 网格搜索接口,该能力在官方计划中(对应 issue #12153),届时可通过标准 Grid 界面批量搜索元学习器参数组合,进一步降低调优成本。

六、参数取值约束与常见错误

  • 传入的算法名必须是枚举中的七个值之一(AUTO/deeplearning/drf/gbm/glm/naivebayes/xgboost)。若传入未知值,训练会直接抛出 H2OIllegalArgumentException:Invalid metalearner_algorithm. Passed in ... but must be one of <a href="https://link.gitcode.com/i/c9e54302119a9192885b1356af742ac0" target="_blank">...],见 [StackedEnsemble.java。
  • 若所选算法在当前构建中不可用(例如未安装 XGBoost 扩展),Metalearners.assertAvailable() 会抛出「'xxx' metalearner is not supported or available」异常(Metalearners.java)。
  • Python 客户端在 setter 中通过 Enum("auto", "deeplearning", "drf", "gbm", "glm", "naivebayes", "xgboost") 做类型校验(stackedensemble.py);R 客户端同样通过 c("AUTO", "deeplearning", "drf", "gbm", "glm", "naivebayes", "xgboost") 限定取值(stackedensemble.R)。
  • 训练结束后,可通过 Python 的 se.metalearner() 或 R 的 h2o.getModel() 获取元学习器模型对象,其算法类型可用 meta.algo 验证实际落地的是否为期望算法(见 pyunit_stackedensemble_metalearner.py)。

七、相关参数与延伸阅读

  • metalearner_params:为指定元学习器算法定制超参数,与 metalearner_algorithm 配套使用。
  • 其他 Stacked Ensemble 相关参数还包括:base_models(基学习器列表)、metalearner_nfolds/metalearner_fold_assignment/metalearner_fold_column(元学习器自身的交叉验证)、metalearner_transform(Level One 帧变换,支持 none/logit,logit 变换实现见 StackedEnsembleModel.java)、keep_levelone_frame(保留 Level One 帧)等,完整说明参见 Stacked Ensembles 总览文档。
  • 元学习器训练流程的源码入口位于 StackedEnsemble.java,核心执行逻辑在 Metalearner.java;Java 侧集成测试覆盖了 AUTO、GBM 等多种元学习器在回归、二分类、多分类任务上的表现,见 StackedEnsembleTest.java。
登录后查看全文
h2o-3