H2O Stacked Ensemble 的 metalearner_algorithm 参数详解:从 AUTO 默认 GLM 到自定义元学习算法
H2O Stacked Ensemble 的 metalearner_algorithm 参数详解:从 AUTO 默认 GLM 到自定义元学习算法
导读
本文聚焦 H2O(h2o-3)分布式机器学习平台中 Stacked Ensemble(堆叠集成)的核心参数 metalearner_algorithm,讲解它如何控制「元学习器」(metalearner)——即用来学习如何最优组合多个基学习器(base learner)预测结果的算法。你将掌握 AUTO/GLM/GBM/DRF/DeepLearning/NaiveBayes/XGBoost 七种选项的含义与取舍,了解 AUTO 模式下 GLM 的非负权重与标准化关闭等底层实现逻辑,并通过 R 与 Python 双语言的完整可运行示例,学会更换元学习器并配合 metalearner_params 进行调优。
一、参数概览:作用范围与基本语义
| 属性 | 取值 |
|---|---|
| 适用算法 | Stacked Ensembles |
| 是否为超参数(Hyperparameter) | 否 |
H2O 的 Stacked Ensemble 是一种有监督的集成学习算法,它通过一个称为 stacking(或称 Super Learning)的过程,寻找一组预测算法(即基学习器)的最优组合方式。负责学习这种「最优组合」的算法就是元学习算法(metalearning algorithm),即元学习器。
在训练 Stacked Ensemble 时,底层会先让各个基学习器在交叉验证的留出折上产生预测,拼成所谓的 Level One 训练帧(level one frame),再交给元学习器在该帧上拟合,最终得到带权重的组合模型。metalearner_algorithm 参数正是用来指定这个第二层学习算法。默认情况下,Stacked Ensemble 的元学习器是一个带非负权重约束的默认 H2O GLM。
从源码看,支持算法的枚举定义在 Metalearner.java:
public enum Algorithm {
AUTO, deeplearning, drf, gbm, glm, naivebayes, xgboost,
}
对应的算法实例注册在 Metalearners.java,其中 XGBoost 通过 ServiceLoader 机制从扩展(extension)模块动态加载——即 h2o-extensions/xgboost 提供 XGBoostMetalearner,因此在未安装 XGBoost 扩展的构建中该选项不可用。这也解释了文档中「if available」的表述。
二、可选值详解
metalearner_algorithm 支持以下取值:
"AUTO":使用 GLM(非负权重、关闭标准化),若提供了validation_frame,则启用lambda_search(该行为未来可能变化)。这是默认值。"glm":使用默认参数的 GLM。"gbm":使用默认参数的 GBM。"drf":使用默认参数的随机森林(Random Forest)。"deeplearning":使用默认参数的 Deep Learning。"naivebayes":使用默认参数的 NaiveBayes。"xgboost":使用默认参数的 XGBoost(若当前环境中可用)。
元学习器将使用指定算法的默认超参数,除非你同时通过 metalearner_params 自定义超参数值。
AUTO 模式底层做了什么?
AUTO 并不只是「glm」的别名,它在 GLM 之上叠加了若干针对 stacking 场景的定制逻辑,实现在 Metalearners.java 的 AUTOMetalearner.setCustomParams() 中:
_non_negative = true:为 GLM 施加非负权重约束(multinomial 与 ordinal 族除外,因为这两个族不支持该约束),确保每个基学习器在组合中不会被赋予负的、语义上难以解释的权重;_standardize = false:关闭标准化。原因在于 Level One 帧的特征列本身就是同质的概率预测值;若某些列概率普遍偏低(对应较差的基模型),标准化反而会放大这些列的相对权重,造成信息损失;- 生成评分历史并设置评分间隔(
_score_iteration_interval:无验证帧时为 5,有验证帧时为 -1); - 若提供了验证帧,则开启
_lambda_search = true以获得更好的 GLM 拟合,同时将_early_stopping = false。
另外,Metalearners.getActualMetalearnerAlgo() 会把 AUTO 解析为 glm:
static Algorithm getActualMetalearnerAlgo(Algorithm algo) {
assertAvailable(algo.name());
return algo == Algorithm.AUTO ? Algorithm.glm : algo;
}
测试用例 pyunit_stackedensemble_metalearner.py 也验证了这一点:遍历全部七种算法训练集成后,断言 AUTO 实际落地的元学习器算法为 glm。
三、与 metalearner_params 的关系
metalearner_algorithm 只负责选定元学习器算法,算法本身默认的超参数未必是最优的,因此 H2O 提供了配套参数 metalearner_params 来覆盖元学习器的具体超参数(详见官方参数文档)。
从实现上看,StackedEnsemble.java 会先检查 _metalearner_parameters 是否非空(即用户是否传入了 metalearner_params),随后在 Metalearner.compute() 中:若有自定义参数则直接替换 builder 的默认参数,再依次注入公共参数(种子、训练帧、响应列、权重列、偏移列、max_runtime_secs 等)与交叉验证参数。
seed 的传递规则(容易踩坑)
Stacked Ensemble 顶层的 seed 参数会自动透传给元学习器。但如果你在 metalearner_params 中显式定义了 seed,则以 metalearner_params 中的值为准。底层逻辑位于 Metalearner.java:
protected void setCommonParams(P parms) {
if (parms._seed == -1) { //use _metalearnerSeed only as legacy fallback if not set on metalearner_parameters
parms._seed = _metalearnerSeed;
}
...
}
即:只有自定义参数中的 seed 仍为默认值 -1 时,才会回退使用 Stacked Ensemble 顶层的 seed。因此,若你只想定制 seed,直接使用顶层 seed 参数更简单。
其他自动继承的行为
- 元学习器的分布族(distribution)/GLM 族(family)会从第一个基学习器自动继承。若用户显式指定了 family/distribution,则跳过推断;GLM 还会继承如
tweedie_power等带参分布参数,参见 StackedEnsemble.java。 - 元学习器自身的交叉验证由
metalearner_nfolds、metalearner_fold_assignment、metalearner_fold_column控制,这些值会被写入元学习器的参数(Metalearner.java)。 - 若元学习器算法不支持当前分布族,会回退选择 gaussian(回归)/bernoulli(二分类)/multinomial(多分类),并给出警告日志(Metalearners.java)。
四、完整实战示例(R 与 Python)
以下示例使用 H2O 公开测试数据集 higgs(higgs_train_5k.csv / higgs_test_5k.csv),演示如何用 GBM 与 RF 作为基学习器,并分别用默认 AUTO、GBM、DRF、Deep Learning 作为元学习器训练 Stacked Ensemble,在测试集上对比 AUC。
Python 版本
import h2o
from h2o.estimators.random_forest import H2ORandomForestEstimator
from h2o.estimators.gbm import H2OGradientBoostingEstimator
from h2o.estimators.stackedensemble import H2OStackedEnsembleEstimator
h2o.init()
# import the higgs_train_5k train and test datasets
train = h2o.import_file("https://s3.amazonaws.com/h2o-public-test-data/smalldata/testng/higgs_train_5k.csv")
test = h2o.import_file("https://s3.amazonaws.com/h2o-public-test-data/smalldata/testng/higgs_test_5k.csv")
# Identify predictors and response
x = train.columns
y = "response"
x.remove(y)
# Convert the response column in train and test datasets to a factor
train[y] = train[y].asfactor()
test[y] = test[y].asfactor()
# Set number of folds for base learners
nfolds = 3
# Train and cross-validate a GBM model
my_gbm = H2OGradientBoostingEstimator(distribution="bernoulli",
ntrees=10,
nfolds=nfolds,
fold_assignment="Modulo",
keep_cross_validation_predictions=True,
seed=1)
my_gbm.train(x=x, y=y, training_frame=train)
# Train and cross-validate an RF model
my_rf = H2ORandomForestEstimator(ntrees=50,
nfolds=nfolds,
fold_assignment="Modulo",
keep_cross_validation_predictions=True,
seed=1)
my_rf.train(x=x, y=y, training_frame=train)
# Next we can train a few different ensembles using different metalearners
# Train a stacked ensemble using the default metalearner algorithm
stack = H2OStackedEnsembleEstimator(base_models=[my_gbm, my_rf])
stack.train(x=x, y=y, training_frame=train)
stack.model_performance(test).auc()
# 0.7522591310013634
# Train a stacked ensemble with a GBM metalearner algorithm
# The metalearner will use GBM default values
stack_gbm = H2OStackedEnsembleEstimator(base_models=[my_gbm, my_rf],
metalearner_algorithm="gbm")
stack_gbm.train(x=x, y=y, training_frame=train)
stack_gbm.model_performance(test).auc()
# 0.7522591310013634
# Train a stacked ensemble with a RF metalearner algorithm
# The metalearner will use RF default values
stack_rf = H2OStackedEnsembleEstimator(base_models=[my_gbm, my_rf],
metalearner_algorithm="drf")
stack_rf.train(x=x, y=y, training_frame=train)
stack_rf.model_performance(test).auc()
# 0.7016302070136065
# Train a stacked ensemble with a Deep Learning metalearner algorithm
# The metalearner will use Deep Learning default values
stack_dl = H2OStackedEnsembleEstimator(base_models=[my_gbm, my_rf],
metalearner_algorithm="deeplearning")
stack_dl.train(x=x, y=y, training_frame=train)
stack_dl.model_performance(test).auc()
# 0.7634122856763638
R 版本
library(h2o)
h2o.init()
# import the higgs_train_5k train and test datasets
train <- h2o.importFile("https://s3.amazonaws.com/h2o-public-test-data/smalldata/testng/higgs_train_5k.csv")
test <- h2o.importFile("https://s3.amazonaws.com/h2o-public-test-data/smalldata/testng/higgs_test_5k.csv")
# Identify predictors and response
y <- "response"
x <- setdiff(names(train), y)
# Convert the response column in train and test datasets to a factor
train[, y] <- as.factor(train[, y])
test[, y] <- as.factor(test[, y])
# Set number of folds for base learners
nfolds <- 3
# Train & Cross-validate a GBM model
my_gbm <- h2o.gbm(x = x,
y = y,
training_frame = train,
distribution = "bernoulli",
ntrees = 10,
nfolds = nfolds,
keep_cross_validation_predictions = TRUE,
seed = 1)
# Train & Cross-validate an RF model
my_rf <- h2o.randomForest(x = x,
y = y,
training_frame = train,
ntrees = 10,
nfolds = nfolds,
keep_cross_validation_predictions = TRUE,
seed = 1)
# Next we can train a few different ensembles using different metalearners
# Train a stacked ensemble using the default metalearner algorithm
stack <- h2o.stackedEnsemble(x = x,
y = y,
training_frame = train,
base_models = list(my_gbm, my_rf))
h2o.auc(h2o.performance(stack, test))
# 0.7570171
# Train a stacked ensemble using GBM as the metalearner algorithm
# The metalearner will use GBM default values
stack_gbm <- h2o.stackedEnsemble(x = x,
y = y,
training_frame = train,
base_models = list(my_gbm, my_rf),
metalearner_algorithm = "gbm")
h2o.auc(h2o.performance(stack_gbm, test))
# 0.7511055
# Train a stacked ensemble using RF as the metalearner algorithm
# The metalearner will use RF default values
stack_rf <- h2o.stackedEnsemble(x = x,
y = y,
training_frame = train,
base_models = list(my_gbm, my_rf),
metalearner_algorithm = "drf")
h2o.auc(h2o.performance(stack_rf, test))
# 0.7232461
# Train a stacked ensemble using Deep Learning as the metalearner algorithm
stack_dl <- h2o.stackedEnsemble(x = x,
y = y,
training_frame = train,
base_models = list(my_gbm, my_rf),
metalearner_algorithm = "deeplearning")
h2o.auc(h2o.performance(stack_dl, test))
# 0.7571556
注意:
- 基学习器必须开启
keep_cross_validation_predictions = TRUE(Python 中为keep_cross_validation_predictions=True),且各基学习器的折叠划分必须一致,否则 Stacked Ensemble 无法构建 Level One 训练帧——源码中在 StackedEnsemble.java 会校验交叉验证留出预测帧是否存在。 - Python 示例中基学习器的
fold_assignment="Modulo"、R 示例未显式指定折叠方式,结果差异源于随机种子与折叠分配细节;不同元学习器在同一批基学习器上得到的 AUC 不同,正说明该参数是集成调优的杠杆点。
用 metalearner_params 定制元学习器
若默认参数不合适,可通过 metalearner_params 传入字典(Python)/列表(R)覆盖元学习器的超参数。官方示例(见 metalearner_params.rst)以 GBM 与 DRF 为例:
gbm_params = {"ntrees": 100, "max_depth": 3}
rf_params = {"ntrees": 500, "max_depth": 8}
stack_gbm = H2OStackedEnsembleEstimator(base_models=[my_gbm, my_rf],
metalearner_algorithm="gbm",
metalearner_params=gbm_params)
stack_gbm.train(x=x, y=y, training_frame=train)
stack_gbm.model_performance(test).auc()
# 0.7576578946309993
stack_rf = H2OStackedEnsembleEstimator(base_models=[my_gbm, my_rf],
metalearner_algorithm="drf",
metalearner_params=rf_params)
stack_rf.train(x=x, y=y, training_frame=train)
stack_rf.model_performance(test).auc()
# 0.7525306981028109
R 侧等价写法为 gbm_params <- list(ntrees = 100, max_depth = 2) 并通过 metalearner_params = gbm_params 传入。测试用例 pyunit_stackedensemble_metalearner.py 还验证了 naivebayes + {'min_prob': 0.5}、xgboost + {'booster': 'dart'} 等组合会被正确序列化并生效;runit_stackedensemble_custom_metalearner_params.R 提供了 R 侧的对应测试。
五、如何选择合适的元学习器
- 默认 AUTO(GLM 非负权重):最稳妥的起点。它保证组合权重非负、解释性强,且计算开销小;提供验证帧时自动启用 lambda 搜索进一步拟合。
- GBM / DRF / DeepLearning:当基学习器预测之间的非线性组合可能带来增益时可以考虑。但树模型与神经网络对 Level One 帧这种「概率特征」的拟合容易过拟合,需要配合
metalearner_params控制复杂度(如调低max_depth、ntrees)。 - NaiveBayes / XGBoost:作为补充选项;XGBoost 仅在安装对应扩展时可用。
元学习器的默认参数未必最优,官方文档明确建议使用 metalearner_params 多做实验。目前版本尚未提供针对元学习器的标准 H2O Grid 网格搜索接口,该能力在官方计划中(对应 issue #12153),届时可通过标准 Grid 界面批量搜索元学习器参数组合,进一步降低调优成本。
六、参数取值约束与常见错误
- 传入的算法名必须是枚举中的七个值之一(
AUTO/deeplearning/drf/gbm/glm/naivebayes/xgboost)。若传入未知值,训练会直接抛出H2OIllegalArgumentException:Invalid metalearner_algorithm. Passed in ... but must be one of <a href="https://link.gitcode.com/i/c9e54302119a9192885b1356af742ac0" target="_blank">...],见 [StackedEnsemble.java。 - 若所选算法在当前构建中不可用(例如未安装 XGBoost 扩展),
Metalearners.assertAvailable()会抛出「'xxx' metalearner is not supported or available」异常(Metalearners.java)。 - Python 客户端在 setter 中通过
Enum("auto", "deeplearning", "drf", "gbm", "glm", "naivebayes", "xgboost")做类型校验(stackedensemble.py);R 客户端同样通过c("AUTO", "deeplearning", "drf", "gbm", "glm", "naivebayes", "xgboost")限定取值(stackedensemble.R)。 - 训练结束后,可通过 Python 的
se.metalearner()或 R 的h2o.getModel()获取元学习器模型对象,其算法类型可用meta.algo验证实际落地的是否为期望算法(见 pyunit_stackedensemble_metalearner.py)。
七、相关参数与延伸阅读
- metalearner_params:为指定元学习器算法定制超参数,与
metalearner_algorithm配套使用。 - 其他 Stacked Ensemble 相关参数还包括:
base_models(基学习器列表)、metalearner_nfolds/metalearner_fold_assignment/metalearner_fold_column(元学习器自身的交叉验证)、metalearner_transform(Level One 帧变换,支持 none/logit,logit 变换实现见 StackedEnsembleModel.java)、keep_levelone_frame(保留 Level One 帧)等,完整说明参见 Stacked Ensembles 总览文档。 - 元学习器训练流程的源码入口位于 StackedEnsemble.java,核心执行逻辑在 Metalearner.java;Java 侧集成测试覆盖了 AUTO、GBM 等多种元学习器在回归、二分类、多分类任务上的表现,见 StackedEnsembleTest.java。