h2o-3 目标编码(Target Encoding):高基数分类特征的编码参数、transform 方法与 Titanic 实战

原创2026-10-14 17:02:042,201 阅读
文章标签:人工智能机器学习AutoML大数据

h2o-3 目标编码(Target Encoding):高基数分类特征的编码参数、transform 方法与 Titanic 实战

本文基于 h2o-3 仓库中的官方文档 target-encoding.rst 展开,系统讲解 H2O 中 Target Encoder 的全部训练参数(含默认值)、transform 变换方法,以及如何用 k_fold 防泄漏策略 + blending 正则化对 Titanic 数据集中高基数列 cabin、home.dest、embarked 做目标编码,并以此提升 GBM 的分类 AUC。读完本文,你可以独立完成:选择防数据泄漏策略、调参 blending/noise、编码训练集与测试集、把编码结果接入 GBM 并与基线对比,并且能够对照 h2o-extensions/target-encoder 模块的源码理解每一项参数在底层是如何生效的。

什么是目标编码

Target encoding 是指用目标变量的均值来替换某个分类取值的预处理技术。文档原文的定义是:"Target encoding is the process of replacing a categorical value with the mean of the target variable." 其典型价值在于:

  • 把高基数(high cardinality)分类列转换成数值列。树模型(GBM、DRF 等)处理高基数列时效率与效果都会受损,文档建议此时可将分类列转为数值,并提及可通过调参 nbins_cats 和 categorical_encoding 作为替代手段;
  • 自动丢弃非分类列:非分类列会被 Target Encoder 模型自动忽略(源码中对应一条警告:"Column xxx is not categorical and will therefore be ignored by target encoder",见 TargetEncoder.java 中 init 方法对列类型的逐一检查)。

模型参数详解(训练阶段)

在 R 中通过 h2o.targetencoder、在 Python 中通过 H2OTargetEncoderEstimator 训练模型,参数在两种语言下完全一致(分别定义于 targetencoder.R 与 targetencoder.py)。以下参数表整合了文档说明与源码中的默认值(默认值可在 TargetEncoderV3.java 与 TargetEncoderModel.java 中确认):

参数 类型/取值 默认值 说明
training_frame Frame 必填 用于构建 Target Encoding 模型的训练数据集
y / response_column 列名 必填 要预测的目标列,可以是数值型(回归)或分类/因子型(分类)
x 列名向量 空 指定要做目标编码的分类列;缺省时默认编码除 y 之外的所有分类列,非分类列被忽略
data_leakage_handling "none" / "k_fold" / "leave_one_out" "none" 数据泄漏处理策略,详见下文
fold_column 列名 None 折列名,仅在 data_leakage_handling="k_fold" 时可用且必需
keep_original_categorical_columns 布尔 TRUE 结果 frame 中是否保留被编码的原始分类列
blending 布尔 FALSE 是否按组内样本量对目标均值做加权混合(详见下文)
inflection_point 数值 10 混合用的 sigmoid 拐点,决定"完全信任组内样本估计值"所需的最小样本量的一半
smoothing 数值 20 混合 sigmoid 在拐点处的斜率倒数,控制后验概率向先验概率过渡的速率
noise 数值 0.01(即 0.01 倍的 y 值域范围) 为防止过拟合添加到目标均值上的随机噪声,设 0 关闭,设 -1(AUTO)由算法自动决定
seed 整数 -1 伪随机数种子,主要用于为随机噪声生成均匀分布随机数;-1 表示随机种子

提示:源码中还暴露了一个文档未直接列出的参数 columns_to_encode(String<a href="https://link.gitcode.com/i/fac07b2dfc85ca22a1df3ed6e3902889" target="_blank">][],见 [TargetEncoderV3.java):它可以指定"列组",组内多个分类列会先内部生成交互(interaction)列再整体编码为单一列,这为多字段联合编码提供了入口(实现见 InteractionSupport.java)。

三种数据泄漏处理策略的原理

目标编码最大的陷阱是数据泄漏:若直接用包含当前行的全量训练集计算某个取值的均值,训练集上的编码就"看过答案",导致训练指标虚高。data_leakage_handling 参数提供三种对策,源码中对应枚举 DataLeakageHandlingStrategy { LeaveOneOut, KFold, None }(TargetEncoderModel.java):

  1. none(默认):不做任何留样,用整个 frame 训练。适合"编码 map 在独立 holdout 集上构建"的场景。
  2. k_fold:为每一折生成的编码基于折外(out-of-fold)数据。训练时源码对每个 fold 值执行 getOutOfFoldEncodings(过滤掉该折样本)再按类别聚合,见 TargetEncoder.java 的 applyLeakageStrategyToEncodings。使用该策略时必须提供 fold_column,否则报错("Fold column is required when using KFold leakage handling strategy.",TargetEncoder.java);transform 训练集时该折列也必须存在,否则抛出 H2OIllegalArgumentException。
  3. leave_one_out:当前行的响应值从预先按全量训练集计算好的 per-level 频率中减去。源码实现 SubtractCurrentRowForLeaveOneOutTask 在分子 numerator 上减去当前行目标值(分类问题减 1,回归减目标值)、分母 denominator 上减 1(TargetEncoderHelper.java)。注意 LOO 策略在 transform 时要求 frame 中带有响应列,而 k_fold 策略由于编码已预计算则不需要。

三种策略在 transform 阶段分别对应三个内部类:DefaultEncodingStrategy、KFoldEncodingStrategy、LeaveOneOutEncodingStrategy(TargetEncoderModel.java),它们共享"合并编码表 → 计算编码值 → 加噪 → 填补 NA → 删除中间列"的流程。

blending:sigmoid 收缩(shrinkage)的公式与源码

当某个分类取值的样本很少时,其组内目标均值(后验)极不可靠。blending=TRUE 时,H2O 用组内样本量 n 计算收缩因子 λ(n),取组内均值与全局先验均值的加权平均。TargetEncoderHelper.getBlendedValue 给出了精确实现:

λ(n) = 1 / ( 1 + e^((k − n) / f) )
编码值 = λ(n) · 后验均值(ȳᵢ) + (1 − λ(n)) · 先验均值(ȳ)

其中 k = inflection_point(拐点)、f = smoothing(拐点处斜率的倒数)。含义解读:

  • 当 n < inflection_point 时 λ < 0.5,编码值更靠近全局均值;n 远大于拐点时 λ→1,几乎完全信任组内均值——这正是文档所说"决定我们对某类别样本估计完全信任所需最小样本量的一半";
  • smoothing 趋向 0 时,sigmoid 退化为 Heaviside 阶跃函数,即文档中"smoothing 趋近无穷时成为硬阈值"的连续形式(参数注释见 TargetEncoderV3.java 与 BlendingParams.java);
  • 默认参数为 inflection_point=10, smoothing=20(DEFAULT_BLENDING_PARAMS,TargetEncoderModel.java);当 blending=TRUE 但两个值均为 0 时,回退使用该默认值。

噪声与 NA 处理

  • 噪声:AddNoiseTask 对非 NA 行执行 value += (runif × 2 − 1) × noise,即在 <a href="https://link.gitcode.com/i/8e65ec97047b1521e42a6834f3b8f482" target="_blank">−noise, +noise] 区间均匀加噪([TargetEncoderHelper.java),seed 用于生成该随机数;文档的经验法则是"数据越少需要越强的正则化"。
  • NA 处理:训练前源码会把分类列中的 NA 视为一个新类别并追加 _NA 后缀的 domain 值(NA_POSTFIX,TargetEncoderHelper.imputeCategoricalColumn),因此 NA 也拥有自己的编码值。对 transform 时出现的"训练未见过的取值",源码用先验均值(或 NA 类别的混合值)做填补(valueForImputation,TargetEncoderModel.java)。

transform:把编码 map 应用到任意 frame

模型本身不做预测(makeMetricBuilder 直接抛出 "No Model Metrics for TargetEncoder",score0 也不支持原始打分),它的核心方法是 transform:把训练时生成的编码 map 应用到新数据上,得到带 *_te 编码列的新 frame。R 中调用 h2o.transform(te_model, frame, ...),Python 中调用 model.transform(frame, ...);Python 底层通过 REST 端点 GET /3/TargetEncoderTransform 完成(targetencoder.py,服务端处理器 TargetEncoderHandler.java 注册于 TargetEncoderAlgoRegister.java)。

transform 可用参数(定义于 TargetEncoderTransformParametersV3.java):

参数 说明
frame 要应用目标编码变换的 H2O frame
blending 覆盖模型上定义的 blending
inflection_point 覆盖模型上定义的 inflection_point(传 -1 表示沿用模型值)
smoothing 覆盖模型上定义的 smoothing(传 -1 表示沿用模型值)
noise 覆盖模型上的噪声量(传 -1 表示 AUTO,0 表示关闭)
as_training 对训练集变换时必须设为 TRUE;对训练外数据保持 FALSE。默认 FALSE

as_training 是关键开关:从源码看,transform(fr, asTraining, ...) 中只有 as_training=TRUE 才会启用训练时设定的 data_leakage_handling(k_fold/LOO),对训练外数据强制使用 None 策略(TargetEncoderModel.java)。因此在 R/Python 示例中你会看到成对出现:transform(te, train, as_training=TRUE) 与 transform(te, test, noise=0)——测试集编码时关闭噪声以避免评估指标被扰动。

另外,transform 返回 frame 的列顺序被刻意编排(reorderColumns):数值预测列 → TE 编码列 → 其余分类预测列 → 训练集中没有的列 → 非预测列,以保证 TE 集成进下游模型(如 GBM)时编码列索引稳定(TargetEncoderModel.java)。

完整实战示例:Titanic 数据集

下面完整继承文档中的示例。目标:用 Titanic 数据集预测 survived,其中 cabin 是取值很多的高基数分类列。做法是先对 home.dest、cabin、embarked 三列做目标编码,再用编码后的 frame 训练 GBM,并与直接喂原始分类列的基线 GBM 对比。

数据集:https://s3.amazonaws.com/h2o-public-test-data/smalldata/gbm_test/titanic.csv(仓库内测试用本地路径 smalldata/gbm_test/titanic.csv 亦可,见 pyunit_te_performance_docs_demo_titanic.py)。

R 版本

library(h2o)
h2o.init()

# 导入 titanic 数据集
f <- "https://s3.amazonaws.com/h2o-public-test-data/smalldata/gbm_test/titanic.csv"
titanic <- h2o.importFile(f)

# 将响应列设为因子
response <- "survived"
titanic[response] <- as.factor(titanic[response])

# 划分训练集与测试集
seed <- 1234
splits <- h2o.splitFrame(titanic, seed = seed, ratios = c(0.8))
train <- splits[[1]]
test <- splits[[2]]

# k_fold 策略需要折列
train$fold <- h2o.kfold_column(train, nfolds = 5, seed = seed)

# 选择要编码的列
encoded_columns <- c('home.dest', 'cabin', 'embarked')

# 训练 TE 模型
target_encoder <- h2o.targetencoder(training_frame = train,
                                    x = encoded_columns,
                                    y = "survived",
                                    fold_column = "fold",
                                    data_leakage_handling = "k_fold",
                                    blending = TRUE,
                                    inflection_point = 3,
                                    smoothing = 10,
                                    noise = 0.15,     # 数据越少越需要强正则化
                                    seed = seed)

# 生成目标编码后的训练集与测试集
transformed_train <- h2o.transform(target_encoder, train, as_training = TRUE)
transformed_test <- h2o.transform(target_encoder, test, noise = 0)

# 用 TE 特征训练 GBM
ignored_columns <- c("boat", "ticket", "name", "body")
features_with_te <- setdiff(names(transformed_train),
                            c(response, encoded_columns, ignored_columns))
gbm_with_te <- h2o.gbm(x = features_with_te,
                       y = response,
                       training_frame = transformed_train,
                       fold_column = "fold",
                       model_id = "gbm_with_te")

with_te_test_predictions <- predict(gbm_with_te, transformed_test)
auc_with_te <- h2o.auc(h2o.performance(gbm_with_te, transformed_test))
print(paste0("GBM AUC TEST: ", round(auc_with_te, 5)))

# 训练基线 GBM(不编码,直接用原始分类列)
features <- setdiff(names(train), c(response, ignored_columns))
gbm_baseline <- h2o.gbm(x = features,
                         y = response,
                         training_frame = train,
                         fold_column = "fold",
                         model_id = "gbm_baseline")

baseline_test_predictions <- predict(gbm_baseline, test)
auc_baseline <- h2o.auc(h2o.performance(gbm_baseline, test))
print(paste0("GBM AUC TEST: ", round(auc_baseline, 5)))

# 应用目标编码后效果更好:
# auc_with_te = 0.8805   >    auc_baseline = 0.84105

Python 版本

import h2o
h2o.init()
from h2o.estimators import H2OTargetEncoderEstimator
from h2o.estimators.gbm import H2OGradientBoostingEstimator

# 导入 titanic 数据集
titanic = h2o.import_file("https://s3.amazonaws.com/h2o-public-test-data/smalldata/gbm_test/titanic.csv")

# 将响应列设为因子
titanic['survived'] = titanic['survived'].asfactor()
response = 'survived'
seed = 1234   # 文档示例中此处应预先定义种子

# 划分训练集与测试集
train, test = titanic.split_frame(ratios=[.8], seed=seed)

# 选择要编码的列
encoded_columns = ["home.dest", "cabin", "embarked"]

# k_fold 策略需要折列
fold_column = "kfold_column"
train[fold_column] = train.kfold_column(n_folds=5, seed=seed)

# 训练 TE 模型
titanic_te = H2OTargetEncoderEstimator(fold_column=fold_column,
                                      data_leakage_handling="k_fold",
                                      blending=True,
                                      inflection_point=3,
                                      smoothing=10,
                                      noise=0.15,   # 数据越少越需要强正则化
                                      seed=seed)
titanic_te.train(x=encoded_columns,
                 y=response,
                 training_frame=train)

# 生成目标编码后的训练集与测试集
train_te = titanic_te.transform(frame=train, as_training=True)
test_te = titanic_te.transform(frame=test, noise=0)

gbm_with_te = H2OGradientBoostingEstimator(fold_column=fold_column,
                                           model_id="gbm_with_te")
# 基于训练数据训练,早期停止依据 xval 表现
x_with_te = ["pclass", "sex", "age", "sibsp", "parch", "fare",
             "cabin_te", "embarked_te", "home.dest_te"]
gbm_with_te.train(x=x_with_te, y=response, training_frame=train_te)

# 为避免对 xval 指标过拟合的乐观估计,在未见过的 test 上计算指标
my_gbm_metrics = gbm_with_te.model_performance(test_te)
auc_with_te = my_gbm_metrics.auc()

# 基线 GBM
gbm_baseline = H2OGradientBoostingEstimator(fold_column=fold_column,
                                             model_id="gbm_baseline")
x_baseline = ["pclass", "sex", "age", "sibsp", "parch", "fare",
              "cabin", "embarked", "home.dest"]
gbm_baseline.train(x=x_baseline, y=response, training_frame=train)

gbm_baseline_metrics = gbm_baseline.model_performance(test)
auc_baseline = gbm_baseline_metrics.auc()

# 应用目标编码后效果更好:
# auc_with_te = 0.8805   >   auc_baseline = 0.84105

几个值得注意的实战细节:

  1. 编码列命名规则:Python 版显式使用了 cabin_te、embarked_te、home.dest_te 作为特征名。从源码看,二分类问题下每列生成 <列名>_<正类名>_te(二分类取正类,即 survived=1 的比例),回归问题生成 <列名>_te,多分类则跳过第 0 类、为其余每一类各生成一列(listUsedTargetClasses 与 encodedColumnName,TargetEncoderModel.java)。R 版用 setdiff 自动推导特征列表,效果等价。
  2. 测试集 transform 时设 noise=0:评估集上不加噪,保证 AUC 对比公平。
  3. 指标计算在未参与训练/交叉验证的 test 上,避免 xval 指标虚高——仓库中的回归测试 pyunit_te_performance_docs_demo_titanic.py 与 runit_targetencoder_model_docs_demo.R 就是用同样流程回归验证文档示例的。

源码中的更多实现细节

编码 map 的构建。训练阶段 buildEncodingsFrame 对每个待编码列执行一次分组聚合:按类别(k_fold 时再按折列)求目标列 sum(分子 numerator)与 nrow(分母 denominator);多分类时先把目标列 one-hot 展开,再为每类各加一个 sum 聚合,最后 melt 成 numerator + targetclass 长表(TargetEncoderHelper.java)。因此模型内部存的不是"均值",而是每类别的 (numerator, denominator[, targetclass]) 三元组,均值与 blending 都在应用编码时现算——这也解释了为什么 transform 可以临时覆盖 blending/smoothing 参数而无需重训。

模型输出与摘要。TargetEncoderOutput 保存每列的编码表(DKV 中 key 为 <model>_encodings_<列名>)、输入列到编码列的映射、以及一张 "Target Encoder model summary" 二维表(Original name(s) → Encoded column name(s)),可直接在 R/Python 中打印查看映射关系(TargetEncoderModel.java)。

Mojo 导出。TargetEncoder.haveMojo() 返回 true,TargetEncoderMojoWriter 会把 blending 参数与逐类别的编码 map 写入独立 Mojo 文件,可脱离 H2O 集群做编码转换;h2o-genmodel 中的 TargetEncoderMojoModel/Reader 负责读取侧,并有 TargetEncoderMojoWriterTest 等测试覆盖。

与下游模型集成的方式。除手动 train → transform → gbm.train 两阶段用法外,仓库还实现了 TargetEncoderPreprocessor:当 TE 作为模型前处理器参与交叉验证时,它会按 CV 折调用 transformTraining(fr, cv_fold) 做折外编码;训练集用 transformTraining、验证/打分集用 transform,策略差异由该类的 useFoldTransform 判定。

测试与进一步参考

仓库中与 Target Encoder 直接相关的代码、演示与测试路径如下,可用于继续深入:

方法论参考文献(文档 References 一节):Daniele Micci-Barreca, 2001, "A preprocessing scheme for high-cardinality categorical attributes in classification and prediction problems"(SIGKDD Explorations);Nina B. Zumel 与 John Mount, "vtreat: a data.frame Processor for Predictive Modeling"(2016)。二者正是目标编码(mean encoding / 加权目标统计)技术的经典出处。

小结

H2O 的 Target Encoder 以"参数齐全的防泄漏目标编码 + 可复用 transform"为核心:训练时用 data_leakage_handling(none/k_fold/leave_one_out)选择防泄漏策略,用 blending/inflection_point/smoothing 控制小样本类别向全局均值的收缩强度,用 noise 加随机噪声抑制过拟合;transform 时通过 as_training 区分训练数据与新数据,并可逐次覆盖 blending 相关参数。配合 cabin 这类高基数列的 Titanic 示例(AUC 0.8805 对比基线 0.84105),该组件为 GBM 等树模型处理高基数分类特征提供了一条可复现、可调参且经源码与测试双重验证的工程路径。

登录后查看全文
h2o-3