H2O GBM 缺失值处理机制深度解析:从训练分裂到评分预测的完整流程
H2O GBM 缺失值处理机制深度解析:从训练分裂到评分预测的完整流程
本文是 H2O-3 官方 GBM 常见问题系列中「Missing Values」章节的技术详解,围绕 missing_values.rst 展开,并结合 h2o-algos 模块源码逐层拆解:缺失值(NA)在训练时如何参与分裂、在评分时如何走分支、未见类别值如何被当作 NA 处理,以及 nbins_cats 与缺失值分箱的真实关系。读完本文,你将透彻理解 H2O GBM 面向缺失值的设计哲学,并能据此判断自己的数据是否需要预处理、如何解释预测结果。
一句话核心设计:缺失值「有原因」,不是「随机丢失」
在进入细节之前,请先记住 H2O GBM 与 GLM 的根本差异(原文档开篇即强调):
Unlike in GLM, in GBM numerical values are handled the same way as categorical values. Missing values are not imputed with the mean, as is done by default in GLM.
即:在 GBM 中数值特征与类别特征以同样方式被对待,缺失值不会像 GLM 默认那样被填充为均值。
这意味着两件重要的事:
- 不需要提前填充缺失值。GBM 天然支持 NA,你不需要在建模前用均值/中位数/众数去插补缺失列。
- 缺失本身携带信息。H2O GBM 将缺失值解释为"因为某种原因而缺失"(missing for a reason),而不是"随机缺失"(missing at random)。例如,在贷款数据中"收入"字段缺失,可能本身就暗示申请人的经济状况异常——这种信号会被 GBM 直接学习利用。
从源码结构看,这一设计贯穿整个树模型体系:GBM 模型类 GBMModel 继承自 SharedTreeModelWithContributions,缺失值分裂逻辑实现在共享树模块 hex.tree 包中(如 DHistogram.java、DTree.java),DRF、Isolation Forest 等算法共享同一套缺失值处理基础设施。
训练阶段:缺失值作为"独立类别"参与分裂寻优
每个特征值都在训练时确定最优分裂方向
在 GBM 训练过程中,对每一个特征值(数值与类别一视同仁,包括缺失值/NA),算法都会计算其"最优分裂方向",并保存下来供未来评分时使用。这就是原文档所说的:
During training in GBM, the optimal split direction for every feature value (numeric and categorical, including missing values/NAs) is computed for future use during scoring.
也就是说,训练产出不仅是树的结构,还包括一张"NA 该往哪走"的决策表。
缺失值可以向左也可以向右:NASplitDir 状态机
建树时,每个节点的分裂决策通过最小化损失函数找到,缺失值被当作一个可以"左拐"或"右拐"的独立类别。原始判定规则非常朴素:
The algo decides which feature and level/number value to split on its decision to make things go left or right is purely based on value (i.e. everything less than the split point value goes left, and everything greater and equal goes right).
即:小于分裂点值的样本走左,大于等于分裂点值的样本走右。因为 NA 被视作一个新类别,所以它和任何其他类别值一样,可以自由选择左右任一侧。
在源码层面,这一机制被形式化为 NASplitDir 枚举(见 DHistogram.java):
public enum NASplitDir {
// 训练中从未见过 NA
None(0), // 初始状态——训练完成的模型中不应出现
// 训练中见过 NA
NAvsREST(1), // 非 NA(左)与 NA(右)的分裂
NALeft(2), // NA 走左
NARight(3), // NA 走右
// 训练中从未见过 NA,但评分时需要处理 NA 的方式
Left(4), // 测试期 NA 走左
Right(5); // 测试期 NA 走右
...
}
这个枚举清晰地划分了三类场景:
None(0):初始占位状态,训练完成的模型里不会残留;NAvsREST / NALeft / NARight:训练数据中存在 NA 时产生的分裂类型——要么把 NA 整体从非 NA 中切分出去(NA vs REST),要么明确指定 NA 走左/走右;Left / Right:训练数据中没有 NA,但模型为"测试期若出现 NA"预设了一个兜底方向。
进一步看 DTree.java 的寻优收尾逻辑:
// if still undecided (e.g., if there are no NAs in training), pick a good default direction for NAs in test time
if (nasplit == DHistogram.NASplitDir.None) {
nasplit = nLeft > nRight ? DHistogram.NASplitDir.Left : DHistogram.NASplitDir.Right;
}
当训练数据中某个特征没有 NA、分裂方向"悬而未决"时,算法比较左右子节点的样本量 nLeft 与 nRight,把 NA 的默认去向设为样本更多的"多数方向"——这正是原文档中"如果训练数据无 NA,测试数据中的 NA 走多数方向(观测数最多的方向)"这一规则的源码出处。
NAvsREST:把缺失从非缺失中"切"出来
DTree.java 中还有一类值得一提的分裂:当节点中存在 NA 时,算法会尝试 NAvsREST 这种分裂方式——非 NA 归左、NA 归右(见 DTree.java 附近 "if there are any NAs, then try to split them from the non-NAs" 的逻辑)。此时无需为 NA 方向构建直方图,因为 NA 是整体被切走的(源码中注释 //no histogram needed - we just split NAs away,见 DTree.java)。这解释了为何缺失值参与分裂的代价极低,也体现了"缺失即信息"的思想:模型可以把"该特征是否缺失"本身当作最有判别力的信号。
nbins_cats:缺失值永远拥有"专属分箱"
原文档特别提醒了一个容易误解的参数:
A note on
nbins_cats: This parameter specifies the number of bins to use for non-Na categoricals, it does not bin missing values. Regardless of the number of bins a user chooses fornbins_cats, an additional bin will be created specifically for the missing values.
即:nbins_cats 指定的是"非 NA 类别值"的分箱数,它不负责给缺失值分箱。无论用户把 nbins_cats 设为多少,缺失值都会额外占用一个专属于自己的分箱。
这一点在源码中可以得到多重印证:
- 默认值方面,共享树参数类中
_nbins_cats = 1024("Categorical (factor) cols: Build a histogram of this many bins, then split at the best point",见 SharedTreeModel.java)。 - 有效性约束方面,SharedTree.java 会校验
nbins_cats必须满足1 < nbins_cats < 65536,否则报错。 - 实际用途方面,
nbins_cats决定的是类别型特征的直方图分箱数,例如 DHistogram.java 中int xbins = isInt == 2 ? nbins_cats : nbins;,以及 SharedTree.java 中判断是否值得为高基数类别特征做预排序。
实操含义:如果你有一个类别特征取值非常多(例如上万个 level),不必为了容纳缺失值而调大 nbins_cats——缺失值永远有自己的独立箱,调大 nbins_cats 只会改善非 NA 类别值的分箱精细度,同时带来更多内存开销。反之,把 nbins_cats 调小也不会"吞掉"缺失值箱。
评分阶段:缺失值沿训练期确定的路径走
训练完成后,模型进入评分/预测阶段。原文档给出的规则是:
During scoring, missing values follow the optimal path that was determined for them during training (minimized loss function).
即:评分时,测试数据中的缺失值会沿训练阶段为它们确定的最优路径前进(该路径对应损失函数最小化)。 同时存在一条补充规则:
Note that test-NAs follow the majority direction - the direction through which the most observations flow - if there were no NAs in training.
即:如果训练数据中没有 NA,测试数据中的 NA 走"多数方向"——即训练时流经观测最多的那个分支。
把训练期与评分期的规则合并成一张对照表,就是原文档的完整语义:
| 训练数据中该特征 | 测试数据中该特征 | 评分时 NA 的去向 |
|---|---|---|
| 有 NA | 有 NA | 训练期为 NA 学到的最优方向(最小化损失函数) |
| 有 NA | 无 NA | 走非 NA 的最优分裂路径 |
| 无 NA | 有 NA | 多数方向(流经观测最多的分支) |
| 无 NA | 无 NA | 正常分裂路径 |
从源码看,Left/Right 这两个"测试期专用"的 NASplitDir 取值正是为最后一种情形设计的——训练期没有 NA 的节点,在评分时收到 NA 样本,就按训练期样本量更大的方向放行。
未见过的类别值:直接视作 NA
原文档最后一个关键问答是:
What happens when you try to predict on a categorical level not seen during training? Unseen categorical levels are turned into NAs, and thus follow the same behavior as an NA.
即:预测时遇到训练中从未出现过的类别值(unseen categorical level),该值会被直接转换为 NA,从而遵循上面所述的 NA 行为:
- 训练数据无 NA → 走多数方向;
- 训练数据有 NA → 走对训练期 NA 最优的方向。
这一点同样有源码佐证。DTree.java 中有这样一行注释:
// Throw empty (unseen) categorical buckets into the majority direction (should behave like NAs during testing)
"把空的(未见过的)类别桶扔进多数方向",与 NA 的测试期行为完全一致。这带来的直接结论是:H2O GBM 天然免疫"测试集出现新类别值"的问题,你不需要为预测阶段可能出现的新 level 做特殊编码,模型会安静地把它们归入多数方向——这通常是经验上最稳妥的兜底。
响应列(Response)出现缺失值会怎样?
What happens if the response has missing values? No errors will occur, but at the same time, nothing will be learned from rows containing missing values in the response column.
不会报错,但响应列为缺失值的那些行不会被学到任何东西。 在 SharedTree.java 中可以找到对应实现:训练遍历样本时,if (response.isNA(i)) continue; 会直接跳过响应列缺失的行。
实操含义:如果响应列缺失比例很高,大量样本被静默丢弃,模型可能欠拟合或产生有偏估计。建议在训练前先检查响应列的缺失情况,决定是剔除这些行,还是用合理的领域策略补全——GBM 不会替你"学习"响应列缺失的行。
损失函数:由 distribution 参数自动决定
训练期与评分期的"最优方向"都建立在最小化损失函数之上,而损失函数的选择并非人为指定,而是由 distribution 参数自动决定。原文档将细节指向 About the Data 一节(即同目录下的 about_the_data.rst,其中的 lossfunction 锚点小节):
The loss function is automatically chosen based on the distribution parameter selection.
about_the_data.rst 中给出的损失函数映射关系如下:
- 默认情况下最小化残差偏差(residual deviance),这是 Poisson、Gamma、Tweedie、Huber 等分布的天然损失;
- 对 Laplace 分布,残差偏差等同于绝对误差(absolute error);
- 对 Gaussian 分布,残差偏差等同于平方误差(squared error)。
可选 distribution 包括 AUTO、bernoulli(响应须为二分类别列)、quasibinomial(响应须为二值数值列)、multinomial(响应须为类别列)、gaussian、poisson、gamma、tweedie、laplace、quantile、huber(后几者响应须为数值列)。关于各分布的完整约束,可进一步查阅 about_the_data.rst 中 "What distribution can I use for my dataset?" 小节。
也就是说,当你配置 GBM 时,只需声明 distribution,训练期节点分裂的"最优"标准与评分期缺失值的"最优路径"都会自动与之对齐——你无需(也不应)手动干预损失函数的选择。
实战建议与 FAQ 小结
综合原文档与源码,可以沉淀出以下可直接落地的实践建议:
- 特征列缺失:无需插补。GBM 把 NA 当独立类别处理,均值/中位数插补反而会破坏"缺失即信息"的信号,且与 GLM 的行为习惯不同,务必不要沿用 GLM 的预处理流水线。
nbins_cats不需要为缺失值调大。缺失值永远有专属分箱;nbins_cats只影响非 NA 类别值的分箱精度,其默认值 1024 在绝大多数场景下足够。- 评分时的新类别值无需恐慌。未见类别值自动转为 NA,走多数方向或训练期 NA 的最优方向,模型不会因新 level 而报错或崩溃。
- 响应列缺失要提前排查。GBM 不会报错但会静默忽略这些行,高缺失率会显著影响模型效果。
用 H2O Python 客户端(见 h2o-py 的 GBM 估计器)训练一个默认缺失值行为的 GBM,代码大致如下:
import h2o
from h2o.estimators.gbm import H2OGradientBoostingEstimator
h2o.init()
train = h2o.import_file("train.csv") # 特征列中可放心保留 NA
gbm = H2OGradientBoostingEstimator(
ntrees=50,
max_depth=5,
nbins_cats=1024, # 默认值;缺失值会额外获得一个专属分箱
distribution="gaussian",
)
gbm.train(x=["f1", "f2", "f3"], y="response", training_frame=train)
以上示例中并未对特征列做任何缺失值插补,这正是本文所述机制的直接体现。
一句话总结:H2O GBM 将缺失值视为携带信息的独立类别——训练时通过最小化损失函数为每个特征(含 NA)求出最优分裂方向,缺失值永远拥有 nbins_cats 之外的专属分箱;评分时训练期见过的 NA 走最优路径,训练期没见过的 NA(以及未见类别值)走多数方向;响应列缺失虽不报错,但相应样本不会参与学习。