XGBoost中的DART树提升器详解

概述

在机器学习领域，XGBoost是一个强大的梯度提升框架，而DART(Dropouts meet Multiple Additive Regression Trees)是XGBoost中一种特殊的树提升器。本文将深入解析DART的工作原理、特性以及使用方法。

DART的背景

传统XGBoost通常结合大量回归树和小学习率进行训练。这种情况下，早期添加的树对模型影响较大，而后期添加的树影响较小。DART借鉴了深度神经网络中的dropout技术，将其应用于提升树模型，在某些场景下能取得更好的效果。

DART的核心思想

DART通过在训练过程中随机"丢弃"(dropout)一些树来解决过拟合问题：

1. 防止那些仅用于修正微小错误的"琐碎树"影响模型
2. 引入随机性增强模型鲁棒性
3. 通过规范化技术保持预测的稳定性

工作原理

在训练的第m轮中：

1. 随机选择k棵树进行丢弃
2. 设D为被丢弃树的叶子分数总和
3. 新树的叶子分数为Fₘ = ηF̃ₘ
4. 目标函数为：

   \mathrm{Obj} = \sum_{j=1}^n L(y_j, \hat{y}_j^{m-1} - D_j + \tilde{F}_m) + \Omega(\tilde{F}_m)
   

5. 使用缩放因子来平衡D和Fₘ的过度影响

关键参数详解

DART继承了gbtree的基本参数(如eta、gamma、max_depth等)，并新增了以下特有参数：

采样类型(sample_type)

• uniform(默认)：均匀随机丢弃树
• weighted：按权重比例丢弃树

规范化类型(normalize_type)

• tree(默认)：新树与每棵被丢弃树权重相同
• forest：新树与被丢弃树的总权重相同

丢弃率(rate_drop)

• 范围：[0.0, 1.0]
• 控制每轮丢弃树的比例

跳过丢弃概率(skip_drop)

• 范围：[0.0, 1.0]
• 跳过丢弃的概率，此时与普通gbtree行为相同

使用注意事项

1. 训练速度可能比gbtree慢，因为随机丢弃会阻止使用预测缓冲区
2. 由于随机性，早期停止可能不太稳定
3. 预测时必须指定ntree_limit参数

示例代码

import xgboost as xgb

# 读取数据
dtrain = xgb.DMatrix('demo/data/agaricus.txt.train')
dtest = xgb.DMatrix('demo/data/agaricus.txt.test')

# 设置DART参数
param = {
    'booster': 'dart',
    'max_depth': 5,
    'learning_rate': 0.1,
    'objective': 'binary:logistic',
    'silent': True,
    'sample_type': 'uniform',
    'normalize_type': 'tree',
    'rate_drop': 0.1,
    'skip_drop': 0.5
}

# 训练模型
num_round = 50
bst = xgb.train(param, dtrain, num_round)

# 进行预测(必须指定ntree_limit)
preds = bst.predict(dtest, ntree_limit=num_round)

适用场景

DART特别适合以下情况：

1. 数据量相对较小，容易过拟合
2. 需要更强的正则化效果
3. 模型性能达到平台期，需要突破

总结

DART为XGBoost提供了一种创新的正则化方法，通过引入dropout技术增强了模型的泛化能力。虽然训练过程可能稍慢且不太稳定，但在特定场景下能带来显著的性能提升。理解其工作原理和参数配置，可以帮助开发者更好地利用这一强大工具。