TF-Vision 数据增强与模型正则化完全指南:从 RandAugment、Mixup 到 Stochastic Depth
TF-Vision 数据增强与模型正则化完全指南:从 RandAugment、Mixup 到 Stochastic Depth
本文基于 TensorFlow Models 仓库 TF-Vision 模块的官方文档 aug_reg.md 编写,系统讲解 TF-Vision 提供的两大类 SoTA 训练技巧:面向图像分类、检测与分割的数据增强(RandAugment/AutoAugment、Scale Jitter、Mixup/CutMix、Random Erasing)以及模型正则化(Stochastic Depth、Label Smoothing)。读完本文后,你可以直接在 TF-Vision 的 YAML 配置中启用这些技术,并能对照源码理解每个参数的实际作用路径,从而为自己的视觉训练任务定制增强与正则化方案。
技术总览:哪些方法、用在哪些任务上
TF-Vision 内置了一批针对特定视觉任务调优过的增强与正则化方法(默认方法如随机翻转、随机裁剪不在讨论范围内)。各方法的适用场景汇总如下:
| 方法 | 类别 | 支持的任务/模型 | 配置入口(YAML 路径) |
|---|---|---|---|
| RandAugment / AutoAugment | 数据增强 | 图像分类、视频动作分类、目标检测 | task.train_data.aug_type |
| Image scale jittering | 数据增强 | 目标检测、语义分割 | task.train_data.parser.aug_scale_min/max |
| Mixup / CutMix | 数据增强 | 图像分类 | task.train_data.mixup_and_cutmix |
| Random erasing | 数据增强 | 图像分类 | task.train_data.random_erasing |
| Stochastic depth | 模型正则化 | ResNet/ResNet-RS、SpineNet 系列、ViT、ResNet-RS-3D | task.model.backbone.resnet.init_stochastic_depth_rate |
| Label smoothing | 模型正则化 | 图像分类、视频动作分类 | task.losses.label_smoothing |
所有配置类都是基于 dataclasses 的 hyperparams.Config 子类,通过 TF-Vision 的 YAML 实验配置体系注入到训练任务中;默认值定义在 official/vision/configs/common.py,底层算子实现集中在 official/vision/ops/augment.py 与 official/vision/ops/preprocess_ops.py。
数据增强方法
RandAugment 与 AutoAugment
RandAugment 与 AutoAugment 的思路是:将多个常见的图像变换(调整对比度、方向、颜色、亮度、锐度等)组合成一个增强策略,并在训练时随机选择使用哪些变换、以多强的强度使用。两者的区别在于策略来源——AutoAugment 使用搜索得到的固定策略族(如 policy_v0、detection_policy_v0),而 RandAugment 则在统一操作集合上随机采样"层数(num_layers)×强度(magnitude)"的组合。TF-Vision 的这两种实现被设计为开箱即用、低开销,广泛适用于多种数据集。
TF-Vision 中对这两种增强的配置定义位于 official/vision/configs/common.py:
@dataclasses.dataclass
class RandAugment(hyperparams.Config):
"""Configuration for RandAugment."""
num_layers: int = 2
magnitude: float = 10
cutout_const: float = 40
translate_const: float = 10
magnitude_std: float = 0.0
prob_to_apply: Optional[float] = None
exclude_ops: List[str] = dataclasses.field(default_factory=list)
@dataclasses.dataclass
class AutoAugment(hyperparams.Config):
"""Configuration for AutoAugment."""
augmentation_name: str = 'v0'
cutout_const: float = 100
translate_const: float = 250
各参数含义(结合 official/vision/ops/augment.py 的实现):
num_layers:RandAugment 中串联随机增强操作的层数,即从操作池里随机抽几个变换依次应用(默认 2);magnitude:增强强度,取值 0~10,实现中通过level_to_arg()(augment.py#L1796)把 0~10 的强度映射为各操作的实际参数;magnitude_std在此基础上引入标准差扰动,默认 0 表示不扰动;cutout_const:Cutout 操作填充方块的边长上限,强度 10 时最大填充cutout_const像素;translate_const:平移操作在强度 10 时对应的最大平移像素数,见_translate_level_to_arg()(augment.py#L1683-L1688);prob_to_apply:整条策略的应用概率,None表示每次都应用;exclude_ops:需要从随机池中排除的操作列表。启用 Random Erasing 时,文档特别指出要在此排除Cutout,因为两者功能重叠(Cutout 填充随机方形区域);augmentation_name:AutoAugment 的策略名。从 augment.py 中定义的策略族看,可选值包括v0(默认)、reduced_cifar10、svhn、reduced_imagenet、detection、simple、vit、deit3等,检测任务推荐使用detection(对应detection_policy_v0)。
在 YAML 实验配置中,增强通过 Augmentation 这一个 OneOf 配置选择(定义见 common.py#L131-L144,type 取值 randaug 或 autoaug)。官方文档给出的 YAML 模板如下:
task:
train_data:
aug_type:
type: 'randaug'
randaug:
magnitude: 10
magnitude_std: 0.0
num_layers: 2
从源码结构看,这个配置的消费入口在图像分类数据管道 official/vision/dataloaders/classification_input.py:当 aug_type.type == 'randaug' 时构造 augment.RandAugment,autoaug 时构造 augment.AutoAugment(带 augmentation_name、cutout_const、translate_const),随后挂到数据管道的后处理环节。分类任务的训练输入配置类在 official/vision/configs/image_classification.py 中声明了 aug_type 字段,仓库内的多个 ImageNet 实验配置都以此方式启用了 RandAugment/AutoAugment。
支持的任务:图像分类、视频动作分类、目标检测。
图像尺度抖动(Image scale jittering)
尺度抖动从用户指定的区间 [aug_scale_min, aug_scale_max] 中随机抽取一个缩放因子:大于 1.0 时对图像上采样,小于 1.0 时下采样,之后再随机裁剪或补零,把缩放后的图像整理成目标尺寸。文档指出,这是训练 SoTA 目标检测模型最有效的增强手段之一,被 SpineNet、EfficientDet、Detection-RS、Copy-Paste 等检测工作广泛采用。
TF-Vision 中的定义位于 RetinaNet 实验配置 official/vision/configs/retinanet.py 的 Parser 数据类:
@dataclasses.dataclass
class Parser(hyperparams.Config):
aug_scale_min: float = 1.0
aug_scale_max: float = 1.0
# ... 其他字段
默认值均为 1.0,即不启用抖动。启用方式(官方 YAML 模板):
task:
train_data:
parser:
aug_scale_max: 2.0
aug_scale_min: 0.5
从源码结构看,参数实际消费在 official/vision/ops/preprocess_ops.py 的 resize_and_crop_image_v2()(Faster R-CNN 风格预处理)中:
- 保持宽高比,先把短边缩放到
short_side;若长边超出long_side则改按长边缩放; - 只有当
aug_scale_min/aug_scale_max偏离 1.0(或是 Tensor)时才进入random_jittering分支,从区间内均匀采样random_scale乘到目标尺寸上; - 若抖动后图像比目标尺寸大,则在多余范围内随机取一个偏移量裁剪出目标区域,否则左下角补零到
padded_size; - 同时返回
image_info(包含原始尺寸、目标尺寸、缩放因子、裁剪偏移),下游用于把标注框同步变换。
仓库里的检测实验配置给出了真实取值参考:retinanet.py 中一个实验使用 aug_scale_min=0.8, aug_scale_max=1.2,而更激进的配置使用 aug_scale_min=0.1, aug_scale_max=2.0,可见取值幅度可随数据集和模型能力调整。
支持的任务:目标检测、语义分割。
Mixup 与 CutMix
Mixup 对两张输入图像做随机凸组合:
img = img_1 * a + img_2 * (1.0 - a),
其中 a 从 Beta 分布中采样;标签以同样方式插值:
label = label_1 * a + label_2 * (1.0 - a).
CutMix 同样组合两个训练样本,但不用线性插值,而是把 img_2 中一块随机矩形区域直接粘贴到 img_1 上。标签仍按 Mixup 的方式组合,只是 a 改为补偿所粘贴矩形的面积占比。文档指出,这两种方法是在有限标注数据下训练 Transformer 类图像模型(ViT、DEIT)的关键因素。
配置定义在 official/vision/configs/common.py:
@dataclasses.dataclass
class MixupAndCutmix(hyperparams.Config):
"""Configuration for MixupAndCutmix."""
mixup_alpha: float = .8
cutmix_alpha: float = 1.
prob: float = 1.0
switch_prob: float = 0.5
label_smoothing: float = 0.1
mixup_alpha/cutmix_alpha:Beta 分布的形状参数,a ~ Beta(alpha, alpha);置 0 即关闭对应方法(此时实现会自动把switch_prob置为 -1 或 1,强制只走另一条路径,见 augment.py#L2651-L2656);prob:对整批数据应用 Mixup/CutMix 的概率,默认 1.0,未触发时退化为仅做 label smoothing;switch_prob:在 Mixup 与 CutMix 之间切换的概率(默认 0.5 各半);label_smoothing:组合标签时叠加的平滑值(默认 0.1)。
YAML 模板:
task:
train_data:
mixup_and_cutmix:
cutmix_alpha: 1.0
label_smoothing: 0.1
mixup_alpha: 0.8
prob: 1.0
switch_prob: 0.5
底层实现是 official/vision/ops/augment.py 中的 MixupAndCutmix 类,几个值得了解的实现细节:
- Beta 采样通过
tf.random.gamma实现:_sample_from_beta()分别采样两个 Gamma 变量再归一化(augment.py#L2699-L2702),保证整个流程可在 TF Graph 模式下运行; - CutMix 的矩形边长为
sqrt(1 - lam) * 图像边长,中心点随机,且被"插入"的图像是 batch 内反向排列的另一张图(tf.reverse(images, [0])),Mixup 的img_2同理;粘贴完成后lam会用实际矩形面积重新校准(lam = 1 - 矩形面积/图像面积),保证标签权重与视觉占比一致; - 该算子同时支持 4 维(图像)和 5 维(视频)输入,因此除了图像分类也可用于视频动作分类任务,official/vision/tasks/video_classification.py 同样消费
params.mixup_and_cutmix; - 在图像分类任务中,它被注册为数据管道的
postprocess_fn(official/vision/tasks/image_classification.py),也就是说增强发生在 batch 组装之后、进入模型之前。
支持的任务:图像分类。
随机擦除(Random erasing)
Random erasing 采样随机矩形(不同宽高比,默认每张图一个),再用随机高斯噪声覆盖矩形内的像素。文档特别强调两个前提:其一,随机擦除在输入图像被归一化为零均值、单位方差之后应用;其二,启用随机擦除时应在 RandAugment 的 exclude_ops 中排除 Cutout,避免功能重复(Cutout 是填充随机方形区域)。
配置定义在 official/vision/configs/common.py:
@dataclasses.dataclass
class RandomErasing(hyperparams.Config):
"""Configuration for RandomErasing."""
probability: float = 0.25
min_area: float = 0.02
max_area: float = 1 / 3
min_aspect: float = 0.3
max_aspect: Optional[float] = None
min_count: int = 1
max_count: int = 1
trials: int = 10
probability:应用擦除的概率(默认 0.25);min_area/max_area:擦除矩形面积占图像面积的比例上下界(默认 0.02 ~ 1/3);min_aspect/max_aspect:宽高比上下界,max_aspect为None时取1 / min_aspect(见实现 augment.py#L2551-L2553);min_count/max_count:擦除矩形个数区间,默认恰好 1 个;trials:为满足面积/宽高比约束而重试采样矩形的最大次数,默认 10。
实现类 RandomErasing 位于 official/vision/ops/augment.py,_erase() 在一个 tf.function 中完成按概率触发、重试采样与噪声填充。
YAML 模板(官方文档给出的示例,min_area/max_area 为浮点数值):
task:
train_data:
random_erasing:
min_area: 0.02
max_area: 0.33
分类任务配置类在 official/vision/configs/image_classification.py 中以 random_erasing: Optional[common.RandomErasing] = None 声明,即不配置就不启用。
支持的任务:图像分类。
模型正则化方法
TF-Vision 还提供了一批 SoTA 模型正则化手段(权重衰减、Dropout 等默认方法不在此列),下面介绍文档覆盖的两种。
Stochastic depth(随机深度)
Stochastic depth 与残差网络互补,概念上类似 dropout:每个 mini-batch 随机挑选一组残差块直接旁路(用恒等映射替代),被旁路的概率随网络深度线性增长。文档指出该做法既能缩短训练时间,又能改善泛化。
支持的模型:ResNet、ResNet-RS;SpineNet、SpineNet-mobile、SpineNet-seg;Vision Transformer(ViT);ResNet-RS-3D。
YAML 模板:
task:
model:
backbone:
resnet:
init_stochastic_depth_rate: 0.2
从源码结构看,init_stochastic_depth_rate 是各 backbone 配置的字段(例如 official/vision/modeling/backbones/resnet.py 中的 init_stochastic_depth_rate: float = 0.0,默认关闭)。ResNet backbone 在构建每一组残差块时,用 official/vision/modeling/layers/nn_layers.py 的 get_stochastic_depth_rate(init_rate, i, n) 计算第 i 个块(共 n 个)的旁路概率——这正是"随深度线性增长"的落地:入口块接近 0,最深层块接近 init_rate。计算出的 stochastic_depth_drop_rate 再传入 resnet_block()(resnet.py#L328-L371),在训练期以该概率把该块输出替换为输入残差本身。
Label smoothing(标签平滑)
Label smoothing 用于缓解模型过度自信(overconfidence)从而带来的过拟合:不再使用 one-hot 标签,而是给正确类别一个接近 1 的高值 x,把 (1 - x) 均分给其余类别。
支持的模型/任务:图像分类、视频动作分类。
YAML 模板:
task:
losses:
label_smoothing: 0.1
从源码结构看,label_smoothing 是各任务 Losses 配置的通用字段,例如图像分类的损失配置在 official/vision/configs/image_classification.py 中定义 label_smoothing: float = 0.0(默认关闭);仓库内置的 ImageNet 训练实验普遍配置为 0.1。此外前面介绍的 MixupAndCutmix 内部也带一个独立的 label_smoothing 参数(见 augment.py 的 _smooth_labels()),用于对组合标签做平滑,与任务级 task.losses.label_smoothing 作用点不同,配置时不要混淆。
实践要点与组合建议
结合文档与源码,实际使用时可以把握以下原则:
- 按任务选方法:分类任务可叠加
aug_type(RandAugment/AutoAugment)+mixup_and_cutmix+random_erasing+task.losses.label_smoothing;检测任务的核心是parser.aug_scale_min/max尺度抖动,配合aug_type: autoaug(augmentation_name: 'detection')或 RandAugment;ViT 类模型在标注数据有限时,Mixup/CutMix 尤为关键。 - 注意相互排斥项:启用 Random erasing 时,按文档要求在 RandAugment 中排除 Cutout(
exclude_ops),避免双重遮挡增强。 - 强度参数从保守值起步:RandAugment 默认
num_layers=2, magnitude=10;Mixup 默认mixup_alpha=0.8, cutmix_alpha=1.0;scale jitter 参考仓库实验从0.8~1.2到0.1~2.0的幅度;stochastic depth 常用init_stochastic_depth_rate: 0.2。所有默认值都定义在 official/vision/configs/common.py 与各任务配置文件中,可直接作为调参基线。 - 确认参数是否真正生效:这些配置的消费点分别在数据加载层(classification_input.py)、检测解析层(preprocess_ops.py)、任务层(tasks/image_classification.py)和 backbone 构建层(backbones/resnet.py),排查"配了没生效"的问题时可沿这条链路定位。