MMsegmentation训练中类别数不匹配问题的分析与解决

问题背景

在使用MMsegmentation框架进行语义分割模型训练时，一个常见的问题是预训练模型与当前任务类别数不匹配导致的错误。具体表现为加载预训练权重时出现"size mismatch"警告，以及在训练过程中出现"Assertion cur_target >= 0 && cur_target < n_classes failed"的CUDA核函数断言错误。

问题现象分析

当用户按照MMsegmentation官方教程配置模型时，可能会遇到以下典型现象：

1. 模型加载阶段出现权重形状不匹配警告，特别是decode_head和auxiliary_head中的conv_seg层的权重维度不一致
2. 训练过程中CUDA核函数报错，提示目标类别索引超出范围
3. 日志显示预训练模型的输出通道数(如19)与当前配置的类别数(如8)不一致

根本原因

这个问题主要由两个因素共同导致：

1. 模型结构不匹配：预训练模型(如Cityscapes数据集训练的PSPNet)的输出通道数与当前任务(如自定义8类数据集)不同。当直接加载预训练权重时，最后一层的权重形状无法匹配。

2. 标签数据问题：部分标注图像可能包含超出预期类别范围的像素值，导致训练时计算损失函数出现非法索引。

解决方案

方案一：忽略权重不匹配警告（推荐）

对于大多数情况，MMsegmentation已经内置了处理机制，可以安全地忽略这些警告。框架会自动初始化不匹配层的权重，不影响整体训练流程。

# 修改模型配置中的类别数
cfg.model.decode_head.num_classes = 8
cfg.model.auxiliary_head.num_classes = 8

方案二：检查并修正标注数据

如果训练过程中出现断言错误，应该检查标注图像：

1. 确认所有像素值都在[0, num_classes-1]范围内
2. 对于异常像素值，可以将其归为背景类(0)或其他合理类别
3. 使用可视化工具检查标注质量

方案三：自定义权重加载逻辑

对于高级用户，可以自定义权重加载逻辑，选择性加载兼容层的权重：

from mmseg.apis import init_model

# 加载模型时不初始化头部权重
model = init_model(cfg, device='cuda:0', pretrained=False)
load_checkpoint(model, checkpoint_path, strict=False)

最佳实践建议

1. 始终在配置中正确设置num_classes参数，与数据集类别数一致
2. 训练前使用数据检查脚本验证标注质量
3. 对于迁移学习场景，合理设置pretrained参数
4. 监控训练初期的损失值变化，及早发现问题

总结

MMsegmentation框架已经对类别数不匹配问题有较好的容错处理。开发者遇到相关警告时不必过度担心，但应该确保标注数据的正确性。理解这一问题的本质有助于更好地使用MMsegmentation进行语义分割任务的开发和调试。