基于Ultralytics YOLOv8的小数据集目标检测过拟合问题分析与解决

问题背景

在使用Ultralytics YOLOv8进行骨骼骨折检测任务时，研究人员遇到了典型的过拟合问题。训练过程中，训练损失持续下降，但验证损失和最终评估指标却在几个epoch后开始上升。这种情况在小数据集（3631张训练图像和348张验证图像）上尤为常见。

过拟合现象分析

过拟合在深度学习模型中表现为模型在训练数据上表现优异，但在未见过的验证数据上表现不佳。具体到YOLOv8检测任务中，可以观察到以下典型特征：

1. 训练损失持续下降
2. 验证损失先下降后上升
3. 评估指标（如mAP）在达到峰值后开始下降
4. 模型在训练集上的检测精度远高于验证集

解决方案探索

1. 模型架构调整

针对小数据集，首先尝试使用更小的模型架构（如YOLOv8n）可以有效减少模型容量，降低过拟合风险。但实际应用中，仅减小模型规模可能不足以解决问题。

2. 数据增强策略

数据增强是解决小数据集问题的关键手段。针对医学图像的特殊性，建议采用以下增强组合：

• 适度使用mosaic增强（建议0.3-0.5）
• 谨慎应用mixup（建议0.1-0.3）
• 基础增强：HSV调整、小角度旋转、轻微平移
• 避免过度扭曲医学图像的关键特征

3. 训练策略优化

• 学习率调整：采用余弦退火学习率调度（cos_lr=True）实现平滑过渡
• 多尺度训练：启用multi_scale=True增强尺度不变性
• 渐进式解冻：先冻结部分骨干网络层（如freeze=10），后期解冻
• 优化器选择：SGD（默认lr0=0.01）通常比Adam更适合小数据集

4. 损失函数调整

针对检测任务，可以微调各项损失的权重：

• 适度降低box损失权重（如从7.5降至7.0）
• 调整dfl损失权重（如从1.0降至0.9）
• 保持cls损失权重相对稳定（如0.3-0.4）

5. 正则化技术

• 增加Dropout（0.1-0.3）
• 提高权重衰减（如从5e-4增至5e-3）
• 早停策略（监控验证集指标）

特殊案例：多边形边界框处理

当标注数据采用多边形边界框（polygon bbox）而非标准矩形边界框时，需要注意：

1. 确认是否必须使用OBB（Oriented Bounding Box）模型
2. 考虑将多边形转换为最小外接矩形是否会影响任务精度
3. 确保标注格式符合YOLO OBB要求（class_label x1 y1 x2 y2 ...）

实践建议

1. 建立完整的基准测试流程，记录每次调整的效果
2. 使用TensorBoard或results.csv监控学习率变化
3. 采用交叉验证评估模型真实性能
4. 优先调整影响大的超参数（如数据增强、学习率）
5. 保持耐心，小数据集通常需要更多次实验

总结

解决YOLOv8在小数据集上的过拟合问题需要综合考虑模型架构、数据增强、训练策略等多方面因素。医学图像的特殊性要求我们更加谨慎地选择增强方法，平衡数据多样性和关键特征保留。通过系统性的实验和调整，可以有效提升模型在验证集上的泛化能力，获得更好的实际应用效果。